Google的新AI模型——FGN的原理

PRTF

前情提要：2025年6月13日，Google Deepmind与Google Research团队与美国国家飓风中心（National Hurricane Center,NHC)合作，研制了一款可预报天气（包括预测热带气旋路径）的AI模型，目前还处于试验阶段。可在Weather Lab上对其展开测试。FGN模型的测试网站——weatherlab。

  我们知道，一个大气物理的过程是十分复杂且是非线性的，例如在热带发展的过程中，周围的冷涡及环境的垂直风切变，以及海气耦合等都会对热带气旋本身造成影响，所以我们建立了大气观测的许多要素，并把历史要素收集在数据库中以便对各种数值天气模型进行训练，让它们对未来的情况作出概率性的预测。在此背景下有许多模型涌现出来，包括ECMWF的集合ENS和NCEP-GFS的集合GEFS，但是这些模型都是基于各种非线性或者线性的大气物理学公式放到超级计算机里面计算的。但AI就是利用统计学方法进行不确定性判断，在学习训练之后作出预测，该模型如此，该团队对此模型有着高度评价，此模型训练原理之一为最小化位置的连续分级概率评分(CRPS)，能够对热带气旋路径进行精准预报，且可以“captures joint spatial structure despite being trained only on marginals”(基于边缘数据捕捉整体结构）
  现有的数据初始场及由其生成的热带气旋路径集合预报与真实情况对比表明，该模型具有较高的强度预测及路径预测能力，对于许多热带气旋，在ECMWF的集合还未统一时就已收束。
  本帖将对其原理做出简单的描述，其中可能存在缺陷与错误，请各位指正。

  

xiaoqianWX

前排支持，今天刚好也在精度这个论文

PRTF

PART1.1 FGN生成概要

  我们知道，许多预测TC的AI模型都提出修改或包含CRPS以用来优化这项天气预报中的常用概率指标，包括常用来做TC路径参考的FUXI-ENS和AIFS-CRPS，以及NeuralGCM和Graph-EFM等，如果要提高模型的精度，数据集质和量时需要得到保证的。和其他训练模型的数据库一样，Google团队也利用ERA5再分析与HRES初始场训练FGN，但建模方法可能有所区别：对于认知不确定性(Epistemic Uncertainty)使用Lakshminarayanan et al.,2017中提到的模型集合；对于偶然不确定性(Aleatoric Uncertainty)使用Alet et al.,2022;Huang and Belongie,2017关于随机函数的相关方法。下面来看一下FGN总体的生成过程概要。
  如图所示是一对输入帧X^t−2:t−1生成集合的单一步骤，简单来说就是从同一初始场引入不同成员预报，然后生成集合(Ensemble of Predictions)(类比ECMWF的热带气旋预测集合)。那么实现不同成员的不同预报的关键是引入多样性，也就是从上文的“认知不确定性”和“偶然不确定性”出发进行建模，具体为：对于给定模型Mj(Model Ensemble),在预报轨迹（过程）中的每一步都采样低维噪声向量(low-dimensional noise vector)作为模型前向传播的参数共享与统一条件，引入不确定性。因为采样的获取是通过对神经网络权重施加扰动得到的。换句话讲，可以解释为对模型施加扰动，使其产生一些随机性，从而实现采样。那么，这样一些随机性最后就散发成不同成员的预报。如果想要实现偶然不确定性的N个成员预报，就只需要采样N个低维噪声向量作为条件。在认知不确定性上集成多个独立训练的模型输出(上文提到的Lakshminarayanan的论文中的模型)来建模。两者结合，输出每个成员的预报。
  再者，我们需要迫切知道的是，上面讲的关于偶然不确定性和随机不确定性的选取是依据什么样的建模与标准。接下来我们来看一下这两个不确定性的选取依据与标准。

PRTF

PART1.2 Lakshminarayanan et al.,2017 的建模方法

深度神经网络（Deep neural networks,NNs)已在各机器学习中取得先进的性能表现并应用于多种领域，但量化神经网络预测的不确定性仍是一个具有挑战性的难题，其在预测不确定性方面往往会因过度自信可能造成重大失误，目前最高端的技术是贝叶斯神经网络通过学习权重分布来预测不确定性。但是这种方法具有局限性，因为其要获得的预测不确定性质量取决于计算约束导致的近似程度以及先验分布是否“正确"，但是这种方法要对训练流程进行修改且成本高。所以，现在需要一种通用的解决方案，让模型在提供高质量的不确定性估计的同时，又只要对标准流程做出微小改动。
  基于此，研究将重点落在源于神经网络实际应用的评估方法与指标上：1.校准度：用于衡量主观预测与长期经验性的频率((empirical)long-run frequencies)的差异的不确定性，其质量可以用对数预测概率与Brier评分量化。2. 泛化能力：即预测不确定性对领域偏移的泛化能力（也称为分布外样本(out-of-distribution examples)。也就是给出一个比模型平常的训练数据偏一点的边缘的数据，如果是一个精准的模型，就应该对应的输出较高的预测不确定性，这样就体现出该模型较高的鲁棒性(robustness)(一个衡量系统面临内部结构或外部改变也能保持较高稳定性的能力的指标，越高表示系统功能稳定运行能力较高。)模型需要从这里作为切入点，推测整体数据的趋势。
  方案的不确定性估计使用深度集成的方法，假设数据集D由N个独立同分布(X1与X2是随机变量，且X1与X2之间相互独立又满足同一分布律或者相同的分布函数、相同的概率密度函数、相同的期望、方差，如在其他条件相同的情况下抛掷一枚硬币),即如图2所示，其中x∈R^D，表示D维特征向量（维度表示样本元素）y属于K个类别之一且y是实数。当我们输入一个x时，就可获得神经网络标签的概率预测分布p_θ(y|x)，其中θ表示神经网络参数。然后利用如下方法来训练模型：1. 采用适当评分规则作为训练标准 2. 通过对抗训练平滑预测分布  3. 训练集成模型
  1. 采用适当评分规则作为训练标准：如上文所述，输入一个x，模型就会对应着输出一个神经网络标签概率预测分布，对这个分布进行评分，校准度越好的评分越高。如何进行评分？将预测分布与真实分布相互比对得出。所以，应建立一个最小化损失函数来训练模型，然后提高校准度。其中回归问题的训练准则如下，通常来说，神经网络在回归问题上会输出单个值μ(x)，其参数可通过上述的“最小化损失函数”，也就是均方误差(mean squared error,MSE)来描述，但MSE无法描述不确定性。所以在最后一层插入预测均值和方差，以此把观测值视为高斯分布（正态分布）样本，再用负对数似然准则（一种用于评估分类任务中模型准确性的指标）来评估。
  2. 通过对抗训练平滑预测分布：把x和目标y输入到模型里，然后给出一个损失函数，这样模型的三要素就凑齐了。接下来根据快速梯度符号法（FGSM)引入对抗数据，其中ϵ是微小值，确保对模型扰动限定在一定范围内，由此生成许多对抗数据加入AI训练中。这样，似然概率增大，平滑分布也提高了。
  3. 训练集成模型：利用完整数据集训练每个网络，伪代码如图所示。可将该集成模型视为均匀加权混合模型并将集成预测视为高斯分布。
  实验设置：1. 我们在进行统计学的回归分析时常会拿观测值与真实值进行比较，它们的差就是损失量，把这些损失量统一起来，用一个函数去描述它，这就叫“损失函数”，所以，利用损失函数可以较优的表述模型在回归时的质量，负对数似然(negative log likehood,NLL)就是一种损失函数，另外也可以用均方根误差（RMSE）来衡量。而对于分类质量则可以利用分类准确率和Brier分数。当其中的k=y*时，t*k=1。否则为0。
  2. 先用一些一维数据对模型进行回归训练，使用的函数是y=x^3+ε。结果如图所示，这表明通过NLL训练能显著提升不确定性的质量，集成组合能够显著改善模型的性能，特别是远离训练数据的时候。
  3. 实验还将此方法与最先进的方法进行比较，并通过概率误差反向传播（Probabilistic backpropagation,PBP）（一种评估损失函数对各参数的梯度，从而更新参数来降低损失函数的方法）进行评估
  4. 在分类上，试验使用MNIST和SVHN数据集对模型进行训练，表明MLL、对抗性训练和集成网络能显著提高分类准确率。除此之外，实验还采用了MLP和CNN对网络架构的选择敏感性进行测试。
  5. 对未见过的类，深度学习模型往往会有着过度自信的预测，这样很可能会出现重大失误，在实际应用中会存在着巨大挑战。所以在最后的试验中，在MNIST训练中增加了多层感知机。通过评估预测分布的熵值来量化不确定性估计的质量。结果表明，不确定性的熵值在对抗训练中增加较快，这说明对抗训练在未见类别中的应用提高了模型预测的精度。



   总结：此模型的建模基本方法是非贝叶斯方法，其具有简单且可扩展的功能，该方法在预测不确定性量化的评估指标上有着非常强大的基准，并通过采用适当评分规则作为训练标准、通过对抗训练平滑预测分布和训练集成模型来促进系统的鲁棒性，而且该方法可以进行大规模的分布计算。

PRTF

PART1.2 Alet et al.,2022 的建模方法

  在大多数情况中，我们对机器学习中的输入数据的收集有限，对数据生成的过程的控制就更少了。因此，数据就如同枝叶般相互交叉，彼此关联，错综复杂。但如果我们知道了这些数据彼此的相关性之后，便可以非常方便地利用多任务学习(multi-task)(让一个模型在多个维度上进行评估，建立多个目标进而完成多个任务）或者元学习(meta learning)（在模型通过大量数据学习获得知识的基础上学习新的知识）等框架处理。有时候我们会感到对大规模的数据进行建模探究相关性的意义不是很大，然而我们发现其中某些输入数据的相似性很高，但类别不同，所以我们把这些差异视作噪声，在输出的时候对其建模进而取平均来消除噪声差异。我们注意到，当我们选用某一数据集1训练处某个模型（模型1），再稍微改造模型1去处理数据集2，我们假设数据集1满足一个函数（函数1）的关系，数据集2满足函数2的关系，那么函数1≈函数2，所以这两个数据集就近似了。然后我们利用这两个数据集去训练模型3（模型3满足函数3的关系）时，自然会出现很多噪声，把这些噪声统一起来，一一对应着解释每个训练样本。于是一个矛盾的现象出现了：当把数据集1和数据集2统一成数据集4时，通过模型3输出的噪声和把数据集1和数据集2分别输入模型3输出的噪声不同。我们知道，这些数据集中的数据是不会变化的，但噪声出现了变化，这就在功能多样性和噪声输出上产生了矛盾。
  为解决这个矛盾，需要转换一种思路，将输出空间（噪声）建模转换成在函数空间建模，于是函数生成模型(Functional Generative Models,FGMs)就诞生了，在这个模型中，每个数据集的数据点都来自其对应的函数，这更注重于函数的分布。传统机器学习大多采用经验风险最小化(Empirical Risk Minimization,ERM)的变体，也就是寻找一个最佳的拟合函数来拟合数据，其训练目标是通过比较真实值和观测值进行优化，这是在输出空间上的作用。我们现在需要函数空间的建模，所以就要采用函数风险最小化(Functional Risk Minimization,FRM)来联系过参数（在到达一个最佳拟合的临界点之后，训练误差下降，测试误差上升，于是模型进入过拟合区域，对应的参数较过参数）的神经网络的泛化能力

---

建模概要描述：在机器学习的过程中，很多人致力于在有限的数据集中推断出关于分布的结论。一个基本事实是，任何泛化都离不开基本假设，但大多数研究都聚焦于由x映射到y的正确归纳偏置，很少有质疑这些假设的文章。例如，当我们在图像问题中最小化均方误差时，实际上是假设像素空间下存在高斯噪声。所以，在FGMs的核心准则中，数据库中的每一个数据点(xi,yi)都视为特定函数fθi的生成结果，满足θi∈P(θ)，可视为分层贝叶斯的特殊形式——每组数据都包含一个数据点，底层为确定性过程。

---

FGMs具有如下特征：1.通过分层贝叶斯的方法（一种适用于解决多变量之间复杂相关性的方法）来获得数据集隐式，何为数据集隐式？比如现在我们手里有京沪高速铁路在过去一个季度的列车时刻表数据集，这就说明这个数据集不包括沪昆高速铁路、福厦高速铁路等其他高速铁路的数据，也不包括上个季度京沪高速铁路的数据集，也就是说，数据集隐式是数据集的隐含条件。在这种隐含条件下，这些数据集的分布略有差异，我们可以用上面的单一函数加上不同参数来描述。而且更有趣的是，即便是同一数据集中也包含这多重变量分布，还以京沪高速铁路过去一个季度的列车时刻表数据集为例，在其中隐含着列车到达时间、发出时间、停站时长等。这些潜在的内部差异就会成为噪声。所以，采用分层贝叶斯的方法对这些更合理。
2. 在该模型中，用户需要输入三个基本要素：数据集、函数大类和损失函数。函数大类不仅将x成功映射到y，而且把这个过程中的不确定性也给刻画出来。
3. 该模型通过函数大类来决定其编码特征，所以当函数大类被约束时，结果也会被约束。
4. 该模型具有任意表达能力，其可以通过函数大类中的某一类在概率空间内表达感知能力（如多层感知机）。
5. FGM是某些ERM实例的超集（如果集合A的每一个元素都是集合B的元素，那么集合A就是集合B的超集），ERM的实例可以看作FGM的最大似然估计的特例。
   该模型还在基于FGM的假设下进行了监督学习，包括函数空间中的概率匹配、过参数化逼近FRM的目标、可能明确的实现过参数经验风险最小化隐藏的功能等。

---

总结：FGMs提出了在函数空间而非输出空间进行风险最小化建模，通过监督学习与神经网络泛化等建立了更有意义的噪声模型。

PRTF

PART2 FGN AI 的建模方法 ————— 点的生成

  在处理天气预报集合的时候，初始场一般是在t=0及前面一段时间内的气象观测数据，但是根据天气预报业务，在处理数据分布之前，需要假设数据同化已经完成，继而生成初始状态X≤0，这样才能够进一步研究。
  进而我们迫切地想知道一个问题，就是在预报的时候路径如何一步一步地向前推进呢，它们的依据在哪里？我们会想到一条链式结构，从源头开始的超参数作为条件生成相关步骤，而每个步骤既是输出，也可能是条件，以此推出下一个步骤，以此类推，就是“马尔科夫过程”。模型预报需要有选用二阶马尔科夫模型（也就是二阶马尔科夫过程）进行建模，这是因为n阶马尔科夫模型的每一步都只依赖于前面n步的条件，这些条件的积就形成了这种分布。
  在这个研究中选择了二阶马尔科夫模型，所以有如图所示的公式。这表示在初始场t=0和其前面t=-1步的条件下前T步的大气场的概率由前两步的概率之和决定。然后采样每个（p(Xt|Xt-2:t-1），对于在1到T中的每个时刻t，我们都拿过来和第二步一起自回归（一般来说，回归都是描述x和y的拟合关系，但自回归则是由x推出x，展示了递进的拟合关系）地推出第三步Xt，以此类推，就可以生成一组预报的集合。其中Xt包含13个垂直气压层、6个大气要素、6个地表要素（如图所示），这些数据都在0.25°的经纬网格点上进行着6小时一报的15天预报。

PRTF

PART2 FGN AI 的建模方法 ———— 不确定性的学习和损失函数的构建

  前面提到过，不确定性通常由认知不确定性和偶然不确定性组成，这种随机过程可以通过变异函数刻画出来，这样团队就建立了功能性生成网络(functional generative networks,FGNs)。在适当条件下，FGNs仅学习边缘数据以及损失函数即可输出变量的联合分布（满足多个变量的概率分布）。上文的集成神经网络在这里就派上了用场。
   认知不确定性可以通过后验预测分布的抽样来实现，从式子当中可见，在训练数据集和初始场明确的条件下，前T步时间的概率就等于在给定模型与初始场明确状态下前T步时间的概率与在训练数据明确情况下抽取到的M的概率之积对M的积分，也就是抽到的模型叠加设定初始场的概率的累积。这样的抽样过程使得数据在后验不确定性中被边缘化处理，另外，“概要”中论述的从生成的集合预测其实就是深度集成的一种方法，可以用前面所说的Lakshminarayanan et al.,2017的方法区建模认知不确定性并用于近似贝叶斯推断。
  偶然不确定性的来源通常是实况和数据库输入的观测数据之间的差异，这里可以用随机动力学来模拟。将采样函数（此函数类似于对离散时间进行采样并进行平滑拟合形成一条连续曲线）纳入到模型中，独立采样每个成员i和时间差t，把的不同预报样本纳入到神经网络中。
  在学习边缘化的数据中，学习分布可以采用重参数化技巧(reparameterization trick)，其中△用于将高斯噪声ϵ映射到θ空间的扰动，在推理时的建模假设就是“概要”中的将两个不确定性相结合的方法。
  接下来我们就要采用CRPS（一种将分布预测与真实值(累积分布函数(Ccumulative density function,CDF))进行比较的函数）为训练目标，不断优化模型，其中CRPS中CDF与y的关系如图所示。（注：这里的CRPS如无其他说明均指无偏估计值(即用样本统计量估计总体参数的方法下估计量的数学期望等于真实值，且实验为了抑制过拟合现象在模型泛化时将地转变量减半。）

PRTF

PART3 试验前的准备 ————— 模型架构
1.FGN模型集成中的每个组都采用了神经网络架构，其中包含一个图神经网络编码器（解码器)，将经纬度网格细分六次再映射到二十面体球面网格上，还有一个在网格节点上运行的图变换处理器。
2.FGN的每个基本模型含1.8亿参数，且图变换处理器有768维潜在空间和层结构，在精度上提供了保障。
3. 然后我们要把我整体的建模方向，整体建模方向是条件归一化。已知此模型的大致过程上需要用到噪声向量，这里便要具体实践。输入一个全局噪声向量，使其应用到所有条件层中，为归一化做准备。然后再采样每个成员的噪声向量，和前面的全局噪声向量作比对，得到与集合之间的方差。该方法有两点特征：1. 噪声是低维的；2. 噪声全局应用于所有共享模型空间维度（即所有网格和节点）中，这样，机器就会学习到条件归一化参数。这些特征将模型约束在一个范围内，使得模型在边缘数据和损失函数等的学习下仍能全局协调。FGN最初仅通过单步进行损失训练，然后逐渐通过泛化向外拓展，到了最后，每一步都要包含自回归环节，对比真实值和观测值，然后通过损失函数来取平均值并通过推演的过程梯度反向传播。

PRTF

PART4 试验的过程
训练与评估数据：团队采用两个数据集对FGN模型展开训练，分别是ERA5和HRES。在ERA5上，团队选取了数据集子集构建“预训练”的数据集，这些数据集以1小时间隔记录了1959年以来的静态地面要素和大气要素的数据，具有0.28125°的分辨率，覆盖了13个气压层，分别是：50hPa,100hPa,150hPa,200hPa,250hPa,300hPa,400hPa,500hPa, 600hPa,700hPa,850hPa,925hPa和1000hPa，时间总从1979.1.1-2018.1.15，采样为6小时间隔(00Z,06Z,12Z,18Z)。在HRES上，团队采用HRES-fc0，包含每日初始的预报结果，且采用ECMWF最新的数值预报模式进行同化。另外，在HRES中，团队做了相关填补，即在ERA5数据集中例如SST在陆地上的数据会被标记成NaN，而在HRES中，团队采用最小海温对数据进行填补。
评价方法：1.评价边缘预测分布能力：通过计算集合均值的均方根误差(RMSE)和CRPS来评估边缘分布，在每个位置都把这两者指标计算出来，然后在全球范围内取均值。再者，利用传播技能比率(spread-skill ratio)来刻画可靠性和离散度。此比率小于1则说明模型过度自信，反之则说明信心不足。最后采用REV来量化概率预测模型在天气决策中的价值，具体为：观察预测分布是否超过某要素的阈值。
          2.评价联合分布的相关性结构：其一是评估空间的预测性和依赖性，其二是通过CRPS评估跨变量的依赖性，其三是将预报的求谐功率谱形成报告，将观测值和HRES-fc0的数据进行对比。
          3.评价热带气旋路径：团队采用两个指标评估模型在热带气旋路径的预测能力，以及预测路径的REV。位置误差的计算基于的标准是国际气候管理最佳路径档案库（IBTrACS)，然后建立一个追踪器来预测热带气旋路径。当预测路径在初始场前一段时间与标准位置相差在100km内即认为位置预测“有效”

PRTF

PART4 试验结果
  边缘数据预测技能与结果：      
  如图所示是FGN与Gencast的边缘数据预测比对，图a是评分卡，蓝色则说明FGN在要素-气压层-时间组合上取得了更优的CRPS，而红色则说明Gencast在要素-气压层-时间组合上取得更优的CRPS。可见，FGN在99.9％的目标上表现的都比Gencast更为突出。最高的CRPS提升了18％，平均CRPS提升6.5％。另外从g和h两幅图中可见，在10米风上REV表面FGN比Gencast更优，而在2米风上二者相当。从b-f可见，FGN的也具有较高的校准性，离散-校准度)评分(spread-skill score)都接近于1。（10m与2m最大风速下的模型REV评估比较，包含超越阈值等。FGN基本上保持高REV或与Gencast相当）
联合分布相关结构的结果：
  如图可见FGN在不同尺度上相较于Gencast的平均池化和最大池化平均值分别上升8.5%和7.5%，右图a到b是预报时效1天与7天的评分卡。从图中可见虽然两者均有降低，但FGN的池化CRPS更大，表明更具优势。从3c与3d的观测要素比对中可见，在评测10米径向风和切向风时，FGN比Gencast的精准度大4.8%,在z300-z500上其更优7.8％，凸显了FGN的跨要素依赖关系的较高程度。且从球谐功率上看更优，避免了高功率损失。（注：池化是卷积神经网络CNN和循环神经网络RNN中的一种操作，目的是减少数据空间大小来防止过拟合，提高数据的鲁棒性）
热带气旋路径预测的结果：
  Gencast提前2天预测的大致结果，FGN提前3天即可预测得到。图4a中加入了12h一预报的FGN预报版本以消除时间跨度对模型的影响，结果表明，FGN的误差虽有增加，但从2天起的预报时效误差仍然低于Gencast。且FGN在路径概率预报方面也优于Gencast，REV也更大。表明FGN在热带气旋预报的实际业务中展现出了良好的实用性。