克雷西 發自 凹非寺量子位 | 公眾號 QbitAI
DeepMind大模型再登上Nature——
氣象預測大模型GenCast，8分鐘內完成15天的預測，而且不管常規還是極端天氣都能分析。
在97.2%的場景中，GenCast的表現都超過了全球頂尖的中期天氣預報系統ENS。
不同於DeepMind之前推出的GraphCast的確定性預測，GenCast關注的是各種天氣情況的機率。
和GraphCast一樣，GenCast也已經開源。
它基於擴散模型實現，解析度為0.25度經度/緯度（在赤道處約為28×28公里），相當於將地球表面分割成了超過100萬個網格。
每個網格都涵蓋80多個地表和大氣變數，相當於每次預測都有數千萬甚至上億條資料生成。
測試結果表明，在1320種實驗條件中，GenCast在97.2%的任務中，都比ENS更準確。
對於GenCast的表現，論文作者、DeepMind研究人員Ilan Price表示：
我們確實取得了巨大的進步，透過機器學習趕上了並超越了基於物理的模型。準確率超最強傳統方法
傳統天氣預報基於數值天氣預報（NWP）演算法實現，核心是對模擬大氣動力學的方程求近似解。
不過，相比於單一確定性的預測，氣象機構越來越依賴集合預報，生成多個基於NWP的結果，對各種可能的情景進行建模。
GenCast做的也是集合式預報，當然基於的原理不是NWP而是AI。
開頭提到的ENS，就是目前最先進的集合預報系統，來自歐洲歐洲中期天氣預報中心（ECMWF），未來將被納入其確定性預報系統HRES。
但即便是這種最強的傳統方式，也無法戰勝AI系統。
在常規預報當中，DeepMind團隊利用訓練資料中未涵蓋的真實歷史（2019年）資料，設定了1320種實驗條件，涉及不同的物理變數、預報時長和垂直高度。
結果在97.2%的場景當中，GenCast的CRPS都顯著優於ENS，如果只看對36小時之後的預測，GenCast在99.6%的條件下都能勝出。
（CRPS衡量了預報與觀測值之間累積機率分佈的差異，數值越小說明預報越準確）
對於高溫、大風等極端天氣事件（實驗中按發生機率分為1%/0.1%/0.01%三檔），除了在個別場景下，GenCast的預報的相對經濟價值（REV）顯著優於ENS。
（2t代表距離海平面2米高處溫度，10wind_speed代表10米處風速，msl代表平均海平面氣壓，藍線代表GenCast）
除了基礎的預測，在下游應用上GenCast也表現出了更強的預測能力。
DeepMind團隊測試了一款區域風電應用，使用全球發電廠資料庫中的5344個風電場位置和裝機容量資訊，透過插值獲得各風電場位置的10米風速預報，並透過功率曲線轉換為風電功率。
在120公里、240公里、480公里三個空間聚合尺度上，GenCast的風電功率預報CRPS和REV在7天內都顯著優於ENS。
不僅精準性強，GenCast的預測速度也很快，完成一次15天的預測僅需約8分鐘，而ENS需要幾個小時。
用擴散模型預測天氣
不同於DeepMind去年在Science上發表的GraphCast（基於圖神經網路GNN），GenCast基於擴散模型實現。
它以最近的X(t)和前一步天氣狀態X(t-1)的殘差Z(t)為取樣條件，經過去噪後得到預測結果，然後利用預測結果計算新的殘差作為新的輸入依據，將預測向更長時間延伸。
而具體的去噪過程，DeepMind又選擇了交給Transformer來完成。
Transformer編碼器首先將物理狀態場從經緯度網格表徵對映到一個六次細化的二十面體網格上。
然後，在Transformer的自注意力機制中，網格上的每個節點都會關注其周圍32跳鄰域內的所有節點，從而有效捕捉區域性和中等尺度的天氣特徵。
最後，解碼器將結果映射回原始解析度，得到去噪後的結果。
GenCast從公開的ERA5再分析資料集中，選取了1979至2018這40年的資料（間隔12小時，解析度0.25°）對GenCast進行了訓練。
為了提高預訓練效率，資料首先被降取樣到1°解析度，使用5次細化的二十面體網格進行學習。
這個階段需要200萬步，在32個TPUv5例項上執行約3.5天。
完成預訓練後，再用原始的0.25度解析度資料和6次細化的二十面體網格，對模型進行高精度微調，共計64000步，需要約1.5天完成。
目前，像去年釋出的確定性預測模型GraphCast一樣，GenCast也已經開源，程式碼和模型權重均已釋出。
DeepMind還表示，將會很快釋出GenCast（和以前的模型）生成的實時和歷史預報結果，為其他研究者提供更多的研究資源。
論文地址：https://www.nature.com/articles/s41586-024-08252-9參考連結：[1]https://deepmind.google/discover/blog/gencast-predicts-weather-and-the-risks-of-extreme-conditions-with-sota-accuracy/[2]https://www.nature.com/articles/d41586-024-03957-3
