Nature:AI擊敗最先進全球洪水預警系統,提前7天預測河流洪水
洪水是最常見的自然災害類型,全球有近 15 億人(約佔世界人口的 19%)直接面臨嚴重洪水事件的巨大風險。洪水還造成巨大的物質損失,每年造成全球經濟損失約 500 億美元。
近年來,人類造成的氣候變化進一步增加了一些地區的洪水頻率。然而,目前的預報方法主要依賴沿河而建的觀測站,其在全球的分佈並不均勻,這就導致未經測量的河流更難預報,其負面影響主要體現在發展中國家。升級預警系統,使這些人羣能夠獲得準確、及時的信息,每年可以挽救數千人的生命。
那麼,如何在全球範圍內進行可靠的洪水預報?人工智能(AI)模型或許大有可爲。
如今,來自 Google Research 洪水預測團隊的 Grey Nearing 及其同事開發的人工智能模型,通過利用現有的 5680 個測量儀進行訓練,可預測未測量流域在 7 天預測期內的日徑流。
隨後,他們將該人工智能模型與全球領先的短期和長期洪水預測軟件——全球洪水預警系統(GloFAS)進行了對比測試。結果顯示,該模型同日預測準確率與當前系統相當甚至更高。
此外,該模型在預測重現窗口(return window)期爲五年的極端天氣事件時,其準確性與 GloFAS 預測重現窗口期爲一年的事件時的準確性相當或更高。
相關研究論文以“Global prediction of extreme floods in ungauged watersheds”爲題,已發表在權威科學期刊Nature上。
研究團隊表示,該模型能對未測流盆地的小規模和極端洪水事件做出預警,且預警期比之前的方法都更長,並可提高發展中地區獲得可靠洪水預報的機會。
那麼,這一人工智能模型如何能給出可靠的洪水預報呢?
據論文描述,該研究使用了一種叫做長短期記憶(LSTM)網絡的人工智能模型來進行河流流量的預測。這個模型的設計有點像我們的大腦,它可以從一系列的氣象數據中學習並預測未來的河流流量,分爲編碼器和解碼器兩部分。
圖|基於 LSTM 的河流預報模型架構。兩個 LSTM 依次應用,一個接收歷史天氣數據,另一個接收預測天氣數據。模型輸出爲每個預報時間步的流量概率分佈參數。
首先,編碼器負責從上一段時間內的氣象數據中提取信息,它從過去的天氣情況中理解河流流量的變化情況。它將歷史氣象數據轉化爲可供解碼器使用的信息形式的作用。通過學習氣象數據中的特徵和時間模式,模型對過去氣象情況形成抽象理解,爲後續的流量預測提供了關鍵性的輸入。
編碼器則通過接收一系列氣象數據(比如降水量、溫度、輻射等)作爲輸入,學習如何提取這些數據中的關鍵特徵信息。這些特徵信息可能包括季節性變化、氣象事件(如暴雨、高溫等)以及它們對河流流量的影響。
同時,編碼器能夠捕獲氣象數據之間的時間依賴關係。這意味着它不僅僅考慮當前時刻的氣象情況,還考慮了之前一段時間內的氣象變化趨勢。通過對歷史數據的學習,編碼器能夠理解氣象數據的時間序列模式,並將其納入到模型中。
在編碼器中,LSTM 網絡被用來處理時間序列數據。LSTM 具有內部記憶單元,可以記住過去的信息,並根據當前的輸入來更新內部狀態。這使得編碼器能夠在處理長期依賴關係時表現優異,並在建模過程中保留重要的歷史信息。
最終,編碼器將歷史氣象數據轉化爲一個潛在的表示形式,這個表示形式包含了對過去氣象情況的理解和總結。這個表示形式是編碼器的輸出,並傳遞給解碼器,用於未來流量的預測。
然後,解碼器部分使用這些信息來預測未來幾天的河流流量。它考慮了當前的氣象預報,以及過去的天氣對未來流量的影響。這樣,就可以得到未來一週的流量預測。
解碼器在模型中負責將歷史氣象信息和未來預測結合起來,生成對未來河流流量的預測,並輸出相應的流量概率分佈。
解碼器首先接收來自編碼器的潛在表示形式,這個表示形式包含了歷史氣象數據的抽象理解。解碼器利用這些信息來理解過去的氣象條件對河流流量的影響,並建立起歷史數據與未來預測之間的聯繫。
解碼器同時接收未來的氣象預測數據作爲輸入。這些預測數據通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史信息和未來預測結合起來,通過學習它們之間的關係來預測未來的河流流量。
在理解了歷史氣象條件和未來預測之後,解碼器通過一個獨立的 LSTM 網絡來生成對未來河流流量的預測。這個網絡可以理解爲一個時間序列的生成器,根據過去的信息和未來的預測來生成流量序列。
解碼器不僅僅預測未來的河流流量值,還輸出一個概率分佈。具體來說,模型使用一個單邊拉普拉斯分佈來描述流量的不確定性,預測每個時間步的流量值時,輸出一個單邊拉普拉斯分佈的參數,而不是一個確定的值。這使得模型能夠考慮到流量預測的不確定性,爲決策提供了更多的信息。
最終的流量預測結果是通過集成多個解碼器模型的輸出得到的。模型使用了三個獨立訓練的解碼器 LSTM 網絡,然後將它們的預測結果取中值,從而減少預測的方差並提高預測的穩定性。
研究人員收集了大量的氣象數據和河流流量數據,來訓練這一模型。這些數據來自於不同的數據源,包括氣象預報、歷史記錄和地理信息。通過將數據標準化處理,模型得以正確理解它們。
然後,數據分成兩種類型:訓練集和測試集。訓練集用於訓練模型,而測試集則用於評估模型的性能。研究人員使用了一種“交叉驗證”的方法,以確保模型在不同的時間和地點都能夠有效地工作。
最後,研究團隊評估了模型的性能,並與現有的流量預測模型進行了比較。
研究團隊採用了常見的誤差指標來量化模型預測值與實際觀測值之間的差異。由於模型預測的不只是未來流量的具體數值,而且還給出了流量預測的不確定性,因此他們使用了概率積分變換(PIT)圖來評估預測分佈的準確性。
研究團隊還通過與其他流量預測模型的對比來評估所提出模型的性能。這包括了傳統的物理模型和其他機器學習模型。通過比較不同模型的誤差指標,可以直觀地展示所提模型在準確性和可靠性上的優勢。
另外,研究團隊還採用了特定的流域或河流作爲案例研究,應用模型於實際情境中,並詳細分析模型在不同季節、不同氣候條件下的預測性能。這有助於評估模型在實際應用中的可行性和穩定性。
除了量化指標,研究團隊也還對模型預測的不確定性進行了深入分析。這包括評估不同來源的不確定性(如輸入數據的不確定性、模型結構的不確定性等)對預測結果的影響,以及模型如何在存在不確定性的情況下仍然提供有用的預測。
結果顯示,模型展現了較高的精確度和召回率,尤其是對於短期回報週期的事件。這意味着模型能夠準確地識別出洪水事件,並且錯過的事件較少。
結合精確度和召回率,模型在不同回報週期的事件上獲得了較高的 F1 score,表明了其在準確性和全面性之間取得了良好的平衡。
此外,通過雙側 Wilcoxon 符號秩檢驗,模型的預測結果在統計上顯著優於基準模型。這證明了模型在洪水預測方面的有效性。
Cohen's d 指標顯示,模型性能改進的效果是顯著的,這進一步驗證了模型相對於傳統方法的優勢。
在 Nash–Sutcliffe 效率和 Kling-Gupta 效率等水文指標上,模型同樣顯示了良好的預測精度和對水文過程變化的敏感性。
然而,該研究也存在一些侷限性。
例如,實驗採用的樣本可能較小,限制了研究結果的普遍適用性和統計功效。研究所用的數據集的多樣性存在不足,這可能影響模型的泛化能力。採用的模型複雜度較高,可能導致計算成本增加並限制了其可解釋性和便捷性。
另外,研究聚焦於特定任務或領域,可能限制了方法的廣泛應用;這個方法缺乏長期影響的評估,使得對模型隨時間變化的表現理解不足,評估標準可能無法全面反映模型性能;且對現有技術的改進程度可能相對有限。
對此,研究團隊表示,未來的工作需要進一步將洪水預報的覆蓋範圍擴大到全球更多地點,以及其他類型的洪水相關事件和災害,包括山洪和城市洪水。人工智能技術也將繼續發揮關鍵作用,幫助推動科學研究,促進氣候行動。
https://www.nature.com/articles/s41586-024-07145-1
https://blog.google/technology/ai/google-ai-global-flood-forecasting/