Нейросетевая революция в метеорологии. Как машинное обучение может навсегда изменить прогноз погоды

Друзья, с момента основания проекта прошло уже 20 лет и мы рады сообщать вам, что сайт, наконец, переехали на новую платформу.

Какое-то время продолжим трудится на общее благо по адресу https://n-n-n.ru.
На новой платформе мы уделили особое внимание удобству поиска материалов.
Особенно рекомендуем познакомиться с работой рубрикатора.

Спасибо, ждём вас на N-N-N.ru

Автор: Илья Винштейн. 14 ноября 2023 года команда Google Deepmind официально представила мировой общественности свою модель прогнозирования погоды – GraphCast. Её особенность заключается в том, что она способна рассчитывать погоду на 10 дней вперёд без понимания «физики» атмосферных процессов. Учёные обучали нейросеть на цифровых исторических архивах погоды за период с 1979 по 2017 годы. Сам же прогноз рассчитывается за минуту и не требует огромных суперкомпьютерных ресурсов.

В тестах GraphCast смог обойти самую передовую гидродинамическую модель прогнозирования погоды от Европейского центра среднесрочных прогнозов. Рост качества был настолько существенным и резким, что в научной среде уже говорят о революции в сфере прогнозирования погоды. К чему это может привести и где смотреть самые точные прогнозы? Давайте разбираться.

Для начала представлюсь. Меня зовут Илья Винштейн, я синоптик из Кургана. Занимаюсь метеорологией 19 лет. Администрирую свой региональный проект «Погода 45» и «Синоптика». Давал несколько лекций для научно-просветительского проекта «Курилка Гутенберга».

Как создаётся прогноз в XXI веке?

Рассказ о прогнозе погоды следует начать с того, как этот самый прогноз составляется в XXI веке. Главным источником всей прогностической информации являются глобальные численные модели атмосферы. Это программы, которые воспроизводят всю атмосферу Земли, начиная от почвы и заканчивая верхними слоями стратосферы. Главной пищей для моделей являются спутниковые данные во всех видимых и невидимых спектральных диапазонах, данные с кораблей, самолётов и аэрологических зондов. Данные наземных станций сейчас уже не имеют столь сильного влияния на качество прогноза, хотя и продолжают использоваться. Если исключить из моделей слой метеостанций, то качество упадёт на 7%, а если исключить спутниковые данные, то на 35–40%. В мире насчитывается 11 глобальных моделей и ещё десяток региональных.

Первые успешные эксперименты по численному прогнозу были проведены в 50-е годы XX века, когда появились первые компьютеры. Сложность моделей атмосферы прямым образом связана с теми вычислительными и интеллектуальными ресурсами, которыми обладает государство. По этой причине разработка и поддержание таких моделей является невероятно дорогим удовольствием. Не стоит забывать и про людей. За каждой моделью могут стоять сотни разработчиков, которые принимали участие в её создании в разные годы. Модели создаются в коллаборации университетов или даже стран. Классическим примером здесь является модель Европейского центра среднесрочных прогнозов (ECMWF).

ECMWF был создан в 1975 году в знак признания необходимости объединения научных и технических ресурсов метеорологических служб и институтов Европы для подготовки прогнозов погоды на среднесрочные сроки (примерно до двух недель). В Центре работает около 350 сотрудников, в основном назначенных из разных стран-участниц и сотрудничающих государств.

На протяжении почти 50 лет учёные развивали и совершенствовали свою модель, которая сейчас является самой лучшей в мире. Год за годом, шаг за шагом они внедряли обновления и допиливали свою модель до идеального состояния. Отмечу, что модель ECMWF в среднем обновляется раз в год. Последнее было в июне 2023 года. О нём я расскажу позже.

prognoz1.pngКачество прогнозов ECMWF на 3, 5, 7 и 10 суток. 500 hPa, Коэффициент корреляции аномалий.

Качество прогнозов стабильно росло на протяжении десятков лет. Например, в 1986 году модель ECMWF прогнозировала поле давления на 3-е суток с точностью 90%. Сейчас этот показатель 98–99%. В 2000-м году на 7-м суток поле давления прогнозировалось с точностью 60%. За 20 лет показатель вырос до 80%! В 2005 году на 10-ть суток точность прогноза была 40%, а сейчас 50%. В научной среде этот прогресс даже имеет своё название – тихая революция. Достижения в области численного прогнозирования погоды представляют собой тихую революцию, поскольку они стали результатом постоянного накопления научных знаний и технологических достижений на протяжении многих лет.

pronoz2.pngРейтинг глобальных прогностических моделей в 2022 году. Точность прогноза MSLP на 120 часов. Данные: ВМО

Модель ECMWF занимает первое место в мире по качеству прогнозов. В 2022 году поле атмосферного давления (MSLP) на 5 суток она прогнозировала с точностью 90.5%. На втором месте находится британская модель UKMO. Разрыв между этими двумя моделями настолько существенный, что если бы модель ECMWF прекратила обновляться, то UKMO догнала бы её только через 6 лет. Идём дальше. Американская модель GFS отстаёт от ECMWF на 10 лет. Китайская модель на 17 лет, а российская ПЛАВ на 19 лет.

Сейчас мировые прогностические центры буквально выгрызают эти десятые доли процента, пытаясь приблизиться к уровню ECMWF. На многих графиках видно, что в последние годы качество прогнозов на средние сроки существенно замедлилось. Особенно это касается 7–10 суток. Высказываются мнения, что гидродинамические модели достигли своего пика развития. Здесь можно привести аналогию из теории относительности. Материальные объекты не могут достичь скорости света. Чем быстрее разгоняется объект, тем больше он затрачивает энергии для разгона. Со временем энергия преобразуется в массу самого объекта, тем самым необходимо затратить еще больше энергии на разгон. Каждый дополнительный м/сек даётся с большим трудом.

Здесь же можно вспомнить принцип Паретто, согласно которому 80% усилий дают 20% результата, а 20% усилий дают 80% результата. В начале нулевых качество прогнозов росло очень быстро, особенно после внедрения спутниковых данных. За период с 2000 по 2005 гг. прогноз на 10 суток стал точнее на 10%. С 2015 г. по настоящее время прогресс был лишь 5%.

Улучшение качества моделей требует колоссальных инвестиций в разработку, исследования и модернизацию оборудования. И страны Евросоюза готовы вкладывать в это огромные деньги.

Подробнее
Пожалуйста, оцените статью:
Пока нет голосов
Источник(и):

Хабр