Трансформеры упираются в стену там, где начинается физика: Анима Анандкумар о нейросетях для науки

Когда в 2021 году профессор Калтеха Анима Анандкумар и её команда решили обучить нейросеть предсказывать погоду, метеорологи их отговаривали: за плечами традиционного прогнозирования — десятилетия физического моделирования снизу вверх, и ИИ такое не одолеть. Команда всё равно попробовала — данные ECMWF были в открытом доступе. Получившаяся модель оказалась почти такой же точной, как классические физические модели, но в десятки тысяч раз быстрее, и вместо суперкомпьютера ей хватало одной потребительской видеокарты.

Об этом Анандкумар — соосновательница Accelerated Understanding, бывший руководитель ИИ-исследований в NVIDIA и один из основателей облачной ИИ-команды Amazon Web Services — рассказала в подкасте Latent Space. По её тезису, вся мощь современного ИИ направлена на язык, а физический мир — погода, термоядерный синтез, материалы — требует другого подхода: данных там на порядки меньше, чем текста в интернете, а разрешение физических задач «жестокое». Трёхмерная симуляция с временем и сеткой хотя бы в тысячу точек по каждому измерению превращается в контекст на сотни миллиардов и триллионы токенов — по её словам, для такого не хватит вычислений всего мира, и трансформеры с их квадратичной сложностью внимания там попросту нежизнеспособны.

Её ответ — нейронные операторы, обобщение обычных нейросетей: если стандартная сеть работает с фиксированным разрешением входа и выхода, то оператор описывает вход и выход как непрерывные функции, которые можно «дозумить» до любой детализации уже после обучения. В основе главной архитектуры Анандкумар — Fourier Neural Operator: перевод сигнала в частотную область позволяет захватывать нелокальные явления (то, что происходит в одной точке мира, физически связано с другой) почти линейно по сложности, а не квадратично, как у трансформеров.

На этой архитектуре построена модель FourCastNet — команда открыла её исходный код с разрешительной лицензией, и вслед за ними собственные ИИ-модели погоды выпустили DeepMind и Huawei. С осени 2023 года FourCastNet доступна через ECMWF, и, по словам Анандкумар, модель верно предсказала выход на сушу урагана «Ли» на несколько дней раньше стандартных прогнозов. Свежая версия, FourCastNet 3, впервые учитывает сферическую геометрию Земли вместо плоской проекции — это стабилизирует расчёт при длинных прогонах и позволяет одной и той же модели работать и с погодой на недели вперёд, и с климатом на месяцы. При этом сама сеть обучена предсказывать всего на шесть часов вперёд и лишь дообучена на несколько шагов авторегрессии — а устойчиво «раскручивается» на месяцы. На архитектуре нейронных операторов её команды институт Allen AI построил собственные климатические модели.

Те же принципы Анандкумар применяет к плазме термоядерных реакторов: цифровой двойник токамака моделирует магнитогидродинамику примерно в миллион раз быстрее классических симуляций — команда работает с британским UK Atomic Energy Authority и несколькими лабораториями в США, включая эксперименты со стеллараторами, и следующим шагом хочет предсказывать и предотвращать срывы плазмы. Среди других применений — секвестрация углекислого газа под землёй, аэродинамика автомобилей и самолётов и обратный дизайн — например, масок для литографии чипов и затворов для квантовых точек, где ИИ ищет решение, недоступное интуиции человека, но уже проверенное встроенной физической симуляцией.

Отдельная линия работы Анандкумар — TorchLean, фреймворк для формального доказательства свойств нейросетей на языке Lean: он позволяет доказывать границы устойчивости сети (например, алгоритмами вроде CROWN) для систем, которым предстоит работать в контуре управления — от дронов до, в теории, ядерных реакторов. Недавно Анандкумар вошла в Научный консультативный совет ООН и настаивает, что ИИ для науки нельзя регулировать по тем же правилам, что и чат-ботов. Библиотека нейронных операторов её команды — часть экосистемы PyTorch и открыта для всех желающих.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.