Meta построит AI Research SuperCluster — крупнейший в мире суперкомпьютер для исследований ИИ
Для разработки передового ИИ следующего поколения потребуются новые мощные компьютеры, способные выполнять квинтиллионы операций в секунду. Meta объявила, что спроектирует и построит AI Research SuperCluster (RSC).
Он является одним из самых быстрых суперкомпьютеров с искусственным интеллектом, работающих в наши дни, и станет самым быстрым суперкомпьютером с искусственным интеллектом в мире, когда будет полностью построен в середине 2022 года. Исследователи компании уже начали использовать RSC для обучения больших моделей обработке естественного языка (NLP) и компьютерного зрения для исследований с целью однодневных обучающих моделей с триллионами параметров.
RSC поможет исследователям искусственного интеллекта Meta создавать новые и более совершенные модели ИИ, способные учиться на триллионах примеров, работать на сотнях разных языков, легко анализировать текст, изображения и видео, разрабатывать новые инструменты дополненной реальности и многое другое. Сотрудники компании смогут обучать самые большие модели, необходимые для разработки продвинутого ИИ для компьютерного зрения, NLP и распознавания речи.
«Мы надеемся, что RSC поможет нам создать совершенно новые системы ИИ, которые смогут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, каждый из которых говорит на своем языке, чтобы они могли беспрепятственно сотрудничать в исследовательском проекте или вместе играть в игру с дополненной реальностью. В конечном итоге работа, проделанная с RSC, проложит путь к созданию технологий для следующей крупной вычислительной платформы — метавселенной, где важную роль будут играть приложения и продукты на основе ИИ», — сообщили в Meta.
«Опыт, который мы создаем для метавселенной, требует огромной вычислительной мощности (квинтиллионов операций в секунду!), и RSC позволит создавать новые модели ИИ, которые могут учиться на триллионах примеров, понимать сотни языков и многое другое»
Старая система: 22 000 графических процессоров Nvidia V100. Сегодня: 6080 графических процессоров Nvidia A100. Середина 2022 года: 16 000 графических процессоров Nvidia A100.
По сравнению с исследовательским кластером ИИ, который Meta использует сегодня и который был разработан в 2017 году, RSC — это изменение количества задействованных графических процессоров, способов их взаимодействия и подключенного к ним хранилища.
«В начале 2020 года мы решили, что лучший способ ускорить прогресс — это спроектировать новую вычислительную инфраструктуру с чистого листа, чтобы использовать преимущества новой технологии GPU и сетевой структуры. Мы хотели, чтобы эта инфраструктура могла обучать модели с более чем триллионом параметров на наборах данных размером до эксабайта, что для обеспечения ощущения масштаба эквивалентно 36 000 лет высококачественного видео», — сообщили исследователи.
Старая система подключала 22 000 графических процессоров Nvidia V100 с тензорными ядрами. Новая переключилась на ядро Nvidia A100, которое доминировало в недавних тестах производительности систем искусственного интеллекта.
В настоящее время новая система представляет собой кластер из 760 компьютеров Nvidia DGX A100 с 6080 графическими процессорами. Компьютерный кластер связан с помощью сети Nvidia Infiniband со скоростью 200 гигабит в секунду. Хранилище включает 46 петабайт (46 миллионов миллиардов байт) кэш-памяти и 175 петабайт объемной флэш-памяти.
По сравнению со старой системой на базе V100, RSC продемонстрировал 20-кратное ускорение в задачах компьютерного зрения и трехкратное ускорение обработки больших объемов обработки естественного языка.
Когда система будет завершена в середине 2022 года, к ней будут подключены 16 000 графических процессоров, что, как утверждают исследователи, сделает ее одной из крупнейших в своем роде. В этот момент его кеш и хранилище будут иметь емкость 1 эксабайт (1 миллиард миллиардов байтов) и смогут передавать в систему 16 терабайт данных в секунду.
«Мы ожидаем, что такое ступенчатое изменение вычислительных возможностей позволит нам не только создавать более точные модели ИИ для наших существующих сервисов, но и обеспечит совершенно новый пользовательский опыт, особенно в метавселенной», — сообщили инженеры Meta Кевин Ли и Шубхо Сенгупта.
Новая система также будет ориентирована на надежность. Это важно, потому что очень большие сети могут занять недели обучения, а вы не хотите сбоя на полпути к задаче, что означает, что вам придется начинать все сначала.
Стоит отметить, что самой крупной готовой к производству системой, протестированной в последнем раунде тестов обучения нейронной сети MLPerf, была система с 4320 графическими процессорами, представленная Nvidia. Эта система могла обучить процессор естественного языка BERT менее чем за минуту. Однако BERT имеет только 110 миллионов параметров по сравнению с триллионами, с которыми Meta хочет работать.
Запуск RSC также связан с изменением того, как Meta использует данные для исследований.
«В отличие от нашей предыдущей исследовательской инфраструктуры ИИ, которая использовала только открытый исходный код и другие общедоступные наборы данных, RSC также помогает нам обеспечить эффективное воплощение наших исследований в жизнь, позволяя нам включать реальные примеры из производственных систем Meta в обучение моделей», — сообщили в Meta.
Исследователи сообщили, что RSC будет принимать дополнительные меры предосторожности для шифрования и анонимизации этих данных, чтобы предотвратить утечку. Эти шаги включают в себя то, что RSC изолирован от более крупного интернета, не имея ни входящих, ни исходящих соединений.
Трафик к RSC может поступать только из производственных центров обработки данных Meta. Кроме того, путь данных между хранилищем и графическими процессорами полностью зашифрован, а данные анонимны и подлежат проверке для подтверждения анонимности.
