Meta побудує AI Research SuperCluster — найбільший у світі суперкомп'ютер для досліджень ШІ
Для розробки передового ШІ наступного покоління знадобляться нові потужні комп'ютери, здатні виконувати квінтильйони операцій за секунду. Meta оголосила, що спроєктує та побудує AI Research SuperCluster (RSC).
Він є одним із найшвидших суперкомп'ютерів зі штучним інтелектом, які працюють нині, і стане найшвидшим суперкомп'ютером зі ШІ у світі, коли буде повністю побудований у середині 2022 року. Дослідники компанії вже почали використовувати RSC для навчання великих моделей обробки природної мови (NLP) та комп'ютерного зору для досліджень із метою одноденного навчання моделей із трильйонами параметрів.
RSC допоможе дослідникам ШІ Meta створювати нові та досконаліші моделі ШІ, здатні навчатися на трильйонах прикладів, працювати із сотнями різних мов, легко аналізувати текст, зображення та відео, розробляти нові інструменти доповненої реальності та багато іншого. Співробітники компанії зможуть навчати найбільші моделі, необхідні для розробки просунутого ШІ для комп'ютерного зору, NLP і розпізнавання мовлення.
«Ми сподіваємося, що RSC допоможе нам створити зовсім нові системи ШІ, які зможуть, наприклад, забезпечувати голосовий переклад у реальному часі для великих груп людей, кожен з яких говорить своєю мовою, щоб вони могли безперешкодно співпрацювати в дослідницькому проєкті або разом грати в гру з доповненою реальністю. Зрештою робота, виконана з RSC, прокладе шлях до створення технологій для наступної великої обчислювальної платформи — метавсесвіту, де важливу роль відіграватимуть програми та продукти на основі ШІ», — повідомили в Meta.
«Досвід, який ми створюємо для метавсесвіту, потребує величезної обчислювальної потужності (квінтильйонів операцій за секунду!), і RSC дозволить створювати нові моделі ШІ, які можуть навчатися на трильйонах прикладів, розуміти сотні мов і багато іншого»
Стара система: 22 000 графічних процесорів Nvidia V100. Сьогодні: 6080 графічних процесорів Nvidia A100. Середина 2022 року: 16 000 графічних процесорів Nvidia A100.
Порівняно з дослідницьким кластером ШІ, який Meta використовує сьогодні і який був розроблений у 2017 році, RSC — це зміна кількості задіяних графічних процесорів, способів їх взаємодії та під'єднаного до них сховища.
«На початку 2020 року ми вирішили, що найкращий спосіб прискорити прогрес — це спроєктувати нову обчислювальну інфраструктуру з нуля, щоб використати переваги нової технології GPU та мережевої структури. Ми хотіли, щоб ця інфраструктура могла навчати моделі з більш як трильйоном параметрів на наборах даних розміром до ексабайта, що для відчуття масштабу еквівалентно 36 000 рокам високоякісного відео», — повідомили дослідники.
Стара система під'єднувала 22 000 графічних процесорів Nvidia V100 з тензорними ядрами. Нова перейшла на ядро Nvidia A100, яке домінувало в останніх тестах продуктивності систем штучного інтелекту.
Наразі нова система являє собою кластер із 760 комп'ютерів Nvidia DGX A100 із 6080 графічними процесорами. Обчислювальний кластер пов'язаний за допомогою мережі Nvidia Infiniband зі швидкістю 200 гігабіт на секунду. Сховище включає 46 петабайтів (46 мільйонів мільярдів байтів) кеш-пам'яті та 175 петабайтів об'ємної флеш-пам'яті.
Порівняно зі старою системою на базі V100, RSC продемонстрував 20-кратне прискорення в завданнях комп'ютерного зору та триразове прискорення обробки великих обсягів природної мови.
Коли система буде завершена у середині 2022 року, до неї будуть під'єднані 16 000 графічних процесорів, що, як стверджують дослідники, зробить її однією з найбільших у своєму роді. На цей момент її кеш і сховище матимуть ємність 1 ексабайт (1 мільярд мільярдів байтів) і зможуть передавати в систему 16 терабайтів даних за секунду.
«Ми очікуємо, що така стрибкоподібна зміна обчислювальних можливостей дозволить нам не лише створювати точніші моделі ШІ для наших наявних сервісів, а й забезпечить зовсім новий користувацький досвід, особливо в метавсесвіті», — повідомили інженери Meta Кевін Лі та Шубго Сенгупта.
Нова система також буде орієнтована на надійність. Це важливо, оскільки дуже великі мережі можуть займати тижні навчання, а ви не хочете збою на півдорозі до завдання, що означає, що вам доведеться починати все спочатку.
Варто зазначити, що найбільшою готовою до виробництва системою, протестованою в останньому раунді тестів навчання нейронних мереж MLPerf, була система з 4320 графічними процесорами, представлена Nvidia. Ця система могла навчити процесор природної мови BERT менш ніж за хвилину. Однак BERT має лише 110 мільйонів параметрів порівняно з трильйонами, з якими Meta хоче працювати.
Запуск RSC також пов'язаний зі зміною того, як Meta використовує дані для досліджень.
«На відміну від нашої попередньої дослідницької інфраструктури ШІ, яка використовувала лише відкритий вихідний код та інші загальнодоступні набори даних, RSC також допомагає нам забезпечити ефективне втілення наших досліджень у життя, дозволяючи нам включати реальні приклади з виробничих систем Meta в навчання моделей», — повідомили в Meta.
Дослідники повідомили, що RSC вживатиме додаткових заходів обережності для шифрування та анонімізації цих даних, щоб запобігти витоку. Ці кроки включають те, що RSC ізольований від ширшого інтернету, не маючи ні вхідних, ні вихідних з'єднань.
Трафік до RSC може надходити лише із виробничих центрів обробки даних Meta. Крім того, шлях даних між сховищем і графічними процесорами повністю зашифрований, а дані анонімні та підлягають перевірці для підтвердження анонімності.
