MetaがAI Research SuperCluster を構築、世界最大のAI研究用スーパーコンピューター
次世代の先進的なAIを開発するには、1秒あたり百京回もの演算を実行できる新たな高性能コンピューターが必要になる。Metaは発表し、AI Research SuperCluster（RSC）を設計・構築すると明らかにした。
これは現在稼働している最も高速なAIスーパーコンピューターの一つで、2022年中頃に完全に構築されると、世界最速のAIスーパーコンピューターになる。同社の研究者はすでにRSCを使い、自然言語処理（NLP）やコンピュータービジョンの大規模モデルの学習を開始している。目標は、一日で学習できる数兆パラメーター規模のモデルだ。
RSCは、Metaの AI研究者が、数兆の事例から学習し、数百の言語を扱い、テキスト、画像、動画を容易に解析し、新しい拡張現実ツールなどを開発できる、より新しく高性能なAIモデルを作る助けとなる。社員は、高度なコンピュータービジョン、NLP、音声認識AIの開発に必要な最大規模のモデルを学習できるようになる。
「RSCによって、例えば、それぞれ異なる言語を話す大人数のグループに向けてリアルタイムの音声翻訳を行うなど、まったく新しいAIシステムを作れることを期待しています。そうなれば、研究プロジェクトで円滑に協力したり、拡張現実ゲームを一緒に楽しんだりできます。RSCを使った取り組みは、次の大きなコンピューティングプラットフォームであるメタバースへの道を開き、そこではAIベースのアプリケーションや製品が重要な役割を果たすでしょう」とMetaは述べた。
「メタバース向けに私たちが作っているエクスペリエンスには膨大な計算能力（1秒あたり百京回の演算！）が必要で、RSCにより、数兆の事例から学習し、数百の言語を理解できる新たなAIモデルを作れるようになる。」
旧システム：22,000基のNvidia V100 GPU。現在：6080基のNvidia A100 GPU。2022年中頃：16,000基のNvidia A100 GPU。
2017年に開発された、Metaが現在使用しているAI研究クラスターと比べ、RSCは使用するGPUの数、それらの相互接続方法、接続されるストレージを変えたものだ。
「2020年初頭、私たちは進歩を加速させる最良の方法は、新しいGPU技術とネットワークファブリックの利点を生かすため、ゼロから新しいコンピューティング基盤を設計することだと判断しました。このインフラは、1兆を超えるパラメーターを持つモデルを、最大1エクサバイトのデータセットで学習できることを目指しました。規模感を示すなら、これは36,000年分の高品質な動画に相当します」と研究者らは述べた。
旧システムは、テンソルコアを備えた22,000基のNvidia V100 GPUを接続していた。新システムは、最近のAIシステムのベンチマークで優位に立ったNvidia A100に切り替えた。
現在の新システムは、6080基のGPUを搭載したNvidia DGX A100コンピューター760台のクラスターだ。コンピュータークラスターは、毎秒200ギガビットのNvidia InfiniBandネットワークで接続されている。ストレージは、46ペタバイト（46千兆バイト）のキャッシュメモリと、175ペタバイトの大容量フラッシュメモリを含む。
旧V100ベースのシステムと比べ、RSCはコンピュータービジョンのタスクで20倍、大量の自然言語処理の処理で3倍の高速化を実証した。
システムが2022年中頃に完成すると、16,000基のGPUが接続され、研究者によればその種類では最大規模の一つになるという。その時点で、キャッシュとストレージの容量は1エクサバイト（10億×10億バイト）となり、システムへ毎秒16テラバイトのデータを送信できるようになる。
「このような計算能力の段階的な飛躍により、既存サービス向けのより正確なAIモデルを作れるだけでなく、特にメタバースにおいて、まったく新しいユーザー体験を提供できると期待しています」とMetaのエンジニア、ケビン・リーとシュボ・センガプタは述べた。
新しいシステムは信頼性にも重点を置いている。非常に大規模なネットワークは学習に数週間かかることがあり、タスクの途中で障害が起きて最初からやり直す事態は避けたいため、これは重要だ。
なお、最新のMLPerfニューラルネットワーク学習テストで、本番運用可能な最大のシステムは、Nvidiaが発表した4320基のGPUを備えたシステムだった点に注意したい。このシステムは、自然言語プロセッサーBERTを1分以内に学習させることができた。ただし、BERTのパラメーター数は1億1000万であり、Metaが扱おうとしている数兆とは比べものにならない。
RSCの稼働は、Metaが研究でデータを利用する方法の変化とも関連している。
「従来のAI研究基盤はオープンソースや他の公開データセットのみを使っていましたが、RSCは研究の実用化を効果的に進める助けにもなります。Metaの本番システムからの実データを、モデル学習に取り入れられるようになるからです」とMetaは述べた。
研究者によると、RSCは漏洩を防ぐため、これらのデータを暗号化・匿名化するための追加の安全対策を講じる。その対策には、RSCを外部のインターネットから隔離し、受信・送信のいずれの接続も持たないことが含まれる。
RSCへのトラフィックは、Metaの本番データセンターからのみ受け付けられる。さらに、ストレージとGPU間のデータ経路は完全に暗号化され、データは匿名化されており、その匿名性を確認するための検証の対象となる。
