Meta 将打造 AI Research SuperCluster——全球最大的AI超级计算机
面向下一代先进人工智能的开发需要新的强大计算机，能够每秒执行百亿亿次运算。Meta 宣布，将设计并建造 AI Research SuperCluster（RSC）。
它是当今最快的人工智能超级计算机之一，并将在2022年中完全建成时成为全球最快的人工智能超级计算机。该公司的研究人员已开始使用RSC训练自然语言处理（NLP）和计算机视觉的大型模型，目标是实现单日即可训练拥有数万亿参数模型的目标。
RSC将帮助Meta的AI研究人员创建更新、更强大的AI模型，这些模型能够从数万亿个样本中学习、支持数百种语言、轻松分析文本、图像和视频、开发新的增强现实工具等。公司员工将能够训练开发先进计算机视觉、NLP和语音识别所需的最大模型。
“我们希望RSC能帮助我们创建全新的AI系统，例如为众多各说不同语言的人提供实时语音翻译，使他们能够无障碍地协作完成研究项目，或一起玩增强现实游戏。最终，RSC相关工作将为下一代大型计算平台——元宇宙铺平道路，其中基于AI的应用和产品将发挥重要作用”，Meta公司表示。
““为元宇宙打造的体验需要巨大的计算能力（每秒百亿亿次运算！），RSC将支持创建新的AI模型，这些模型可从数万亿个样本中学习、理解数百种语言等等””
旧系统：22 000块英伟达V100图形处理器。现在：6080块英伟达A100图形处理器。2022年中：16 000块英伟达A100图形处理器。
与Meta目前使用、2017年开发的AI研究集群相比，RSC在所用图形处理器数量、互连方式以及所连接的存储方面都发生了变化。
“2020年初，我们决定，加快进展的最佳方式是从零开始设计新的计算基础设施，以利用新GPU技术和网络结构的优势。我们希望该基础设施能够训练参数超过一万亿的模型，处理多达一艾字节的数据集；为了让人们感受这种规模，这相当于36000年的高质量视频”，研究人员表示。
旧系统连接了22000块带张量核心的英伟达V100图形处理器。新系统转向了英伟达A100核心，该核心在近期AI系统性能测试中占据主导地位。
目前，新系统由760台英伟达DGX A100计算机组成的集群构成，共配备6080块图形处理器。计算集群通过速度为200吉比特每秒的英伟达InfiniBand网络连接。存储系统包括46PB（4.6亿亿字节）缓存和175PB大容量闪存。
与基于V100的旧系统相比，RSC在计算机视觉任务中实现了20倍加速，在处理大规模自然语言处理任务时实现了3倍加速。
系统在2022年中完成后，将连接16000块图形处理器，研究人员称这将使其成为同类中最大的系统之一。届时，其缓存和存储容量将达到1艾字节（1百亿亿字节），并能够每秒向系统传输16TB数据。
“我们预计，计算能力的这种阶跃式提升不仅将使我们为现有服务创建更精确的AI模型，还将带来全新的用户体验，尤其是在元宇宙中”，Meta工程师凯文·李（Kevin Lee）和舒博·森古普塔（Shubho Sengupta）表示。
新系统还将注重可靠性。这很重要，因为超大型网络可能需要数周训练，而你不希望任务进行到一半时出现故障，那意味着必须从头开始。
值得注意的是，在最近一轮MLPerf神经网络训练测试中，经过测试的最大量产系统是英伟达展示的一个拥有4320块图形处理器的系统。该系统能够在不到一分钟内训练BERT自然语言处理模型。然而，BERT只有1.1亿参数，而Meta希望处理的是数万亿参数。
RSC的启动还与Meta用于研究的数据使用方式的变化有关。
“与我们之前仅使用开源代码及其他公开数据集的AI研究基础设施不同，RSC还帮助我们将研究有效落地，使我们能够在模型训练中纳入Meta生产系统中的真实样本”，Meta公司表示。
研究人员表示，RSC将采取额外的预防措施对这些数据进行加密和匿名化处理，以防止泄露。这些措施包括：RSC与更大的互联网隔离，既没有入站也没有出站连接。
通往RSC的流量只能来自Meta的生产数据中心。此外，存储与图形处理器之间的数据路径完全加密，数据经过匿名化处理，并需经过验证以确认其匿名性。
