Meta, 세계 최대 AI 연구용 슈퍼컴퓨터 ‘AI Research SuperCluster’ 구축
차세대 첨단 AI 개발에는 초당 퀸틸리언(10^18)번의 연산을 수행할 수 있는 새롭고 강력한 컴퓨터가 필요할 것입니다. Meta는 발표했습니다, AI Research SuperCluster(RSC)를 설계하고 구축할 것이라고.
RSC는 현재 가동 중인 가장 빠른 AI 슈퍼컴퓨터 중 하나이며, 2022년 중반 완전히 구축되면 세계에서 가장 빠른 AI 슈퍼컴퓨터가 될 것입니다. 회사 연구자들은 이미 RSC를 사용해 자연어 처리(NLP)와 컴퓨터 비전을 위한 대규모 모델을 학습하기 시작했으며, 이는 하루 만에 수조 개 매개변수 모델을 학습시키는 연구 목표를 위한 것입니다.
RSC는 Meta의 AI 연구자들이 수조 개의 예시로 학습하고, 수백 가지 언어로 작동하며, 텍스트·이미지·동영상을 쉽게 분석하고, 새로운 증강현실 도구 등을 개발할 수 있는 더 새롭고 향상된 AI 모델을 만드는 데 도움을 줄 것입니다. 회사 직원들은 컴퓨터 비전, NLP, 음성 인식을 위한 고급 AI 개발에 필요한 가장 큰 모델들을 학습할 수 있게 됩니다.
“우리는 RSC가 완전히 새로운 AI 시스템을 만드는 데 도움이 되기를 바랍니다. 예를 들어 각자 다른 언어를 사용하는 대규모 그룹을 위한 실시간 음성 번역을 제공해, 연구 프로젝트에서 막힘없이 협업하거나 증강현실 게임을 함께 즐길 수 있게 하는 시스템 말입니다. 궁극적으로 RSC로 이룬 성과는 AI 기반 애플리케이션과 제품이 중요한 역할을 할 차세대 주요 컴퓨팅 플랫폼인 메타버스 기술 개발의 길을 열 것입니다”라고 Meta가 밝혔습니다.
“메타버스를 위해 만들고 있는 경험은 막대한 컴퓨팅 성능(초당 퀸틸리언 번 연산!)을 필요로 하며, RSC는 수조 개 예시로 학습하고 수백 개 언어를 이해하는 등의 새로운 AI 모델을 만들 수 있게 할 것입니다”
기존 시스템: Nvidia V100 GPU 22 000개. 현재: Nvidia A100 GPU 6080개. 2022년 중반: Nvidia A100 GPU 16 000개.
Meta가 현재 사용 중이며 2017년에 개발된 AI 연구 클러스터와 비교하면, RSC는 투입된 GPU 수, 상호 연결 방식, 연결된 스토리지 측면에서 변화를 가져온 것입니다.
“2020년 초 우리는 새로운 GPU 기술과 네트워크 구조의 장점을 활용하기 위해 인프라를 처음부터 새로 설계하는 것이 발전을 가속하는 최선의 방법이라고 판단했습니다. 우리는 이 인프라가 1조 개 이상의 매개변수를 가진 모델을 최대 엑사바이트 규모의 데이터셋으로 학습할 수 있기를 원했습니다. 규모감을 보여주기 위해 이는 고화질 동영상 36 000년 분량에 해당합니다”라고 연구자들이 말했습니다.
기존 시스템은 텐서 코어가 탑재된 Nvidia V100 GPU 22 000개를 연결했습니다. 새 시스템은 최근 AI 성능 테스트에서 압도적이었던 Nvidia A100 칩으로 전환했습니다.
현재 새 시스템은 6080개 GPU를 탑재한 Nvidia DGX A100 컴퓨터 760대로 구성된 클러스터입니다. 컴퓨팅 클러스터는 초당 200기가비트 속도의 Nvidia 인피니밴드 네트워크로 연결되어 있습니다. 스토리지에는 46페타바이트(4.6경 바이트) 캐시 메모리와 175페타바이트 대용량 플래시 메모리가 포함됩니다.
기존 V100 기반 시스템과 비교해 RSC는 컴퓨터 비전 작업에서 20배, 대규모 자연어 처리 작업에서 3배 속도 향상을 보였습니다.
시스템이 2022년 중반 완성되면 16 000개 GPU가 연결될 것이며, 연구자들은 이로써 이 유형 시스템 중 가장 큰 규모 중 하나가 될 것이라고 말합니다. 그 시점에 캐시와 스토리지 용량은 1엑사바이트(10억 기가바이트)가 되며, 시스템으로 초당 16테라바이트 데이터를 전송할 수 있게 됩니다.
“이러한 단계적인 컴퓨팅 능력 변화를 통해 우리는 기존 서비스를 위해 더 정확한 AI 모델을 만들 수 있을 뿐 아니라, 특히 메타버스에서 완전히 새로운 사용자 경험도 제공할 수 있을 것으로 기대합니다”라고 Meta 엔지니어 케빈 리와 슈보 센굽타가 말했습니다.
새 시스템은 안정성에도 중점을 둡니다. 매우 큰 네트워크는 학습에 몇 주가 걸릴 수 있는데, 작업 중간에 장애가 발생해 처음부터 다시 시작해야 하는 상황은 피하고 싶기 때문에 이는 중요합니다.
참고로 최근 MLPerf 신경망 학습 벤치마크에서 테스트된 생산용 시스템 중 가장 큰 것은 Nvidia가 선보인 GPU 4320개 시스템이었습니다. 이 시스템은 BERT 자연어 처리 모델을 1분 이내에 학습시킬 수 있었습니다. 다만 BERT는 Meta가 다루고자 하는 수조 개 매개변수에 비해 1억 1000만 개 매개변수에 불과합니다.
RSC의 가동은 Meta가 연구에 데이터를 활용하는 방식의 변화와도 관련이 있습니다.
“오픈소스와 기타 공개 데이터셋만 사용했던 기존 AI 연구 인프라와 달리, RSC는 Meta 프로덕션 시스템의 실제 사례를 모델 학습에 포함할 수 있게 해 연구를 실제 서비스에 효과적으로 적용하도록 돕습니다”라고 Meta가 밝혔습니다.
연구자들은 RSC가 유출을 막기 위해 이 데이터를 암호화하고 익명화하는 추가 예방 조치를 취할 것이라고 밝혔습니다. 이 조치에는 RSC가 더 큰 인터넷과 분리되어 인바운드 및 아웃바운드 연결이 모두 없도록 하는 것이 포함됩니다.
RSC로의 트래픽은 Meta의 프로덕션 데이터센터에서만 들어올 수 있습니다. 또한 스토리지와 GPU 사이의 데이터 경로는 완전히 암호화되며, 데이터는 익명화되고 익명성 확인을 위해 검증 대상이 됩니다.
