Meta construirá AI Research SuperCluster, el mayor supercomputador del mundo para investigar en IA
Para desarrollar la IA de próxima generación se necesitarán nuevos y potentes ordenadores capaces de realizar quintillones de operaciones por segundo. Meta ha anunciado que diseñará y construirá el AI Research SuperCluster (RSC).
Es uno de los superordenadores de IA más rápidos que funcionan actualmente y se convertirá en el superordenador de IA más rápido del mundo cuando esté completamente construido a mediados de 2022. Los investigadores de la compañía ya han empezado a usar el RSC para entrenar grandes modelos de procesamiento de lenguaje natural (NLP) y de visión por computador con el objetivo de investigar modelos de entrenamiento de un día con billones de parámetros.
El RSC ayudará a los investigadores de IA de Meta a crear modelos de IA nuevos y más avanzados, capaces de aprender a partir de billones de ejemplos, trabajar con cientos de idiomas, analizar fácilmente texto, imágenes y vídeos, desarrollar nuevas herramientas de realidad aumentada y mucho más. Los empleados de la compañía podrán entrenar los modelos más grandes necesarios para desarrollar IA avanzada para visión por computador, NLP y reconocimiento de voz.
«Esperamos que el RSC nos ayude a crear sistemas de IA completamente nuevos que puedan, por ejemplo, ofrecer traducción de voz en tiempo real para grandes grupos de personas, cada una de las cuales habla su propio idioma, para que puedan colaborar sin problemas en un proyecto de investigación o jugar juntas a un juego de realidad aumentada. En última instancia, el trabajo realizado con el RSC allanará el camino hacia tecnologías para la próxima gran plataforma informática: el metaverso, donde las aplicaciones y productos basados en IA desempeñarán un papel importante», — declaró Meta.
«La experiencia que estamos creando para el metaverso requiere una enorme potencia de cálculo (¡quintillones de operaciones por segundo!), y el RSC permitirá crear nuevos modelos de IA que puedan aprender a partir de billones de ejemplos, entender cientos de idiomas y mucho más»
Sistema anterior: 22 000 GPU Nvidia V100. Hoy: 6080 GPU Nvidia A100. Mediados de 2022: 16 000 GPU Nvidia A100.
En comparación con el clúster de investigación de IA que Meta utiliza hoy y que se diseñó en 2017, el RSC supone un cambio en el número de GPU empleadas, en la forma en que se interconectan y en el almacenamiento conectado a ellas.
«A principios de 2020 decidimos que la mejor forma de acelerar el progreso era diseñar una nueva infraestructura informática desde cero, para aprovechar las ventajas de la nueva tecnología de GPU y de la red. Queríamos que esta infraestructura pudiera entrenar modelos con más de un billón de parámetros con conjuntos de datos de hasta un exabyte, lo que, para que se haga una idea de la escala, equivale a 36 000 años de vídeo de alta calidad», — explicaron los investigadores.
El sistema anterior conectaba 22 000 GPU Nvidia V100 con núcleos tensoriales. El nuevo cambió al núcleo Nvidia A100, que dominó en las recientes pruebas de rendimiento de sistemas de inteligencia artificial.
Actualmente, el nuevo sistema es un clúster de 760 ordenadores Nvidia DGX A100 con 6080 GPU. El clúster informático está conectado mediante una red Nvidia Infiniband a 200 gigabits por segundo. El almacenamiento incluye 46 000 billones de bytes (46 petabytes) de caché y 175 petabytes de memoria flash de gran capacidad.
En comparación con el sistema anterior basado en V100, el RSC ha demostrado una aceleración de 20 veces en tareas de visión por computador y de tres veces en el procesamiento de grandes volúmenes de lenguaje natural.
Cuando el sistema esté terminado a mediados de 2022, tendrá conectadas 16 000 GPU, lo que, según afirman los investigadores, lo convertirá en uno de los mayores de su tipo. En ese momento, su caché y almacenamiento tendrán una capacidad de 1 exabyte (un trillón de bytes) y podrán transferir al sistema 16 terabytes de datos por segundo.
«Esperamos que este salto escalonado en la capacidad de cálculo nos permita no solo crear modelos de IA más precisos para nuestros servicios actuales, sino también ofrecer una experiencia de usuario completamente nueva, especialmente en el metaverso», — afirmaron los ingenieros de Meta Kevin Lee y Shubho Sengupta.
El nuevo sistema también se centrará en la fiabilidad. Esto es importante, porque las redes muy grandes pueden tardar semanas en entrenarse, y no quieres que un fallo a mitad de la tarea obligue a empezar de nuevo.
Cabe destacar que el mayor sistema listo para producción probado en la última ronda de pruebas de entrenamiento de redes neuronales MLPerf fue el de 4320 procesadores gráficos presentado por Nvidia. Este sistema pudo entrenar el procesador de lenguaje natural BERT en menos de un minuto. Sin embargo, BERT tiene solo 110 millones de parámetros, frente a los billones con los que Meta quiere trabajar.
El lanzamiento de RSC también está relacionado con un cambio en la forma en que Meta utiliza los datos para la investigación.
«A diferencia de nuestra infraestructura de investigación de IA anterior, que utilizaba únicamente código abierto y otros conjuntos de datos de acceso público, RSC también nos ayuda a llevar nuestra investigación a la práctica de forma eficaz, permitiéndonos incluir ejemplos reales de los sistemas de producción de Meta en el entrenamiento de modelos», declaró Meta.
Los investigadores señalaron que RSC aplicará medidas de precaución adicionales para cifrar y anonimizar estos datos, con el fin de evitar filtraciones. Estos pasos incluyen que RSC esté aislado de la red más amplia de internet, sin conexiones entrantes ni salientes.
El tráfico hacia RSC solo puede proceder de los centros de datos de producción de Meta. Además, la ruta de datos entre el almacenamiento y los procesadores gráficos está totalmente cifrada, y los datos son anónimos y están sujetos a verificación para confirmar su anonimato.
