Meta construira AI Research SuperCluster, le plus grand superordinateur au monde dédié à la recherche en IA
Pour développer l'IA de nouvelle génération, il faudra de nouveaux ordinateurs puissants, capables d'effectuer des quintillions d'opérations par seconde. Meta a annoncé qu'elle concevra et construira l'AI Research SuperCluster (RSC).
Il est l'un des superordinateurs d'IA les plus rapides actuellement en service et deviendra le plus rapide au monde une fois entièrement construit, au milieu de l'année 2022. Les chercheurs de l'entreprise utilisent déjà le RSC pour entraîner de grands modèles de traitement du langage naturel (NLP) et de vision par ordinateur, dans le but d'obtenir des modèles d'entraînement comportant des trillions de paramètres en un seul jour.
Le RSC aidera les chercheurs en IA de Meta à créer des modèles d'IA nouveaux et plus performants, capables d'apprendre à partir de trillions d'exemples, de fonctionner avec des centaines de langues différentes, d'analyser facilement texte, images et vidéos, de développer de nouveaux outils de réalité augmentée et bien plus encore. Les employés de l'entreprise pourront entraîner les plus grands modèles nécessaires au développement d'une IA avancée pour la vision par ordinateur, le NLP et la reconnaissance vocale.
« Nous espérons que le RSC nous aidera à créer des systèmes d'IA entièrement nouveaux, capables par exemple d'assurer la traduction vocale en temps réel pour de grands groupes de personnes parlant chacune leur propre langue, afin qu'elles puissent collaborer sans entrave sur un projet de recherche ou jouer ensemble à un jeu en réalité augmentée. À terme, le travail réalisé avec le RSC ouvrira la voie à des technologies pour la prochaine grande plateforme informatique, le métavers, où les applications et produits basés sur l'IA joueront un rôle important », a déclaré Meta.
« L'expérience que nous créons pour le métavers demande une puissance de calcul colossale (des quintillions d'opérations par seconde !), et le RSC permettra de créer de nouveaux modèles d'IA capables d'apprendre à partir de trillions d'exemples, de comprendre des centaines de langues et bien plus encore »
Ancien système : 22 000 processeurs graphiques Nvidia V100. Aujourd'hui : 6080 processeurs graphiques Nvidia A100. Milieu de l'année 2022 : 16 000 processeurs graphiques Nvidia A100.
Par rapport au cluster de recherche en IA que Meta utilise aujourd'hui et qui a été conçu en 2017, le RSC modifie le nombre de processeurs graphiques utilisés, leur mode d'interconnexion et le stockage qui leur est associé.
« Au début de l'année 2020, nous avons décidé que la meilleure façon d'accélérer les progrès était de concevoir une nouvelle infrastructure de calcul à partir de zéro, afin de tirer parti de la nouvelle technologie GPU et de la structure réseau. Nous voulions que cette infrastructure puisse entraîner des modèles comportant plus d'un trillion de paramètres sur des jeux de données pouvant atteindre l'exaoctet, ce qui équivaut, pour donner une idée de l'échelle, à 36 000 ans de vidéo de haute qualité », ont indiqué les chercheurs.
L'ancien système connectait 22 000 processeurs graphiques Nvidia V100 dotés de cœurs tensoriels. Le nouveau repose sur le cœur Nvidia A100, qui a dominé les récents tests de performance des systèmes d'intelligence artificielle.
Actuellement, le nouveau système est un cluster de 760 ordinateurs Nvidia DGX A100 dotés de 6080 processeurs graphiques. Le cluster de calcul est relié par un réseau Nvidia InfiniBand d'un débit de 200 gigabits par seconde. Le stockage comprend 46 pétaoctets (46 millions de milliards d'octets) de mémoire cache et 175 pétaoctets de mémoire flash de grande capacité.
Par rapport à l'ancien système basé sur les V100, le RSC a démontré une accélération par 20 pour les tâches de vision par ordinateur et par 3 pour le traitement de grands volumes de langage naturel.
Une fois le système achevé, au milieu de l'année 2022, 16 000 processeurs graphiques y seront connectés, ce qui, selon les chercheurs, en fera l'un des plus grands de sa catégorie. À ce moment-là, sa mémoire cache et son stockage auront une capacité de 1 exaoctet (1 milliard de milliards d'octets) et pourront transférer 16 téraoctets de données par seconde vers le système.
« Nous nous attendons à ce que ce bond dans les capacités de calcul nous permette non seulement de créer des modèles d'IA plus précis pour nos services existants, mais aussi d'offrir une expérience utilisateur entièrement nouvelle, en particulier dans le métavers », ont déclaré les ingénieurs de Meta Kevin Lee et Shubho Sengupta.
Le nouveau système mettra également l'accent sur la fiabilité. C'est important, car de très grands réseaux peuvent nécessiter des semaines d'entraînement, et on ne veut pas qu'une panne survienne à mi-parcours, ce qui obligerait à tout recommencer.
Il convient de noter que le plus grand système prêt pour la production testé lors du dernier cycle de tests d'entraînement de réseaux neuronaux MLPerf était un système de 4320 processeurs graphiques présenté par Nvidia. Ce système a pu entraîner le modèle de traitement du langage naturel BERT en moins d'une minute. Cependant, BERT ne compte que 110 millions de paramètres, contre les trillions avec lesquels Meta veut travailler.
Le lancement du RSC s'accompagne également d'un changement dans la manière dont Meta utilise les données pour la recherche.
« Contrairement à notre précédente infrastructure de recherche en IA, qui n'utilisait que des logiciels open source et d'autres jeux de données accessibles au public, le RSC nous aide également à concrétiser efficacement nos recherches, en nous permettant d'intégrer à l'entraînement des modèles des exemples réels issus des systèmes de production de Meta », a déclaré Meta.
Les chercheurs indiquent que le RSC appliquera des mesures de précaution supplémentaires pour chiffrer et anonymiser ces données afin d'éviter toute fuite. Ces mesures comprennent le fait que le RSC est isolé d'Internet, sans aucune connexion entrante ni sortante.
Le trafic vers le RSC ne peut provenir que des centres de données de production de Meta. De plus, le chemin des données entre le stockage et les processeurs graphiques est entièrement chiffré, et les données sont anonymes et soumises à des vérifications pour confirmer leur anonymat.
