Alibaba Cloud révèle son architecture HPN pour la formation des LLM
Alibaba Cloud a partagé via GitHub son article de recherche sur la conception de ses centres de données utilisés pour l’entraînement des modèles de langage. Dans ce document intitulé “Alibaba HPN: un réseau de centres de données pour l’entraînement de grands modèles de langage”, Alibaba a utilisé Ethernet pour permettre à ses 15 000 GPU de communiquer entre eux.
Conception du réseau HPN
Les centres de données typiques génèrent des flux de données constants mais de petite taille avec des vitesses inférieures à 10 Gbps. En revanche, l’entraînement des modèles de langage produit des rafales périodiques de données pouvant atteindre 400 Gbps. Pour éviter les problèmes de distribution inégale du trafic, Alibaba a développé le réseau Haute Performance (HPN) avec une architecture à deux niveaux et double plan, permettant de sélectionner précisément les chemins réseau capables de supporter des flux importants.
Détails techniques et performance
Chaque centre de données Alibaba est divisé en hôtes, avec huit GPU par hôte. Chaque GPU dispose de sa propre carte réseau avec deux ports et est connecté à deux commutateurs ToR différents pour assurer une redondance en cas de défaillance. Même si la communication inter-hôte ne se fait plus via NVlink, Alibaba Cloud utilise toujours la technologie propriétaire de Nvidia pour le réseau intra-hôte.
Présentation et intérêt du projet
L’équipe d’Ennan Zhai présentera son travail lors de la conférence SIGCOMM en Australie. De nombreuses entreprises telles qu’AMD, Intel, Google et Microsoft s’intéressent à ce projet, notamment car elles ont créé l’Ultra Accelerator Link, un ensemble interconnecté en open-standard pour concurrencer NVlink.
Cependant, malgré ses avantages, le HPN présente certains inconvénients, en particulier en ce qui concerne sa structure de câblage complexe. Néanmoins, cette technologie est probablement plus abordable que NVlink, permettant ainsi aux entreprises d’économiser sur les coûts d’installation des centres de données.
Source : www.tomshardware.com
