DeepSeek AI rend son système de fichiers Fire-Flyer ouvert
DeepSeek AI divulgue son système de fichiers parallèle Fire-Flyer Fire System (3FS) entièrement open source cette semaine, dans le cadre de son événement Open Source Week. L’entreprise de l’IA de rupture en provenance de Chine vante le fait que 3FS peut atteindre un débit de lecture en lecture agrégée de 7,3 To/s dans ses propres clusters de données serveur, où DeepSeek utilise 3FS pour organiser ses serveurs depuis au moins 2019. 3FS est un système de fichiers parallèle basé sur Linux conçu pour être utilisé dans les opérations AI-HPC, où de nombreux serveurs de stockage de données sont constamment accessibles par des nœuds GPU pour former des LLM.
Une priorisation des vitesses de lecture aléatoire
3FS se distingue des autres systèmes de fichiers grâce à sa quasi-priorité presque exclusive aux vitesses de lecture aléatoire, sans quasiment aucun souci de mise en cache en lecture. Lors de la formation de modèles AI, les unités de calcul ont besoin d’accéder en permanence à des données d’entraînement aléatoires, et la lecture de ces données est un processus unique. Par conséquent, un cache de lecture est presque inutile et est largement éliminé par 3FS. En fait, l’utilisation du cache de lecture lors de la formation de LLM peut être potentiellement nocive ; car les LLM sont essentiellement des machines d’inférence super-optimisées, la lecture des mêmes données dans le même ordre de manière répétée a le potentiel de lier complètement des données différentes en un ensemble pour le modèle de langage.
Les performances de 3FS chez DeepSeek
L’équipe responsable de l’exploitation de l’un des clusters d’apprentissage profond de DeepSeek, Fire-Flyer 2, a publié ce document en août dernier décrivant l’utilisation de 3FS dans le système sur mesure. Dans Fire-Flyer 2, DeepSeek a utilisé 180 nœuds de stockage, chacun équipé de 16 SSD de 16 To et de deux NUC de 200 Gbps. Ces nœuds ont servi 10 000 GPU PCIe Nvidia A100, installés dans des serveurs bien moins chers que les produits propriétaires DGX-A100 de Nvidia.
Au global, DeepSeek affirme avoir testé les performances de 3FS à 6,6 To/s, tout en exécutant également des tâches de formation en arrière-plan qui ont ajouté un débit de lecture supplémentaire de 1,4 To/s. En comparaison, le système de fichiers concurrent Ceph n’a atteint des vitesses de lecture que de 1,1 To/s (sur un serveur avec 68 nœuds, équipé de 10 SSD de 16 To et 2 x 100 Gbps de réseau) pour la première fois début 2024.
Une partie cruciale de la pile logicielle de DeepSeek
3FS a été crédité comme une partie cruciale de la pile logicielle de DeepSeek pour la formation de DeepSeek AI dans le document ci-dessus, testé sur la solution HPC Fire-Flyer 2 qui a atteint 80 % des performances de la solution serveur DGX-A100 de Nvidia pour 50 % du prix et 60 % de la consommation d’énergie.
Ceux qui souhaitent essayer le Fire-Flyer File System et son style de lecture aléatoire vers l’avant pour les solutions AI-HPC peuvent trouver le téléchargement complet sur la page Github de DeepSeek. Nous serions surpris que ce nouveau système open source ne devienne pas un succès pour les passionnés et les utilisateurs d’entreprise AI-HPC, bien qu’il puisse devoir surmonter un certain niveau de peur de la technologie chinoise pour atteindre un statut de blockbuster.
Source : www.tomshardware.com
