NVIDIA ConnectX

Parfois, vous voulez juste aller vite. Nous avons récemment discuté de la mise en réseau à 400 Gbit/s dans le contexte du fait qu'il s'agit d'une nouvelle capacité que les emplacements PCIe Gen5 x16 peuvent gérer. Aujourd'hui, nous allons examiner la configuration à l'aide de NDR 400 Gbps Infiniband/ 400 GbE.

Un merci spécial à PNY. Nous ne le savions pas il y a un an, mais PNY vend non seulement des GPU pour stations de travail NVIDIA, mais également ses composants réseau. Nous travaillions sur un commutateur 400GbE, et lors des discussions, il est apparu que nous devrions revoir ces cartes dans le cadre de ce processus. Cela peut sembler assez facile, mais c'est un grand pas en avant du réseau 100GbE au 400GbE et les cartes MCX75310AAS-NEAT sont des produits de base en ce moment en raison du nombre de personnes qui cherchent à déployer des équipements réseau haut de gamme.

La ConnectX-7 (MCX75310AAS-NEAT) est une carte PCIe Gen5 x16 à profil bas. Nous avons pris des photos avec le support pleine hauteur, mais il y a un support à profil bas dans la boîte.

Quelque chose qui devrait attirer l'attention des gens est la taille de la solution de refroidissement. Juste pour donner une idée de la rapidité avec laquelle nous en sommes, nous avons recherché les spécifications d'alimentation du ConnectX-7 et nous ne les avons pas trouvées. Nous avons demandé à NVIDIA via les canaux officiels les spécifications. Nous publions cet article sans eux car il semble que NVIDIA ne soit pas sûr de ce que c'est pour le moment. Il est un peu étrange que NVIDIA ne se contente pas de publier les spécifications de puissance de ces cartes dans sa fiche technique.

Voici le dos de la carte avec une plaque arrière de dissipateur thermique amusante.

Voici une vue latérale de la carte vue depuis le connecteur PCIe Gen5 x16.

Voici une autre vue du haut de la carte.

Voici une vue de la direction dans laquelle le flux d'air devrait se déplacer dans la plupart des serveurs.

Pour une perspective rapide ici, il s'agit d'une carte à port unique à profil bas fonctionnant à des vitesses de 400 Gbps. C'est une immense quantité de bande passante.

Avec une carte comme celle-ci, l'un des aspects les plus importants est de l'installer dans un système qui peut utiliser la vitesse.

Heureusement, nous les avons installés dans nos serveurs Supermicro SYS-111C-NR 1U et Supermicro SYS-221H-TNR 2U, et ils ont fonctionné sans problème.

Le SYS-111C-NR nous a fait apprécier les nœuds mono-socket puisque nous n'avons pas eu à éviter le socket-to-socket lors de la configuration du système. À des vitesses de 10/40 Gbit/s et même de 25/50 Gbit/s, nous entendons des gens discuter de la traversée des liaisons socket à socket comme des défis de performances. Avec 100GbE, il est devenu plus aigu et très courant d'avoir une carte réseau par CPU pour éviter la traversée. Avec des vitesses de 400 GbE, l'impact est nettement pire. En utilisant des serveurs à double socket avec une seule carte 400GbE, il peut être intéressant d'examiner les adaptateurs multi-hôtes qui peuvent se connecter directement à chaque CPU.

Une fois les cartes installées, nous avons eu le défi suivant. Les cartes utilisent des cages OSFP. Notre commutateur 400GbE utilise QSFP-DD.

Les deux normes sont un peu différentes en termes de niveaux de puissance et de conception physique. On peut adapter QSFP-DD à OSFP, mais pas l'inverse. Si vous n'avez jamais vu d'optique ou de DAC OSFP, ils ont leur propre solution de gestion thermique. QSFP-DD sur le dessus utilise des dissipateurs thermiques sur les cages QSFP-DD. L'OSFP inclut souvent la solution de refroidissement que nous avons sur les DAC et les optiques OSFP de notre laboratoire.

Cela nous a amenés à quelques jours de panique. Les DAC Amphenol OSFP à 500 $ ainsi que les DAC OSFP à QSFP-DD disponibles ont utilisé la solution de refroidissement par dissipateur thermique. Nous avons tout envoyé au laboratoire pour nous connecter uniquement pour obtenir une note indiquant que les extrémités OSFP des DAC ne rentraient pas dans les ports OSFP des cartes ConnectX-7 en raison du refroidissement direct sur les DAC.

La raison pour laquelle NVIDIA utilise OSFP est probablement due au niveau de puissance plus élevé. OSFP permet une optique de 15 W tandis que QSFP-DD est de 12 W. Au début des cycles d'adoption, avoir des plafonds de puissance plus élevés permet une adoption précoce plus facile, ce qui est l'une des raisons pour lesquelles il existe des éléments tels que les modules 24W CFP8. D'autre part, nous avons déjà examiné les optiques FS 400Gbase-SR8 400GbE QSFP-DD, ce qui fait que le marché évolue.

Quelques appels plus tard, nous avions des câbles qui fonctionnaient. Notre principal point à retenir, que vous utilisiez des adaptateurs OSFP ConnectX-7 aujourd'hui ou que vous lisiez cet article dans 5 ans lorsqu'ils deviendront des équipements d'occasion peu coûteux, est de tenir compte de la taille du dissipateur thermique à l'extrémité OSFP que vous branchez sur le ConnectX- 7. Si vous êtes habitué à QSFP/QSFP-DD où tout se branche et fonctionne, il y a un plus grand défi à rencontrer des problèmes idiots comme la taille des connecteurs. D'autre part, si vous êtes un fournisseur de solutions, c'est une opportunité pour un support de services professionnels. NVIDIA et des revendeurs comme PNY vendent également des câbles LinkX, ce qui aurait été une voie plus simple. C'est une grande leçon apprise.

Merci également au lecteur STH anonyme qui nous a aidé à obtenir les câbles/optiques pendant quelques jours en prêt. Ils ont souhaité rester anonymes car ils n'étaient pas censés prêter les câbles/optiques 400G dont ils disposaient.

Ensuite, laissez-nous tout configurer et fonctionner.