Consommation d'énergie des modules optiques et densité de bande passante : limites strictes dans les interconnexions des centres de données IA

Les réseaux de centres de données d'IA ne sont plus limités uniquement par la vitesse de transmission maximale d'un module optique.et maintenir suffisamment de liaisons optiques pour supporter l'échelle de calcul requise.

Alors que la capacité des commutateurs dépasse les 51,2 Tb/s et que les interfaces optiques passent de 400G et 800G à 1,6T et à des taux plus élevés, deux variables déterminent de plus en plus si l'architecture peut évoluer:

• Consommation de puissance du module optique

• Densité de bande passante du module optique

Ces variables sont étroitement liées. Une bande passante plus élevée par port augmente généralement les pertes électriques, la complexité du traitement du signal, la production de chaleur et la demande de refroidissement.Ajouter plus de ports au même panneau avant concentre cette chaleur dans un espace plus petit.

La limite résultante implique non seulement le module optique, mais aussi le commutateur ASIC, SerDes, PCB, alimentation, système de refroidissement, routage de fibre et modèle de maintenance.

Quelles sont les limites de puissance et de densité de bande passante des modules optiques?

La consommation d'énergie du module optique limite la quantité de capacité électrique et thermique disponible pour le calcul,tandis que la densité de bande passante décrit la capacité de données qui peut être installée dans un panneau fixe, de l'emballage ou de l'espace de stockage sans dépasser les limites électriques, thermiques, mécaniques et de fiabilité.

Aucune des deux mesures ne doit être évaluée indépendamment. Un module à large bande passante avec une puissance excessive peut réduire la capacité de calcul disponible dans le même rack.Un module plus petit peut améliorer la densité physique tout en créant un flux de chaleur que le châssis ne peut pas éliminer.

Consommation d'énergie comme contrainte du système

Un rack a une puissance et un budget de refroidissement finis. La puissance utilisée par les liaisons optiques n'est pas disponible pour les GPU, la mémoire, le silicium de commutateur, le stockage et les équipements de refroidissement de support.

Pour un petit nombre de ports, quelques watts supplémentaires par module peuvent sembler gérables.la différence devient une variable majeure de l'infrastructure.

Une comparaison complète peut nécessiter:

• Les deux extrémités du lien optique

• Serdes hôte et redémarrage

• DSP et FEC

• Puissance de la source laser

• Pertes de conversion de puissance

• Frais de refroidissement

Les valeurs publiées de watts par port ne sont pas directement comparables à moins qu'elles n'utilisent la même limite du système.

La densité de bande passante comme contrainte thermique

La densité de bande passante peut se référer à la bande passante par module, à l'ouverture du panneau avant, à l'unité de rack, au commutateur ou au watt.

Le doublement de la bande passante du module ne double pas automatiquement la densité utilisable de l'interrupteur.les fibres, les cages et l'accès aux services.

À des niveaux de puissance plus élevés, la densité de bande passante dépend de plus en plus de l'élimination de la chaleur plutôt que des dimensions du panneau.

Pourquoi l'échelle de vitesse d'une seule voie perd de son efficacité

La voie conventionnelle vers une plus grande bande passante optique repose fortement sur des voies électriques et optiques plus rapides:

25G → 50G → 100G → 200G PAM4

Cette voie reste importante, mais chaque transition nécessite des émetteurs, des récepteurs, une équalisation, un codage et un contrôle de l'intégrité du signal plus exigeants.La puissance et la complexité ne sont pas nécessairement proportionnelles au débit utile.

Pourquoi les voies plus longues augmentent la puissance et la complexité

L'écart de mise à l'échelle du calcul et de l'E/S

Une analyse basée sur lesBase de données de modèles Epoch AISelon les estimations, le calcul utilisé pour former les modèles d'IA frontaliers a augmenté d'environ quatre à cinq fois par an entre 2010 et 2024.

Ce taux s'applique à des cours de formation frontaliers plutôt qu'à toutes les charges de travail d'IA. Il illustre néanmoins à quel point la demande de communication peut croître rapidement autour de grands groupes d'accélérateurs.

La bande passante d'E/S ne suit pas un calendrier de doublement universel. Son développement dépend des feuilles de route SerDes, du silicium de commutateur, des interfaces optiques, de l'emballage, de l'alimentation électrique et du refroidissement.

Le défi pratique est d'élargir la capacité de communication assez rapidement pour empêcher l'interconnexion de limiter le système informatique.

Sanctions relatives à la sensibilité du récepteur, au DSP et au FEC

PAM4 transporte deux bits par symbole en utilisant quatre niveaux d'amplitude, mais la plus petite séparation entre ces niveaux réduit la marge de bruit par rapport à NRZ.

UneContribution technique IEEE 802.3Il a calculé une pénalité de modulation optique SNR idéale d'environ 4,8 dB pour PAM4 par rapport à NRZ. Des pénalités supplémentaires dépendent de la bande passante du signal et des conditions de mise en œuvre.

Cela ne signifie pas que la sensibilité du récepteur se détériore d'une quantité fixe chaque fois que le débit de voie double.Le FEC, et de la marge de mise en œuvre.

DSP et FEC peuvent récupérer la qualité du signal et augmenter la marge de fonctionnement, mais ils consomment également de l'énergie et introduisent un retard.Le bénéfice de l'augmentation de la vitesse sur une seule voie diminue donc à mesure que la compensation électrique et numérique devient plus nécessaire.

Comment la puissance du module optique limite la conception du commutateur

L'effet de la puissance du module devient plus clair lorsqu'il est regroupé à travers un commutateur complet.

Un exemple de budget énergétique de 51,2 T

Considérons un commutateur illustratif de 51,2 Tb/s rempli de modules optiques FR4 128 × 400G:

Dans ce calcul, les modules optiques représentent environ 58,7% de la puissance combinée du module optique et du commutateur ASIC.

Ce pourcentage ne représente pas la puissance totale d'entrée du commutateur, car les ventilateurs, les régulateurs, l'électronique de commande et les pertes de conversion ne sont pas inclus.Il montre que les interfaces optiques peuvent consommer de l'énergie à la même échelle que le silicium de commutation.

51.2T Budget de puissance optique du commutateur

Puissance du réseau et densité de calcul

Dans le cadre d'un budget d'énergie fixe, une puissance de réseau inférieure peut libérer plus de capacité électrique et thermique pour le calcul.

Dans son 2025annonce de changement de photonics, NVIDIA a rapporté une efficacité énergétique 3,5 fois supérieure pour son architecture annoncée par rapport à sa base de référence de mise en œuvre traditionnelle déclarée.

L'effet réel sur la densité du GPU dépend également du nombre de ports, de la topologie, de la puissance de l'accélérateur, de la capacité de refroidissementet conception des rayonnages.

Les trois effets systémiques d'une puissance optique plus élevée

Trois effets systémiques de la puissance du module optique

Puissance et densité de calcul

Un watt consommé par le réseau ne peut pas être affecté ailleurs dans la même enveloppe.

Une puissance de réseau plus élevée peut entraîner moins d'accélérateurs par rack, plus de racks pour la même charge de travail, des interrupteurs supplémentaires et une plus grande demande de refroidissement des installations.

La puissance du module optique est donc une variable architecturale et non seulement une spécification de composant.

Limites de puissance et de refroidissement

Comme les modules branchables dépassent 800G, il faut éliminer plus de chaleur de chaque position du panneau avant.

LeDocument technique de l'OSFP MSAdéclare que le facteur de forme OSFP1600 fournit plus de 30 W de capacité thermique pour les optiques de centre de données 1600G. Il s'agit d'une enveloppe thermique de référence, et non d'une puissance universelle pour chaque module.

La puissance réelle dépend de la portée, de la mise en œuvre du DSP, du nombre de longueurs d'onde, de la disposition du laser, de l'interface hôte et de la température de fonctionnement.

À un flux de chaleur suffisamment élevé, l'augmentation du débit d'air devient moins efficace.

Directives de l'ASHRAEdocumentent le refroidissement direct à l'eau chaude dans la plage de 40 à 45 °C dans des environnements informatiques hautes performances.Mais cela confirme que le refroidissement à l'eau chaude est une approche établie pour les centres de données.

Puissance, température et fiabilité

Dans un grand tissu d'IA, même une faible probabilité de défaillance au niveau des composants peut créer une charge opérationnelle importante.

Une température de fonctionnement plus basse peut ralentir de nombreux mécanismes de dégradation, mais la relation entre la température et la durée de vie dépend de l'appareil et du mode de défaillance.

Les directives de fiabilité du NISTexplique que différents modes de défaillance peuvent nécessiter différents modèles d'accélération.

Une analyse de fiabilité justifiable devrait donc identifier le mécanisme de défaillance pertinent, définir la contrainte de fonctionnement et valider le modèle avec des données.mais il ne produit pas un multiplicateur universel de durée de vie.

Pourquoi le panneau avant devient un goulot d'étranglement de bande passante

Les réseaux d'IA nécessitent une commutation à radix élevé et à faible surabonnement.

Des étapes supplémentaires peuvent augmenter:

• La latence

• Nombre de commutateurs et de liaisons optiques

• Consommation d'électricité

• Complicité du câble

• Points de défaillance

• Coût

Densité OSFP et extension du réseau

LeConception de référence OSFP MSAprésente un commutateur 1RU avec 32 ports OSFP1600 prenant en charge 51,2 Tb/s de débit global.

Il s'agit d'une configuration de référence plutôt que d'une limite physique universelle.

L'augmentation de la bande passante du module peut réduire le nombre de ports physiques nécessaires, mais seulement si l'alimentation, le refroidissement, le routage électrique et la gestion des fibres restent pratiques.

La densité de bande passante est en définitive un problème thermique

Un module peut être rendu plus petit, mais sa puissance ne peut pas diminuer au même rythme.

La densité utilisable est donc affectée par:

• Performance de la cage et du dissipateur thermique

• Distribution de l'alimentation par PCB

• Routage électrique de l'hôte

• Densité des connecteurs et des fibres

• Capacité du système de refroidissement

• Température maximale des composants

À haute bande passante, la densité pratique d'un facteur de forme est déterminée par la quantité de chaleur que le système complet peut éliminer.

Densité du panneau avant et architecture thermique XPO

XPO: Densité plus élevée avec refroidissement liquide intégré

XPO signifieOptique électronique extrêmement dense.

En mars 2026,Arista a annoncé l' accord multi-source XPOL'architecture annoncée utilise 64 canaux à 200 Gb/s par canal, fournissant 12,8 Tb/s par module et ciblant 204,8 Tb/s de bande passante du panneau avant par unité de rack de calcul ouvert.

Le concept utilise une structure à double PCB:

• Les composants à haute puissance sont orientés vers l'intérieur vers la structure de refroidissement par liquide.

• Les composants à faible puissance sont orientés vers l'extérieur.

• Le refroidissement est intégré à l'architecture du module.

• L'assemblage optique reste amovible.

La valeur de 204,8 Tb/s représente la capacité de bande passante du panneau avant, et non 128 modules physiques dans un rack.

L'argument de conception principal de XPO est la fonctionnalité. Il tente de conserver le modèle de module remplaçable tout en augmentant le parallélisme et en améliorant le chemin thermique.

Optique branchable traditionnelle, LPO, CPO et XPO

Le système de prise de courant traditionnel contre LPO contre CPO contre XPO

Optique branchable traditionnelle

Les modules branchables traditionnels se connectent à l'ASIC par des traces électriques à grande vitesse.

Ils offrent un remplacement à chaud, une isolation claire des défaillances, une qualification indépendante des modules et un approvisionnement mature de plusieurs fournisseurs.

Leur principale faiblesse est la trajectoire électrique.tandis que la chaleur doit encore être éliminée par une structure de panneau avant contrainte.

LPO

Optique linéaire branchablesupprime le DSP du module classique et maintient un chemin analogique entre l'hôte et le module.

LeSpécification de la LPO MSAattribue des fonctions telles que la FEC, le retiming et la conversion de données à l'hôte et définit des points de test destinés à soutenir l'interopérabilité.

La suppression du DSP côté module peut réduire la puissance du module et le retard de traitement, mais elle impose de plus grandes exigences sur la qualité des SerDes hôtes, la perte de canal, la linéarité de l'émetteur, le bruit du récepteur et la marge de liaison.

LPO n'a pas de puissance universelle, de latence ou de valeur de portée.

Le CPO

Optique en boîte communeplace les moteurs optiques à proximité de l'interrupteur ASIC, réduisant la longueur et la perte des connexions électriques à plus grande vitesse.

Cela peut réduire l'égalisation, le retiming et la puissance d'entrée/sortie électrique, mais présente des défis dans l'emballage, la fixation de fibres, la conception thermique, l'isolation des défaillances et la réparation sur le terrain.

En 2023, leLe Forum de réseautage optique a publié son accord de mise en œuvre de modules co-emballés 3.2TIl définit un module de 3,2 Tb/s pour la commutation Ethernet et fournit environ 140 Gb/s par millimètre de densité de bande passante de bord de paquet.

En mai 2026, NVIDIA a déclaré que ses commutateurs Spectrum-X Ethernet Photonics étaient en production.

Le XPO

XPO conserve un module amovible tout en utilisant un plus grand parallélisme et un refroidissement liquide intégré.

Il offre un équilibre différent de celui de la CPO:

• Densité supérieure à celle des prises de courant classiques

• Refroidissement direct par liquide

• Remplacement des champs

• Moins de dépendance à l'égard de l'intégration optique au niveau du paquet

Ses défis restants comprennent la conception d'interfaces électriques, l'intégration de la plaque froide, la gestion des fibres, la qualification de la production et l'interopérabilité entre plusieurs fournisseurs.

Comparaisons entre le CWDM et le DWDM CPO

L'architecture de longueur d'onde affecte la conception du laser, le nombre de fibres, l'emballage, la perte optique et la complexité d'intégration.

Les implémentations CWDM et DWDM ne peuvent pas être comparées en utilisant des valeurs de latence ou d'énergie par bit isolées, sauf si la même limite de mesure est utilisée.

Une valeur de latence peut inclure ou exclure:

• DSP et FEC

• Récupération

• Le tamponage

• Interfaces hôtes

• Traitement des commutateurs

• Une ou les deux extrémités du maillage

L'énergie par bit est calculée comme suit:

Énergie par bit = Puissance ÷ Débit de bits délivré

Toutefois, le calcul doit définir s'il inclut les modules, les SerDes hôtes, les lasers, les DSP, les FEC, les interfaces de commutation et le refroidissement.

DWDM peut placer plus de longueurs d'onde sur une fibre, augmentant potentiellement la densité et réduisant le nombre de fibres.et une intégration optique plus complexe.

Les sources multi-longueur d'onde à puce unique entrent dans les programmes d'évaluation, mais leur valeur de production dépend de la puissance de sortie, de la stabilité de la longueur d'onde, de l'efficacité, du rendement et de la durée de vie.

DWDM ne garantit pas intrinsèquement une puissance ou une latence inférieures dans chaque système CPO. Le résultat dépend de l'architecture complète.

Les interconnexions à plus grande échelle et à plus grande échelle

Les interconnexions optiques à grande échelle et à grande échelle

Accroissement de la taille

Les réseaux Scale-Up relient des accélérateurs qui doivent fonctionner comme un système étroitement coordonné.

Le cuivre reste attrayant sur de courtes distances parce qu'il est peu coûteux et électriquement simple.

Les recherches publiées sur les systèmes ont décrit les liaisons en cuivre à grande vitesse actuelles comme étant limitées à de courtes distances intra-rack dans l'environnement du centre de données étudié.

La portée du cuivre à 400G dépend de la mise en œuvre. Elle varie selon la conception du câble, le nombre de connecteurs, l'égalisation, le budget d'insertion-perte et la puissance disponible.

L'E/S optique et la CPO deviennent plus attrayantes lorsque le cuivre ne peut plus fournir la combinaison requise de bande passante, de densité de routage, de distance et d'efficacité.

Élargissement de la portée

Les réseaux Scale-Out relient les serveurs et les racks par des commutateurs.

Ils nécessitent une portée plus longue, un radix de commutation élevé, un grand nombre de ports et un remplacement pratique du champ.

Les pluggables traditionnels, LPO, CPO et XPO traitent de différentes parties de ce problème:

• LPO réduit le traitement côté module.

• Le CPO raccourcit le chemin électrique.

• Le XPO augmente la densité et la capacité de refroidissement.

La transition devrait être comprise à travers des normes spécifiques et des jalons de produits plutôt qu'une date d'adoption universelle.

Cadre de sélection des ingénieurs

La sélection de l'architecture doit commencer par l'exigence du système et non par la valeur de puissance du module la plus basse publiée.

Les questions clés sont les suivantes:

• Quelle portée est requise?

• Quelle limite de puissance ou d'énergie par bit s'applique?

• Le remplacement des champs est-il obligatoire?

• Quel système de refroidissement est disponible?

• Quelle limite de latence est mesurée?

• L'interopérabilité entre plusieurs fournisseurs est-elle requise?

Comparer attentivement l'énergie par bit

Un module de plus grande puissance peut toujours avoir une énergie inférieure par bit s'il fournit une bande passante beaucoup plus utilisable.

Chaque comparaison doit définir le débit de bits, la direction, le nombre d'extrémités de liaison, la limite DSP/FEC, la puissance laser, le traitement de l'hôte et les frais généraux de refroidissement.

Évaluer la portée et la marge de liaison

Les architectures à faible puissance peuvent fonctionner avec une marge de canal plus étroite.

La sélection doit tenir compte de la distance de transmission, du budget de liaison de bout en bout, de la qualité du canal électrique hôte, de la température de fonctionnement, de la variation des composants et des conditions de vieillissement.

Évaluer le refroidissement et l'entretien

La puissance nominale d'un module ne prouve pas que chaque châssis peut le refroidir.

Le système doit également définir l'unité remplaçable. Les pluggables traditionnels permettent un remplacement de module simple, tandis qu'une plus grande intégration peut déplacer la limite de réparation vers une carte de ligne, un paquet, unou assemblage de commutateur.

Évaluer la maturité des écosystèmes

Les performances techniques et la maturité des écosystèmes sont des questions différentes.

Une nouvelle architecture peut afficher de bons résultats avant d'avoir des spécifications stables, plusieurs fournisseurs, des méthodes d'essai communes, une interoperabilité éprouvée ou des procédures de réparation établies.

Ce que signifie la contrainte de la densité de puissance pour l'infrastructure d'IA

La croissance future de la bande passante ne peut pas reposer uniquement sur l'augmentation de la vitesse d'un canal.

Elle nécessitera une combinaison de:

• Chaînes parallèles

• Multiplexage par longueur d'onde

• Des circuits électriques plus courts

• Des emballages plus efficaces

• Matériaux à faible perte

• Conception thermique améliorée

Au fur et à mesure que le flux de chaleur augmente, les plus grands dissipateurs de chaleur externes fournissent des rendements décroissants.

La fiabilité doit également être assurée par une température de fonctionnement appropriée, une qualification spécifique du mode de défaillance, des limites du système réparables et une redondance au niveau du réseau.

Le module optique, le commutateur ASIC, le paquet, le circuit imprimé, le système de refroidissement et la topologie réseau doivent être de plus en plus conçus comme un seul système.

Questions fréquemment posées

Pourquoi les modules optiques consomment-ils autant d'énergie?

Les modules à grande vitesse nécessitent des pilotes laser, des récepteurs, l'égalisation et souvent DSP et FEC.

Qu'est-ce qui limite la densité de bande passante du module optique?

Les principales limites sont l'espace du panneau avant, la fourniture d'énergie, le routage électrique, la gestion des fibres et la capacité de refroidissement.

En quoi LPO, CPO et XPO sont-ils différents?

LPO supprime le module DSP, CPO place l'optique près de l'ASIC, et XPO combine un module amovible avec un parallélisme élevé et un refroidissement par liquide.

Le CPO utilise-t-il toujours moins d'énergie?

Le résultat dépend du laser, de l'interface hôte, de la limite DSP/FEC, du refroidissement et des parties du système incluses.

Pourquoi la température affecte-t-elle la fiabilité?

De nombreux mécanismes de dégradation s'accélèrent à des températures plus élevées, mais la relation exacte dépend de l'appareil et du mode de défaillance.

Quelle architecture est meilleure pour la mise à l'échelle et la mise à l'écart?

Scale-Up privilégie les solutions à courte portée et à faible latence telles que le cuivre, l'E/S optique et le CPO.