Les ingénieurs de TEECOM ont participé à une table ronde pour aborder la complexité de la conception télécom pour les centres de données hyperscale.

Participants

Alex Cardiasmenos, PE, RCDD, CDT, DCDC - Directeur associé
Casey Wittkop, PE, RCDD - Consultant principal
Darrel Scobie, PRINCE2, Technicien BICSI, CDCDP - Directeur associé
John Pedro, RCDD, CDT - Consultant principal
Mike Candler, DCDC, CDT, RCDD, PMP, LEED AP - Consultant principal
Shaun Barnes, CNIDP, CDCDP, CTPM - Associé principal
Tim Kuhlman, PE, RCDD, CDT - Principal, Vice-président

Question 1

En quoi votre approche de la conception technologique d'un centre de données hyperscale diffère-t-elle de celle d'un centre de données d'entreprise ?

Alex Cardiasmenos (AC) : La taille, la quantité et la complexité des chemins de câbles constituent une différence majeure entre les centres de données hyperscale et ceux des entreprises. L'envergure même des centres hyperscale nécessite des quantités importantes de chemins de câbles, de conduits et de chambres de tirage, souvent dix fois supérieures à celles de leurs homologues en entreprise. La plupart des centres de données hyperscale sont de classe 4, ce qui signifie qu'ils sont tolérants aux pannes et disposent d'une redondance 2(N+1). Cette redondance s'étend à la conception de l'infrastructure de câblage, ce qui augmente la taille et le nombre de chemins de câbles nécessaires pour maintenir cette redondance. Les câbles à fibre optique à grand nombre de brins et la connectivité inter-bâtiments nécessitent souvent un système complexe de chambres de télécommunications et de réseaux de fourreaux. Compte tenu de tous ces éléments, une coordination et une conception accrues avec le propriétaire et l'équipe de conception sont indispensables pour garantir la bonne exécution du projet.

Tim Kuhlman (TK) : Les centres de données hyperscale sont généralement conçus spécifiquement pour cet usage, contrairement aux centres de données d'entreprise qui sont intégrés dans des immeubles de bureaux commerciaux. L'un des aspects du passage à l'hyperscale concerne la manière dont l'installation sera assurée et les impacts que cela aura sur la conception. Pour un espace de bureau classique, un propriétaire travaille avec son assureur pour couvrir le bâtiment, et les codes du bâtiment locaux dictent les exigences minimales en matière de conception et de sécurité. Les exigences du propriétaire peuvent dépasser les minimums imposés par l'autorité compétente (AHJ), mais cela engendre des coûts d'investissement. Les installations hyperscale, dont la puissance énergétique varie de 25 à 40 mégawatts, s'apparentent davantage à des installations industrielles et sont souvent assurées par Factory Mutual (FM Global). FM est un leader mondial de l'assurance des installations industrielles et fournit des directives sur l'atténuation des risques. Les directives de FM peuvent exiger qu'un bâtiment soit conçu au-delà des exigences minimales fixées par l'AHJ. Cela doit être pris en compte par l'équipe de conception dès le début du projet. J'ai vu des propriétaires qui ne sont pas assurés par FM mais qui utilisent tout de même leurs directives, car elles sont considérées comme les meilleures pratiques du secteur pour réduire les risques.

Darrel Scobie (DS) : La conception des infrastructures opérateurs diffère selon qu'il s'agit d'un centre de données hyperscale, de colocation ou d'entreprise. En règle générale, pour les infrastructures hyperscale, l'objectif est que les opérateurs acheminent leurs câbles (cuivre ou fibre) vers deux, trois, voire quatre chambres d'accès ou zones distinctes situées dans l'enceinte du site, en fonction du niveau de redondance requis par le propriétaire. Le câblage de l'opérateur est alors raccordé ou épissé sur la boucle réseau cuivre/fibre du site, puis acheminé vers les salles d'équipement principales (MER) ou les salles de cœur de réseau du centre de données pour assurer la connectivité. Les connexions opérateurs en colocation ou en entreprise diffèrent ; l'objectif est ici de faire aboutir le câblage directement dans une ou deux salles de rencontre (Meet-Me Rooms ou MMR) ou points de présence (POP) au sein du bâtiment. Les centres de colocation disposent généralement de deux salles MMR distinctes pour le raccordement du câblage opérateur ; à partir de là, la connectivité est acheminée vers les rangées de baies principales des clients. Il n'est pas rare que le câblage opérateur soit présenté dans une baie dédiée, partagée avec d'autres clients du bâtiment. Dans certains cas, les clients demandent à disposer de leur propre baie sécurisée, mais cela dépend généralement de l'espace disponible au sein de la MMR.

Shaun Barnes (SB) : L'approche de conception dépend fondamentalement de l'offre de services fournie pour la fonction spécifique du centre de données et des exigences imposées par son emplacement. La philosophie sous-jacente reste similaire dans chaque cas. Il est nécessaire de prendre en compte les besoins variables en termes de localisation, de taille, de chemins de câbles, de connectivité et des services spécifiques requis pour l'exploitation. Comprendre les besoins du client pour son secteur de marché permet de définir la conception et les éléments nécessaires pour produire une infrastructure non seulement redondante et constructible, mais aussi opérationnellement efficace.

Question 2

La taille d'un centre de données hyperscale nécessite-t-elle une approche différente pour la conception des systèmes technologiques ?

Casey Wittkop : De manière générale, notre approche de conception des systèmes technologiques pour les centres de données hyperscale suit la même méthodologie éprouvée que celle appliquée aux centres de données d'entreprise ou à d'autres types de projets, mais l'ampleur et l'échelle extrêmes exigent une attention encore plus grande aux détails et à la coordination. La répétition des éléments de conception au sein des rangées de baies d'équipement et les multiples niveaux de chemins de câbles dans les grandes salles informatiques et les salles techniques principales des centres hyperscale peuvent amplifier les moindres problèmes. Des étapes supplémentaires dans notre processus de conception visent à identifier et à résoudre tout problème potentiel afin de garantir que les éléments de conception puissent être mis à l'échelle et répétés efficacement des milliers de fois. Par exemple, la conception d'une seule rangée de serveurs peut nécessiter plusieurs options et itérations, des visites virtuelles du modèle de construction avec l'équipe de réalisation, ainsi que l'examen de maquettes hors site pour perfectionner la conception et démontrer sa constructibilité avant qu'elle ne soit répliquée dans toute la salle.

DS : Il existe de nombreuses approches à considérer lors de la conception d'un centre de données hyperscale, la taille étant un facteur important. L'une d'elles concerne le câblage, notamment les longueurs et les sections de câbles. En général, dans un centre de données de colocation, l'infrastructure réseau/câblage est locale aux baies. Dans un environnement hyperscale, de nombreuses salles, telles que les salles d'équipement principales (MER), les répartiteurs principaux (MDF) et les répartiteurs intermédiaires (IDF), peuvent être situées à l'extérieur des salles informatiques. Par conséquent, les longueurs de câbles doivent être étudiées avec soin.

SB : En règle générale, l'approche de conception reste la même pour la plupart des projets de centres de données hyperscale, car les outils utilisés sont cohérents pour produire une conception efficace. Le type de technologie déployé dans la plupart des projets hyperscale est similaire, mais il est susceptible d'être mis à niveau fréquemment. Il est important que l'équipe de conception soit au fait de ces technologies et capable de s'adapter à un environnement en constante évolution. Savoir gérer et concevoir une mise à niveau technologique pour des systèmes existants est essentiel pour la plupart des déploiements de centres de données, mais c'est encore plus prédominant dans les environnements hyperscale.

TK : Les centres de données sont l'environnement idéal pour l'utilisation de câbles en fibre optique et de faisceaux de cuivre pré-raccordés. Il s'agit de câbles qui sortent d'usine avec des terminaisons déjà installées et testées. Ils sont généralement posés dans les chemins de câbles d'une baie d'équipement réseau à une autre. Cependant, dans un centre de données hyperscale, les points de terminaison peuvent se trouver dans des parties distinctes du bâtiment. Les chemins de câbles, les traversées de parois et les dispositifs coupe-feu doivent tenir compte de la taille des extrémités des câbles pré-raccordés. À cela s'ajoute la gestion de la réserve de câble cumulée. Les câbles pré-raccordés sont commandés avec une longueur légèrement supérieure, car il est presque impossible d'obtenir la longueur exacte et il n'existe aucune solution pour un câble trop court. Même avec des longueurs de câbles modélisées avec précision en CAO, il peut y avoir un surplus de un à deux mètres par faisceau. Dans un centre de données hyperscale comptant des centaines de câbles, ce surplus peut occuper beaucoup d'espace et doit être pris en compte dès la conception.

Question 3

Comment la taille du bâtiment et la distance entre les salles télécoms influencent-elles le choix entre la fibre multimode, la fibre monomode ou le câblage cuivre à paires torsadées ?

John Pedro : Le passage du cuivre à la fibre multimode, puis à la fibre monomode, est en cours depuis plus de deux décennies. Aujourd'hui, dans un environnement hyperscale, le déploiement du câblage cuivre prend principalement en charge les utilisateurs (postes de travail et Wi-Fi) et les connexions de gestion des systèmes techniques (gestion du bâtiment, gestion de l'énergie électrique, éclairage, etc.). La gestion physique des différents supports est également un facteur à prendre en compte en termes d'espace pour les chemins de câbles et de coûts associés. Cela a également contribué au passage à un support unique lorsque cela est possible, notamment pour les connexions aux ports de gestion des commutateurs.

La fibre multimode existe toujours, mais on la trouve dans des environnements hérités qui ne font pas transiter le trafic de production de premier niveau. Comme pour le cuivre, les connexions multimodes nécessitent un nombre élevé de brins par rapport aux deux brins de la fibre monomode. À mesure que nous augmentons le débit, le cheminement pour le multimode devient ingérable et n'est plus rentable en raison du nombre élevé de brins, de câbles et de la nécessité de chemins de câbles plus larges.

Les centres de données de grande envergure et hyperscale ont toujours repoussé les limites du câblage. Lorsque le volume de câbles requis pour les connexions de production dépasse les capacités de gestion des équipements et des installations, nous passons au support suivant. En repoussant continuellement ces limites, ces centres de données stimulent l'innovation technologique, font baisser les prix des technologies de deuxième génération et entraînent dans leur sillage les centres de données plus modestes et ceux des entreprises.

DS : La distance entre les salles de télécommunications influence considérablement le type de câble utilisé. Le câblage en cuivre (selon la catégorie) est limité en longueur ; dans la plupart des cas, le câblage de catégorie 6 (CAT6) ne peut excéder 90 mètres, ce qui impose que les salles de télécommunications soient situées dans ce périmètre. Il est donc crucial de réaliser une étude de faisabilité dès les premières étapes de la conception. Bien que le CAT6 soit généralement utilisé pour le câblage des points d'accès sans fil (WAP) et des commutateurs en haut de baie, ces derniers sont progressivement remplacés par des connexions en fibre optique. La fibre multimode ayant un ratio de portée plus court que la monomode, la plupart des grands acteurs du secteur hyperscale privilégient désormais la fibre monomode pour leur infrastructure.

TK : En raison des dimensions accrues du bâtiment, les hypothèses retenues pour les petits centres de données doivent être réévaluées pour les infrastructures hyperscale. Par exemple, si la fibre OM3 ou OM4 est un standard pour les circuits à haut débit dans un centre de données classique, un centre de données hyperscale peut dépasser la longueur de deux supermarchés mis bout à bout. À cette échelle, la fibre multimode atteint ses limites de distance et une solution en fibre monomode devient indispensable.

SB : La plupart des déploiements hyperscale privilégient la fibre monomode (SMF) à la fibre multimode pour l'interconnectivité. Cela s'explique par plusieurs facteurs, mais principalement par le fait que la SMF présente une atténuation bien plus faible et une portée de transmission supérieure, ce qui améliore les performances du canal.

Mike Candler (MC) : D'après mon expérience, la fibre multimode est de moins en moins utilisée dans les conceptions réseau, au profit de la fibre monomode qui semble devenir la norme. Les distances de câblage en fibre optique sont donc moins préoccupantes. En revanche, les distances pour le cuivre restent essentielles, surtout avec la densité de connexions dans un bâtiment. Suivre les meilleures pratiques du secteur et adopter des conceptions prudentes est le meilleur moyen de maîtriser les coûts tout en garantissant la fiabilité.

Question 4

Avez-vous rencontré des problèmes lors de la construction de telles installations qui vous ont obligé à modifier votre approche de la conception des systèmes technologiques ?

DS : L'un des points examinés avec attention concerne le ratio taille/poids des câbles par rapport au type de cheminement utilisé pour leur installation. Les grandes installations hyperscale utilisent généralement des câbles à fibre optique de plus grand diamètre en raison du nombre élevé de cœurs de fibre ; il est donc nécessaire de prendre en compte le poids et la charge des plafonds, tout en prévoyant une marge pour les câbles d'extension et les mises à niveau lors de la conception du système de cheminement de câbles approprié.

TK : Oui, la taille de l'installation, le nombre de serveurs connectés et l'ampleur du réseau reliant l'ensemble ont augmenté le volume de câblage acheminé dans le bâtiment, puis concentré au niveau des baies réseau. Cela exige une gestion des câbles de haut niveau. Dans un centre de données d'entreprise, on peut avoir un niveau de chemin de câbles pour les liaisons point à point et un autre pour les cordons de brassage. Dans un centre de données hyperscale, la quantité de câbles nécessite plusieurs niveaux de chemins de câbles pour organiser et séparer les flux. C'est indispensable compte tenu du volume massif de câbles et pour réduire le risque qu'une intervention sur un chemin de câbles n'affecte plusieurs niveaux du réseau. J'ai vu des centres de données hyperscale équipés de trois à six niveaux de chemins de câbles. Cela crée des défis de conception pour le routage, le raccordement aux baies réseau, le calfeutrage coupe-feu des traversées de parois et la coordination avec les autres réseaux techniques occupant les mêmes espaces.

SB : L'un des principes fondamentaux pour réussir une conception est d'assurer une intégration totale au sein de l'équipe de planification et de conception du projet. Trop souvent, le concepteur technologique est intégré trop tardivement dans les phases initiales, ce qui peut engendrer des conflits par la suite. Le concepteur technologique doit collaborer dès le début avec les ingénieurs en génie civil, structure et architecture (CSA), ainsi qu'avec les concepteurs en génie mécanique, électrique et plomberie (MEP), afin de garantir que les chemins et espaces adéquats sont prévus dès la conception initiale. Cela facilite non seulement les demandes d'autorisation et les stratégies de connectivité, mais assure également une coordination précoce entre les disciplines, réduisant ainsi les modifications et les reprises coûteuses en fin de projet, ce qui permet de gagner un temps précieux et de réaliser des économies à long terme.

MC : Les projets de construction de grande envergure nécessitent généralement une réalisation par phases. Si elles ne sont pas gérées de manière appropriée, ces phases peuvent entraîner des problèmes de qualité, des dommages aux infrastructures, des retards, des modifications et des reprises de travaux. Les conceptions qui intègrent le phasage des travaux exigent une attention particulière quant à la planification du câblage afin de faciliter la construction, la mise en service et la livraison des espaces au propriétaire.