Les Etats-Unis ont de nouveau le supercalculateur le plus puissant du monde, Réactions à la publication du 09/06/2018

[Lionel]

Ces derniers temps, la Chine a investi massivement dans les supercalculateurs, assez pour ravir aux Etats-Unis les premières places du top 500 mondial.
Le nouvel appareil annoncé aura à terme une puissance de 200 pétaflops, soit plus de deux fois l'actuel détenteur du record. Ainsi, Summit (c'est son nom) serait capable en une heure de réaliser ce qu'un ordinateur de bureau mettrait 30 ans à réaliser.

Ce monstre sera utilisé sur des projets scientifiques, aussi bien pour des recherches sur de nouveaux matériaux que pour simuler les explosions de supernova et donc simuler des explosions nucléaires.

Lien vers le billet original

[Applecherry]

Tous ces pays qui se passionnent pour la recherche scientifique, ça fait chaud au cœur

[M_Marc]

Ah la science. Comme c est beau. Dommage que la recherche traditionnelle ne reçoive pas ce type de subventions aux USA.

Ce message a été modifié par M_Marc - 9 Jun 2018, 07:26.

[Zetiag]

Pas mal pour du minage...

[Lionel]

Pas mal pour du minage...

Je ne pense pas que ce sera rentable, sinon des groupes privés se seraient lancé sur ce segment.

[SartMatt]

Je ne pense pas que ce sera rentable, sinon des groupes privés se seraient lancé sur ce segment.

Ce serait sans doute rentable... Mais les groupes privés n'ont pas la mise de fond initiale, parce qu'une machine comme ça ça se commande des années avant la livraison, avec une part non négligeable payée d'avance. Avec la volatilité des crypto-monnaies, ce serait trop risqué de prendre un tel engagement.

Et accessoirement, un calculateur est plus cher au Gflop que de simples PC équipés de composants grand public. Donc même s'il peut être rentable pour du minage, il le sera moins qu'une ferme de PC (+ éventuellement ASIC dédiés selon les monnaies à miner).

Mais en termes de puissance brute, je pense que certaines fermes de minage auraient bel et bien leur place au top 500 si elles étaient considérées comme un supercalculateur (ce qu'elles ne sont pas vraiment, c'est un ensemble de machines totalement indépendantes, beaucoup moins liées entre elles qu'un supercalculateur). La dernière machine du top 500, c'est une machine à 17 000 cœurs Xeon, sans accélérateur. Il y a clairement des fermes de minage plus grosses que ça. Bitmain en a par exemple une de plus de 25 000 machines (chacune ayant au moins un cœur et des dizaines d'ASIC).

[tim_gnu]

Ce qui coute c'est le network, les Power9 ne sont pas aussi bon marché

[kwak-kwak]

Sur la photo d'Engaget on voit bien les arrivées d'eau glacée (gros tuyaux noir au dessus)


Mais on ne voit pas les clim/échangeurs thermique qui devraient être intercalés entre chaque baie. Et il n'y a pas d'allée chaude, ni d'allée froide.
Ce serait tout refroidi en watercooling, avec l'eau arrivant directement sur les puces ?

Edit et oui, c'est du watercooling


Ce message a été modifié par kwak-kwak - 9 Jun 2018, 15:38.

[M_Marc]

Sur la photo d'Engaget on voit bien les arrivées d'eau glacée (gros tuyaux noir au dessus)


Mais on ne voit pas les clim/échangeurs thermique qui devraient être intercalés entre chaque baie. Et il n'y a pas d'allée chaude, ni d'allée froide.
Ce serait tout refroidi en watercooling, avec l'eau arrivant directement sur les puces ?

Edit et oui, c'est du watercooling

A la vue de la taille (Hauteur) de la pièce dans laquelle est installée la machine, j'imagine qu'elle n'est climatisée que pour le confort des utilisateurs et non pas pour l'équipement. Meme si au USA ils aiment concevoir des bâtiment avec des hauteur sous plafond énormes en ensuite y balancer du traitement d'air ou cilm alimentée par une centrale nucléaire en direct...

Sinon le design des armoires est cool.

Pour le cryptage je pense qu'un machine de ce type la est à un rendement hash/W défavorable par rapport a un système dédié. Mais certainement que certain utilisateur se laisseront tenter de faire tourner qq centaines de CPU pour leur seul benefice de bitcoins.

Meme si je pense que l'utilisation premiere de ce type de machine sera pour "défense" (force brute pour casser du code).

Ce message a été modifié par M_Marc - 9 Jun 2018, 17:25.

[zero]

Tous ces pays qui se passionnent pour la recherche scientifique, ça fait chaud au cœur

Bien dit !

[SartMatt]

Mais certainement que certain utilisateur se laisseront tenter de faire tourner qq centaines de CPU pour leur seul benefice de bitcoins.

Très peu probable. Les accès à ce type de machines sont extrêmement réglementés, personne ne peut aller y faire tourner du code qui n'a pas été audité et validé au préalable.

J'ai bossé quelques mois dans le département HPC d'un constructeur français il y a dix ans, un collègue m'avait décrit les procédures d'accès au calculateur sur lequel il travaillait (calculateur qui allait faire prochainement son entrée en très bonne position dans le Top500), pour amener une mise à jour système il fallait qu'elle soit vérifiée au préalable par le client, et ensuite pour aller l'installer, il se rendait sur place, avec fouille à l'entrée pour s'assurer qu'il ne ramenait aucun autre support de stockage que celui contenant le code validé (et en outre, ce support de stockage devait obligatoirement être un CD non réinscriptible, car la console de maintenance du calculateur était équipée d'un graveur, et outre le fait qu'il ne fallait pas que l'opérateur puisse amener du code non validé, il fallait aussi s'assurer qu'il ne puisse pas exfiltrer des données).

Ce message a été modifié par SartMatt - 9 Jun 2018, 17:08.

[_Panta]

Edit et oui, c'est du watercooling

4.000 gallons par minute selon le billet d' Engadget

Edit : 9.000 CPU + 27.000 GPU = 36.000 par 4.000 Gallons (15.141litres) , ça fait 0,42 litre par puce par minutes. c'est beaucoup, non ?

Ce message a été modifié par _Panta - 9 Jun 2018, 17:23.

[gizmo3]

Sur la photo d'Engaget on voit bien les arrivées d'eau glacée (gros tuyaux noir au dessus)


Mais on ne voit pas les clim/échangeurs thermique qui devraient être intercalés entre chaque baie. Et il n'y a pas d'allée chaude, ni d'allée froide.
Ce serait tout refroidi en watercooling, avec l'eau arrivant directement sur les puces ?

Edit et oui, c'est du watercooling

Je confirme, ce sont bien des machines refroidies par eau directement sur les chips (POWER9 et NVidia). Ce sont des nœuds S922LC d'IBM en version watercooling.

Voici quelques caractéristiques de Summit :

Application Performance 200 PF
Number of Nodes 4,608
Node performance 42 TF
Memory per Node 512 GB DDR4 + 96 GB HBM2
NV memory per Node 1600 GB
Total System Memory >10 PB DDR4 + HBM2 + Non-volatile
Processors per Node 2 IBM POWER9™ (total 9,216 CPUs) 6 NVIDIA Volta™ (total 27,648 GPUs)
File System 250 PB, 2.5 TB/s, GPFS™
Power Consumption 13 MW
Interconnect Mellanox EDR 100G InfiniBand
Operating System Red Hat Enterprise Linux (RHEL) version 7.4


A noter que son petit frère Sierra est aussi en cours d'installation (au Lawrence Livermore National Laboratory). Son architecture est similaire (mais je crois qu'il n'a que quatre GPU par nœud).

Ces deux supercalculateurs font partie du projet Coral.

Ce message a été modifié par gizmo3 - 9 Jun 2018, 17:32.

[SartMatt]

Edit et oui, c'est du watercooling

4.000 gallons par minute selon le billet d' Engadget

Edit : 9.000 CPU + 27.000 GPU = 36.000 par 4.000 Gallons (15.141litres) , ça fait 0,42 litre par puce par minutes. c'est beaucoup, non ?

En regardant vite fait les débits des pompes de watercooling pour PC sur LDLC, on trouve des débits allant de 900 à 1500 l/h, soit 15 à 25 l/min pour refroidir le plus souvent juste un CPU et un GPU, plus rarement 2 à 4 GPU. Donc non, le débit sur Summit n'est pas particulièrement élevé.

Après, faut voir ce qu'ils comptent quand ils parlent de 4000 gallons par minute. Il ne s'agit peut être pas du débit dans une boucle de refroidissement fermée (comme l'est habituellement un watercooling de PC), mais peut-être du débit sur une boucle secondaire ouverte. On aurait alors une boucle primaire fermée, qui refroidit les puces, avec un débit à déterminer, et une boucle ouverte qui sert à refroidir l'eau de la boucle primaire en prélevant 4000 gallons d'eau par minute (dans une source, une nappe phréatique, ou simplement sur le réseau de distribution d'eau) d'un côté et en les rejetant un peu plus chaud de l'autre (ce qui permet de faire de grosses économies sur le refroidissement, parce qu'avec seulement une boucle fermée il faut généralement un système de réfrigération pour refroidir l'eau).

Si c'est un débit en boucle ouverte, c'est beaucoup, mais c'est pas non plus monstrueux. 15m^3 par min, c'est 1/1300ème du débit moyen de la Seine à son entrée dans Paris (~330 m^3/s). La moitié du débit moyen de l'Adouin, petit ruisseau du Vercors qui peut presque se traverser d'une enjambée. Ou encore la consommation d'eau domestique de 150 000 français (~150 litres par jour) ou la consommation totale (domestique et industrielle) de 3000 américains (~6600 litres par jour).

Ce message a été modifié par SartMatt - 9 Jun 2018, 18:22.

[_Panta]

J'y connais rien en Watercooling, mais j'aurais a priori pensé que l'eau devait rester a proximité de la source de chaleur un minimum de temps pour que la dissipation thermique soit efficace. Pour monter un demi litre en temperature ca prends un certains temps

[SartMatt]

J'y connais rien en Watercooling, mais j'aurais a priori pensé que l'eau devait rester a proximité de la source de chaleur un minimum de temps pour que la dissipation thermique soit efficace. Pour monter un demi litre en temperature ca prends un certains temps

C'est tout l'inverse en fait. Plus ça circule vite, plus c'est efficace (bon, sie si ça circule vraiment très vite, il va y avoir beaucoup de frottements qui vont avoir l'effet inverse... mais je pense qu'avec les débits en jeu dans un système de refroidissement la chaleur apportée à cause des frottements doit être absolument négligeable).

Parce que ce qui compte, c'est le différentiel de température entre la surface d'échange et le fluide de refroidissement. La quantité de chaleur échangée est proportionnelle à la surface d'échange et au différentiel de température (valeur en W/K/m² ou W/K, qu'on retrouve parfois sur les fiches techniques des radiateurs). Si tu as une surface d'échange à 60°C, l'échange d'énergie sera deux fois plus rapide avec de l'eau à 20°C qu'avec de l'eau à 40°C.

C'est d'ailleurs pareil en refroidissement à air. Quand la quantité d'énergie à dissiper augmente, on augmente le débit d'air en faisant accélérer les ventilateurs pour que l'air au contact du radiateur reste frais.

Si le débit donné pour le Summit est celui de la boucle primaire, la valeur plus faible que sur un PC s'explique probablement par l'emploi d'eau réfrigérée, ce qui augmente l'échange à débit égal.

Ce message a été modifié par SartMatt - 9 Jun 2018, 18:21.

[radamanthys]

En regardant vite fait les débits des pompes de watercooling pour PC sur LDLC, on trouve des débits allant de 900 à 1500 l/h, soit 1.5 à 2.5 l/min pour refroidir le plus souvent juste un CPU et un GPU, plus rarement 2 à 4 GPU. Donc non, le débit sur Summit n'est pas particulièrement élevé.

900-1500 l/h ca fait 15-25 l/min
Donc nettement plus

Ce message a été modifié par radamanthys - 9 Jun 2018, 18:20.

[SartMatt]

En regardant vite fait les débits des pompes de watercooling pour PC sur LDLC, on trouve des débits allant de 900 à 1500 l/h, soit 1.5 à 2.5 l/min pour refroidir le plus souvent juste un CPU et un GPU, plus rarement 2 à 4 GPU. Donc non, le débit sur Summit n'est pas particulièrement élevé.

900-1500 l/h ca fait 15-25 l/min
Donc nettement plus

Oulà, en effet, belle erreur de calcul

[iSpeed]

J'ai aussi vu un serveur placé en mer pour le refroidissement.

[Fafnir]

Les premier Mac (au début des années 1980) subirent un embargo vers l'URSS car leur processeur (associé à l'linterface graphique) était trop puissant pour être mis dans les mains des soviets d'après l'autre Grand Frère.

[Lionel]

Les premier Mac (au début des années 1980) subirent un embargo vers l'URSS car leur processeur (associé à l'linterface graphique) était trop puissant pour être mis dans les mains des soviets d'après l'autre Grand Frère.

Rappelle toi du premier G4. Steve était fier à cause de ça, trop puissant pour importation libre dans certains pays.

[Xample]

De quoi faire le rendu en ray tracing de « cars » à 24fps en 5 heures seulement. (10h de rendu par image)

[karlimero]

serait'il rentable de faire du minage de cryptomonnaie avec ce type d'appareil?

[sansnom]

En lisant le titre de la news, j'ai cru un moment qu'elle parlait de ce cher Donald T.

[_Panta]

Il va certainement tirer les lauriers à lui, MAGA ..

Ce message a été modifié par _Panta - 10 Jun 2018, 14:42.

[kwak-kwak]

Edit et oui, c'est du watercooling

4.000 gallons par minute selon le billet d' Engadget

Edit : 9.000 CPU + 27.000 GPU = 36.000 par 4.000 Gallons (15.141litres) , ça fait 0,42 litre par puce par minutes. c'est beaucoup, non ?

L'eau n'est pas perdue et n'est pas (chimiquement ou bactériologiquement) polluée : elle est légèrement chauffée. Ce n'est pas un problème si le cours d'eau d'à coté a un débit suffisant. (Sinon il faudra refroidir l'eau à l'air libre, c'est la fonction des TAR (grosses cheminées) de nos centrales nucléaires (900 MW par réacteur)).
De plus ici on n'indique pas si c'est le débit du circuit primaire fermé (qui refroidi les composants) ou du circuit secondaire (qui refroidit les groupes froid). A titre de comparaison, le robinet d'eau froide ma cuisine a un débit d'environ 7,5 litres par minute (je viens de mesurer).

Edit : 0,42 litres par minutes par puce, c'est très peu : ça doit être le débit du circuit secondaire (qui aide à refroidir les groupes froids qui sont aussi refroidis par l'air de dehors. Le circuit secondaire tolère des températures bien plus hautes).

A noter :
Tous les gros data center récent utilisent de l'eau, la question est de savoir jusqu'où arrive l'eau (l'électronique et l'eau ne font pas de bons amis)

- Dans les anciens data center l'eau ne servait qu'à aider à refroidir les blocs de clim qui sont généralement sur le toit. Après tout ce faisait par air dans le bâtiment. L'eau provient généralement de la rivière d'à coté et est rejetée un peu plus chaude dans la rivière (ou autrefois ont pompait aussi l'eau de la nappe phréatique, mais c'est devenu, à juste raison, illégal en France car les nappes phréatiques finissent par chauffer à force de remettre de l'eau chaude dedans). On climatisait donc l'air de toute la salle, ce qui amenait à des points chauds dans la salle (c'est extrêmement difficile de climatiser correctement un gros volume, ceux qui bossent en open space le savent bien ).
- Un peu plus récemment on a fermé les allées froides pour avoir le plus petit volume d'air froid à gérer possible. A partir de là on a pu commencer à amener l'eau dans la salles, les échangeurs se trouvant entre les serveurs.
- Et maintenant, l'eau arrive (parfois) jusqu'au composant, il n'y a plus vraiment besoin de climatiser la salle.

On note une autre particularité du Summit que l'on retrouve dans les data center modernes : il n'y a pas de faux plancher, les baies sont posées à même la dalle, tout vient par le haut. Ca permet d'avoir une vue sur tout ce qui ce passe (dont les fuites d'eau), facilite le passage des câbles (qui ne finissent pas "fossilisés" sous le faux plancher) et permet d'avoir facilement un sol qui supporte 2 tonnes par mètre carré (les baies de stockage, ça pèse très lourd).

J'y connais rien en Watercooling, mais j'aurais a priori pensé que l'eau devait rester a proximité de la source de chaleur un minimum de temps pour que la dissipation thermique soit efficace. Pour monter un demi litre en temperature ca prends un certains temps

Le but du jeu n'est pas de chauffer l'eau mais de refroidir le composant. Il faut donc avoir l'eau la plus froide possible en permanence sur le composant pour le refroidir le mieux possible.
Si tu veux un exemple de la vie courante : Par jour de grand frais en hiver, à température équivalente, tu as d'autant plus froid qu'il y a plus de vent. C'est juste que l'air au contact de ta peau et en permanence renouvelé par de l'air frais, ton corps ne pouvant former une bulle d'air chaud isolante. La météo donne alors pour référence la température ressentie en plus de la température de l'air. C'est la température pour laquelle, s'il n'y avait pas de vent, tu aurais tout aussi froid.


Edit 2 : On peut faire les mesures
Si le système n'est refroidit que par eau (pas avec l'air) cela amène à une élévation de la température d'eau de
- La consommation d'eau est de 900m3 par heure (15m3 par minute)
- Il faut 1,16 KWh d'énergie pour chauffer de 1°C 1m3 d'eau
- La consommation d'énergie est de 15 MWh * (Si ça n'inclue pas les groupes froids, il faut multiplier par 1.9, soit 28,5 MWh)
=> Si le système n'est refroidit que par eau (pas avec l'air) cela amène à une élévation de la température d'eau de :
(15000/1.16)/900 =>14,37°C , (voir 27,3°C si la conso des groupes froids n'est pas incluse).

C'est énorme comme élévation de température, pour moi c'est donc :
+ C'est une moyenne, pas un débit max
+ Ils ont aussi un refroidissement aérien
+ Ils ont des bassins de refroidissement pour l'eau

Ce message a été modifié par kwak-kwak - 10 Jun 2018, 16:16.

[SartMatt]

C'est énorme comme élévation de température, pour moi c'est donc :
+ C'est une moyenne, pas un débit max
+ Ils ont aussi un refroidissement aérien
+ Ils ont des bassins de refroidissement pour l'eau

Autre possibilité, déjà vue sur certaines centrales électriques et, il me semble, sur un DC de Google : l'eau du secondaire n'est pas rejetée directement dans la rivière, mais avec une dilution préalable pour limiter l'élévation de température. Un petit canal dérive une partie de la rivière au niveau du point de rejet et l'eau chaude est rejetée dans ce canal.

Si par exemple le canal fait 10 fois le débit du secondaire (soit 150 m^3/min dans le cas présent, ce qui reste un petit canal, c'est à peine plus que le débit qui fait qu'on considère un cours d'eau comme une rivière et plus comme un ruisseau), ça limite l'élévation de température à moins de 2°.

Un autre qui me vient à l'idée, mais je sais pas si ça existe en pratique, c'est de multiplier les points de rejet de l'eau chaude pour avoir une dilution très rapide et éviter un point chaud.

Ce message a été modifié par SartMatt - 10 Jun 2018, 16:52.

[kwak-kwak]

Meme si je pense que l'utilisation premiere de ce type de machine sera pour "défense" (force brute pour casser du code).

Même si certains ici évoquent le domaine militaire et la simulation d'explosions nucléaire avec une certaine ironie (ou sarcasme, je sais pas trop). Il y a en réalité de réels besoins en science, en démontre par exemple la liste des projets BOINC (si on retire cette saloperie de "projet" *Utopia*, qui à mon sens dénature la plateforme.)

Les services météo ont de gros besoins (simulations de modèles), mais aussi la physique (dynamique des fluides), la physique des particules (interprétation de résultats), la biologie (repliement de protéines), l'astronomie (corrélation d'images), les mathématiques, le développement informatique (matériel, théorie, ... ) , etc... Et aussi maintenant même dans le contenu culturel et la conception d'images de synthèse.

A noter enfin, qu'il est probable que la puissance réelle des datacenters voués à des applications militaires ne soit pas rendue publique.

Ce message a été modifié par kwak-kwak - 10 Jun 2018, 19:09.

[Fafnir]

+1
mais Jean-Marc Jancovici explique que l'humanité vient d'abuser sa réserve d'énergie à haute valeur. Je pense donc qu'en dehors des recherches pour trouver une énergie alternative de qualité il faut mettre la bride sur le cou à ce gaspillage en commençant par publier des statistiques honnête.

[otto87]

A la vue de la taille (Hauteur) de la pièce dans laquelle est installée la machine, j'imagine qu'elle n'est climatisée que pour le confort des utilisateurs et non pas pour l'équipement.

Permet moi de corriger ton ignorance... Toutes salles blindé de serveur est par nature même climatisé. Pour te donner une idée du problème, quand la clim tombe en panne dans ce genre d'endroit, la température augmente de 1 degrés en quelques secondes. Je parle en connaissance de cause, un des 500 plus gros supercalculateur étant à quelques centaine de mètre de mon bureau . Là ou je bosse c'est plusieurs dizaines de milliers de watts la consommation du bouzzin, sachant que tout ça se transforme essentiellement en chaleur... Un supercalculateur est avant tout un radiateur... Et autre point, on ne rentre pas dans ce genre de salle quand le matos tourne la ventilation de ce genre de machin génère un bruit proprement insupportable... quand mon collègue de bureau démarre une simple lame avec 4 CPU, çà doit tourner autour de 85/90db

J'y connais rien en Watercooling, mais j'aurais a priori pensé que l'eau devait rester a proximité de la source de chaleur un minimum de temps pour que la dissipation thermique soit efficace. Pour monter un demi litre en temperature ca prends un certains temps

Ce qui fait l’efficacité d'un refroidissement c'est la différence de température... donc moins l'eau reste longtemps mieux c'est...

Ce message a été modifié par otto87 - 10 Jun 2018, 23:26.