IBM assemble un centre de stockage de 120 Po, Réactions à la publication du 29/08/2011

[Lionel]

IBM vient de battre le record du monde en la matière en assemblant une unité de stockage de 120 Po, soit 120 millions de Gigaoctets. Ce système est composé de 200 000 disques durs à plateau (ce qui fait des unités à 600 Go.
Cette capacité colossale permettrait de stocker 60 copies de la plus grosse archive d'Internet existante ou encore 24 milliards de fichiers MP3 bien encodés.
Bien entendu l'exploit n'est pas tant de mettre 200 000 disques durs dans un même endroit mais bien de les gérer ensemble et aussi de régler le problème des pannes inévitables avec un tel nombre de produits. C'est là que se situe l'expertise qu'IBM veut mettre en avant. Tout est géré par des systèmes experts qui reconstruiront en tâche de fond et de manière totalement transparente les données des disques qui viendraient à mourir ce qui vu leur nombre doit arriver plusieurs fois par jour.

Cet assemblage utilise un système de fichier appelé GPFS qui a été développé pour améliorer grandement l'accès aux données et les débits en créant des sortes de RAID 0 sur plusieurs grappes de disques et qui a permis, il y a peu de temps, de battre un autre record en indexant 10 milliards de fichiers en seulement 43 minutes.

Maintenant, IBM compte vendre ce type de solution aux possesseurs de supercalculateurs, mais aussi aux sociétés qui font du Cloud. Si cette pratique se généralise, il faudra en effet qu'ils aient des quantités difficiles à appréhender de stockage dans leurs centres de données. 
Par Lionel

[CAMEO172]

quel serait la taxe sur la copie privée pour un tel système en France ?

[kwak-kwak]

A noter pour référence que le LHC (l'accélérateur de particule de Genève) devrait produire 15 Po de données par an. Je serais tout même curieux de savoir qui a besoin d'installer 120 Po dans une même unité (et pour quel usage).

[charlesb2]

Attention, sur l'article source :

A 120 petabyte drive could hold 24 billion typical five-megabyte MP3 files or comfortably swallow 60 copies of the biggest backup of the Web, the 150 billion pages that make up the Internet Archive's WayBack Machine.

120 Po équivalent à 60 fois la taille de la plus grosse archive existante d'internet, mais Internet lui-même est bien plus gros (Google l'a estimé en 2005 à 5 millions de To, soit 5000 Po)

Ce message a été modifié par charlesb2 - 29 Aug 2011, 06:49.

[_Panta]

A noter pour référence que le LHC (l'accélérateur de particule de Genève) devrait produire 15 Po de données par an. Je serais tout même curieux de savoir qui a besoin d'installer 120 Po dans une même unité (et pour quel usage).

C'est une ferme, c'est comme si tu demandais qui aurait besoin de 200.000 poulets ? Les supermarchés, puis "Nous" au final

Mais 120 Po, ce n'est pas tant que ça et se remplira très très vite, je dois avoir près de 4 Tera de données disséminés, rien d'énorme, soit 1/30.000ème "seulement" de la capacité globale d'un tel centre.

Il serait intéressant de connaitre la capacité actuelle de stockage de l'humanité toute entière (numérique et analogique)

Edit : je me réponds, selon Science & Avenir, en 2007 c’était 295 exaoctets ! (295 mille milliards de mégaoctets )
http://www.sciencesetavenir.fr/actualite/h...l-humanite.html

Ce message a été modifié par _Panta - 29 Aug 2011, 07:03.

[SartMatt]

Cet assemblage utilise un système de fichier appelé GPFS qui a été développé pour améliorer grandement l'accès aux données et les débits en créant des sortes de RAID 0 sur plusieurs grappes de disques et qui a permis, il y a peu de temps, de battre un autre record en indexant 10 milliards de fichiers en seulement 43 minutes.

Plus précisément, c'est plusieurs grappes de machines en réseau, pas plusieurs grappes de disques.
Et ce n'est bien entendu pas que du "RAID0", c'est aussi du "RAID1", avec la possibilité de dupliquer toutes les données sur plusieurs nœuds (en général, au moins deux), de sorte que tout reste accessible si un nœud tombe en panne ou perd simplement le réseau.

En fait, c'est très comparable avec un réseau P2P. Quand un client demande un fichier, tous les nœuds du réseau qui ont une copie de ce fichier vont lui en envoyer un morceau.

[Mr Bob]

Lisez bien le news, si ça se trouve quand on sera "vieux", nos enfants et petits enfants auront des machines dont les capacités se donneront au centaines de Tera Octets, ou pourquoi pas en Peta Octets … On en reparle dans 40 ans !

Ce message a été modifié par Mr Bob - 29 Aug 2011, 09:35.

[DefKing]

Lisez bien le news, si ça se trouve quand on sera "vieux", nos enfants et petits enfants auront des machines dont les capacités se donneront au centaines de Tera Octets, ou pourquoi pas en Peta Octets … On en reparle dans 40 ans !

Moi, je serais mort d'ici là !

[Fribourg]

Lisez bien le news, si ça se trouve quand on sera "vieux", nos enfants et petits enfants auront des machines dont les capacités se donneront au centaines de Tera Octets, ou pourquoi pas en Peta Octets … On en reparle dans 40 ans !

Moi, je serais mort d'ici là !

Peut-être pas, c'est sans compter sur les progrès de la médecine

[sgmsg]

Lisez bien le news, si ça se trouve quand on sera "vieux", nos enfants et petits enfants auront des machines dont les capacités se donneront au centaines de Tera Octets, ou pourquoi pas en Peta Octets … On en reparle dans 40 ans !

Moi, je serais mort d'ici là !

Peut-être pas, c'est sans compter sur les progrès de la médecine

Ça dépend, si l'âge moyen de la société est jeune l'individu n'a aucune valeur, quand l'âge moyen est vieux, l'individu a beaucoup de valeur.

C'est pourquoi dans les pays du tiers monde (devrait-on dire émergent?)qu'il y a moins de publicité anti-tabac que dans les pays ou la population est plus vielle. Il ne faut pas perdre ses esclaves quand il ne sont pas nombreux. Ce qui explique, les campagnes anti-avortement au Japon, ou les projets de délégalisation de l'avortement au Canada.

Ce message a été modifié par sgmsg - 29 Aug 2011, 16:14.

[xew]

Cet assemblage utilise un système de fichier appelé GPFS qui a été développé pour améliorer grandement l'accès aux données et les débits en créant des sortes de RAID 0 sur plusieurs grappes de disques et qui a permis, il y a peu de temps, de battre un autre record en indexant 10 milliards de fichiers en seulement 43 minutes.

Plus précisément, c'est plusieurs grappes de machines en réseau, pas plusieurs grappes de disques.
Et ce n'est bien entendu pas que du "RAID0", c'est aussi du "RAID1", avec la possibilité de dupliquer toutes les données sur plusieurs nœuds (en général, au moins deux), de sorte que tout reste accessible si un nœud tombe en panne ou perd simplement le réseau.

En fait, c'est très comparable avec un réseau P2P. Quand un client demande un fichier, tous les nœuds du réseau qui ont une copie de ce fichier vont lui en envoyer un morceau.

J'ai déjà travaillé sur un GPFS d'IBM. Il se composait de plusieurs baies de disques (les disques sont en RAID6 sur les baies), chacune reliée à plusieurs noeuds gérant le système de fichier GPFS. Si un noeud tombe ou perd le réseau, on garde effectivement l'accès aux données, mais pas parce qu'elles sont répliquées en une sorte de RAID1. En réalité on garde l'accès direct aux disques de la baie à laquelle le noeud était connecté, car la baie est connectée à plusieurs noeuds à la fois. On a en fait une redondance à tous les niveaux : on peut perdre un noeud sans perdre l'accès à une baie, on peut perdre un contrôleur d'une baie sans perdre l'accès à la baie car elle dispose de 2 contrôleurs, et on peut perdre des disques sans perdre les données grâce au RAID6.

Pour le réseau reliant ces machines, c'est du 40, 100 Gbits/s, peut-être plus.

Ce message a été modifié par xew - 13 Sep 2011, 16:09.

[SartMatt]

J'ai déjà travaillé sur un GPFS d'IBM. Il se composait de plusieurs baies de disques (les disques sont en RAID6 sur les baies), chacune reliée à plusieurs noeuds gérant le système de fichier GPFS. Si un noeud tombe ou perd le réseau, on garde effectivement l'accès aux données, mais pas parce qu'elles sont répliquées en une sorte de RAID1. En réalité on garde l'accès direct aux disques de la baie à laquelle le noeud était connecté, car la baie est connectée à plusieurs noeuds à la fois. On a en fait une redondance à tous les niveaux : on peut perdre un noeud sans perdre l'accès à une baie, on peut perdre un contrôleur d'une baie sans perdre l'accès à la baie car elle dispose de 2 contrôleurs, et on peut perdre des disques sans perdre les données grâce au RAID6.

Pour le réseau reliant ces machines, c'est du 40, 100 Gbits/s, peut-être plus.

Selon la façon dont GPFS est utilisé, on peut aussi avoir une redondance totale de nœud, car GPFS permet bien une réplication "soft" au niveau du système de fichiers, et ne repose pas seulement sur la redondance matérielle des baies de stockage.

Un exemple, c'est un GPFS "low-cost", basé sur de simples PC sous Linux, avec dans chaque PC un simple disque dur. Dans ce cas, les données de chaque nœud (donc chaque PC) sont intégralement répliquées sur d'autres nœud, de sorte qu'en cas de perte de ce nœud, les données restent accessibles. Un collègue voulait faire ça il y a quelques années au taf, pour exploiter tout l'espace inutilisé de nos PC et en faire un gros espace de stockage partagé et à haute disponibilité ^^

[xew]

Selon la façon dont GPFS est utilisé, on peut aussi avoir une redondance totale de nœud, car GPFS permet bien une réplication "soft" au niveau du système de fichiers, et ne repose pas seulement sur la redondance matérielle des baies de stockage.

Un exemple, c'est un GPFS "low-cost", basé sur de simples PC sous Linux, avec dans chaque PC un simple disque dur. Dans ce cas, les données de chaque nœud (donc chaque PC) sont intégralement répliquées sur d'autres nœud, de sorte qu'en cas de perte de ce nœud, les données restent accessibles. Un collègue voulait faire ça il y a quelques années au taf, pour exploiter tout l'espace inutilisé de nos PC et en faire un gros espace de stockage partagé et à haute disponibilité ^^

Je ne connaissais pas cette fonctionnalité, c'est intéressant.

Exploiter l'espace disque inutilisé d'un parc de postes de travail est une idée à laquelle j'ai aussi déjà réfléchi, comme beaucoup d'autre je pense. Utiliser GPFS pour ça est une bonne idée. Je ne sais pas si ça marcherait mais il y a sûrement des concepts à reprendre.