Un gros incendie sur un centre de données OVH à Strasbourg, Réactions à la publication du 10/03/2021

[Lionel]

Cette nuit un incendie s'est déclenché dans le centre de données OVH de Strasbourg. Sur 4 bâtiments, un a été détruit, un autre fortement endommagé et deux sont intacts. Le courant reste toutefois coupé sur tout le site, ce qui provoque l'indisponibilité de nombreux sites internet et services (mail...) en France.

A priori les serveurs hébergés dans les bâtiments intacts ne redémarreront pas avant un moment. Il faudra du temps pour revenir à la situation pré-incendie étant donné qu'un bâtiment devra être reconstruit.

Lien vers le billet original

[xav_mtx]

Elle va beaucoup moin bien marcher maintenant...

Edit: Merci Triskell pour l'integration de videos youtube.

Ce message a été modifié par xav_mtx - 10 Mar 2021, 16:28.

[ekami]

Voila qui donne à réfléchir sur les stratégies de stockage 100% cloud…

[gubbe]

On s'autorise à penser dans les milieux autorisés que ce serait un coup des écolos islamo-gauchistes !
ça fait froid dans le dos, breuuuuhh !

[Triskell]

https://www.youtube.com/watch?v=a9jL_THG58U
Elle va beaucoup moin bien marcher maintenant...

C'est sûr

[johnstone]

Voila qui donne à réfléchir sur les stratégies de stockage 100% cloud…

Si les sites hébergés n'ont pas pris l'option nécessaire pour assurer la continuité du service, à priori ce n'est pas la faute d'OVH. La stratégie Cloud le permet très facilement, tant pour les données que pour les services applicatifs. Il faut juste le prévoir et payer pour...

[Padbol38]

et dire que je suis en train de regarder "Mr Robot" en ce moment... il y a de quoi être parano Surtout quand le gouvernement insiste sur l'accroissement des attaques.
J'imagine que ces datacenter sont assez sensibles à une panne de clim, mais ce qui m'étonne c'est qu'il n'y ai pas de systèmes anti incendie vu les risques, le coût des investissements et la sensibilité des données.
Je serai curieux d'avoir plus d'infos sur l'origine du feu en temps voulu

[Porphyre]

Un cloud qui part en fumée ?

Une question bête, je peux ? Des sauvegardes ? Suffisamment délocalisées pour ne pas cramer à cause du même mégot ?

[Hi_RAM]

C'est de l'algeco ? voire des remorques recyclées ?

[fmereo]

"Ils ont frit, ils ont tout compris."

Patapéééééééé !

[kikeo]

Mon avis en tant que professionnel de la gestion de risque et en particulier de la protection des biens et des personnes :

Voila qui donne à réfléchir sur les stratégies de stockage 100% cloud…

C'est à dire ? Mieux vaut-il faire son stockage sur des serveurs de fichiers on-premises et avoir + de chances de tout perdre car il n'y a pas de redondance, souvent une mauvaise maintenance, une mauvaise sûreté, une mauvaise protection incendie ou électrique ?

L'incident d'OVH est extrêment rare et on verra certainement que leur plan de gestion des désastres inclut la sauvegarde automatique hors-site. Sans cela, leur exposition à des poursuites serait énorme et on ne peut pas imaginer que leurs assureurs les laisseraient faire. A mon avis l'impact sur les données sauvegardées sera limité.

et dire que je suis en train de regarder "Mr Robot" en ce moment... il y a de quoi être parano Surtout quand le gouvernement insiste sur l'accroissement des attaques.
J'imagine que ces datacenter sont assez sensibles à une panne de clim, mais ce qui m'étonne c'est qu'il n'y ai pas de systèmes anti incendie vu les risques, le coût des investissements et la sensibilité des données.
Je serai curieux d'avoir plus d'infos sur l'origine du feu en temps voulu

Pourquoi penses-tu qu'il n'y ait pas de systèmes anti-incendie ?

L'enquête déterminera ce qu'il s'est passé en détail mais les systèmes de détection (fumées, chaleur, flamme) et de protection automatique (sprinkler, CO2) ainsi que les systèmes de première attaque (extincteurs, robinets incendie armés) ne peuvent pas tout.
Ils sont très efficaces quand le foyer est petit. Ils permettent d'éteindre, ou tout au moins de circonscrire le foyer. Par contre une fois que le feu est fort et chaud et que les fumées envahissent les pièces les systèmes automatiques n'ont presque aucune utilité.

Ce que je ne m'explique pas ici c'est pourquoi l'incendie a échappé au contrôle des systèmes de protection. Si je devais prendre un pari je dirais que l'extinction automatique CO2 était hors d'usage soit pour une opération de maintenance, soit parce qu'il y avait du personnel dans les data center (maintenance des équipements). Il est aussi possible que le système de détection d'incendie n'ait pas fonctionné, ce qui me paraitrait quand même très peu probable (les systèmes de détection automatique sont très poussés, redondants, à alimentation électrique autonome, les circuits de détection sont isolés et les cellules de détection sont en permanence en "self-test" et de ce fait la centrale d'alarme détecte si une cellule est défectueuse).

Que ce soit les systèmes de climatisation, de protection incendie, de protection sur-tension, etc. Ce sont des systèmes robustes, redondants, en général aussi fail-safe que possible. Et notamment vu l'impact financier d'un tel désastre.
Une infrastructure telle que celle de OVH est le sujet d'analyses de risques, de plans de gestion des crises, d'inspections régulières et poussées, et aussi de la pression des clients et des assureurs. Je ne peux pas croire que le plus grand hébergeur d'Europe ait pris des raccourcis sur la gestion des risques et n'ait pas de plan de gestion des désastres qui tient la route.

[Fafnir]

Fauxcon déplace ce centre de données sur le site de la centrale nucléaire de Fessenheim.

[comprendrien]

et dire que je suis en train de regarder "Mr Robot" en ce moment... il y a de quoi être parano Surtout quand le gouvernement insiste sur l'accroissement des attaques.
J'imagine que ces datacenter sont assez sensibles à une panne de clim, mais ce qui m'étonne c'est qu'il n'y ai pas de systèmes anti incendie vu les risques, le coût des investissements et la sensibilité des données.
Je serai curieux d'avoir plus d'infos sur l'origine du feu en temps voulu

La plupart des salles serveur utilisent un système d'extinction au gaz: https://fr.wikipedia.org/wiki/Installation_...ique_%C3%A0_gaz
En gros des bonbonnes diffuse un gaz qui bouffe tout l'oxygène de la salle (le personnel présent à qlq dizaine de seconde pour évacuer !! ).

Mais je me demande si ce genre de système est compatible avec ce type de datacenter : dans le cas d'OVH au lieu d'avoir une salle étanche refroidie par la clim, ils utilisent un système de circulation d'air (d'ou l'installation dans des tours) : https://www.youtube.com/watch?v=10vNEjJBFFc

[roseau]

Fauxcon déplace ce centre de données sur le site de la centrale nucléaire de Fessenheim.

Ça fera du travail pour ceux qui ont perdu leur travail pour une décision débile éléctoraliste

[chianti's yogurt]

Le trajet Strasbourg - Caen n'a jamais été aussi rapide...

https://france3-regions.francetvinfo.fr/nor...es-1991092.html

[Padbol38]

et dire que je suis en train de regarder "Mr Robot" en ce moment... il y a de quoi être parano Surtout quand le gouvernement insiste sur l'accroissement des attaques.
J'imagine que ces datacenter sont assez sensibles à une panne de clim, mais ce qui m'étonne c'est qu'il n'y ai pas de systèmes anti incendie vu les risques, le coût des investissements et la sensibilité des données.
Je serai curieux d'avoir plus d'infos sur l'origine du feu en temps voulu

Pourquoi penses-tu qu'il n'y ait pas de systèmes anti-incendie ?

Pour préciser ma pensée : ce qui m'étonné c'est qu'un système anti incendie n'ai pas permis de limiter la casse. Que ce soit en préventif pour alerter les pompiers, ou en action pour protéger les serveurs (coupe feu entre autres)
On a beau faire des plans de prévention des risques, on voit que ça n'a ni permis d'empêcher un démarrage d'incendie, ni permis de le proscrire vu l'étendue des dégâts. Sauf à ce que ce soit criminel, ça va saigner à la direction des opérations OVH

[Sethy]

Pour préciser ma pensée : ce qui m'étonné c'est qu'un système anti incendie n'ai pas permis de limiter la casse. Que ce soit en préventif pour alerter les pompiers, ou en action pour protéger les serveurs (coupe feu entre autres)
On a beau faire des plans de prévention des risques, on voit que ça n'a ni permis d'empêcher un démarrage d'incendie, ni permis de le proscrire vu l'étendue des dégâts. Sauf à ce que ce soit criminel, ça va saigner à la direction des opérations OVH

Si l'incendie se déclare en dehors de la zone des serveurs et prend de l'ampleur ... tu ne peux pratiquement rien faire pour les sauver.

Il y a une vingtaine d'année là où je travaillais on avait un bunker avec une porte sas (comme dans les sous-marins) mais à l'intérieur il n'y avait que le robot de backup (comme ici : photo ) .

En cas d'alerte, l'air du bunker était purgé et remplacé par un gaz inerte, ce qui justifiait d'ailleurs des équipements de respiration autonome.

[ekami]

Voila qui donne à réfléchir sur les stratégies de stockage 100% cloud…

Si les sites hébergés n'ont pas pris l'option nécessaire pour assurer la continuité du service, à priori ce n'est pas la faute d'OVH. La stratégie Cloud le permet très facilement, tant pour les données que pour les services applicatifs. Il faut juste le prévoir et payer pour...

Oui, pour les sites hébergés j'espère que les webmasters proposent systématiquement un service de continuité de service.
Je pensais plutôt à des TPE qui stockent toutes leurs données sur un cloud (DropBox, OneDrive…) sans copie locale, pour ne pas avoir à gérer de serveur dédié et le trio stockage/partage/sauvegardes.
Dans ces cas de figure, c'est plutôt une panne d'internet qui serait paralysante.

[Pat94]

Salut,

Pour avoir travaillé des années dans ce type de sites, je trouve que l'importance des dégâts est très surprenante, en effet ils sont généralement pourvus d'une détection incendie plutôt musclé avec surveillance des faux planchers, salle et parie haute des salles, ainsi que tous les locaux techniques, toutes ces zones sous extinction automatique par brouillard d'eau pulvérisée (les systèmes par gaz genre HALON me sont plus utilisées depuis quelques années), plus un service de sécurité en permanence sur place et des opérateurs en surveillance des serveurs et des infrastructures techniques, en résumé la vraie question est "comment peut-on en arriver là dans ce genre de site".

Je pense qu'il faut "chercher l'erreur"...

Ce message a été modifié par Pat94 - 10 Mar 2021, 12:38.

[iAPX]

C'est étrange et comme l'a écrit @kikeo il va être intéressant de voir quels sont les impacts réels.

J'ai fait partie d'une équipe chargée de la continuité de service et de la résilience, en mettant les procédures au point, et en participant aux tests, jeux de tables sans connaître à l'avance la situation qu'on allait nous mettre mais aussi exercice réel à l'improviste, et dans ce dernier cas puisqu'on marchait très bien j'avais même suggéré il y a plus d'un an qu'on le fasse avec toutes les personnes chez eux ou dans différentes salles en ne pouvant communiquer qu'au travers de Slack pour nous compliquer la mise.
Prescience, les exercices suivants se sont passés dans ces mêmes conditions

OVH va certainement avoir des problèmes et des ruptures de services, ou des performances affectées, certains clients seront impactés fortement car pas prêts (mais là c'est leur faute) : le Cloud ne résout pas magiquement les problèmes, il offre des outils permettant si ce n'est de s'en affranchir, ad-minima de les anticiper et gérer efficacement.

La base étant la sauvegarde comme toujours, sauf que là on peut l'automatiser et la rendre disponible sur un autre datacenter, voir chez un autre fournisseur, ensuite on peut avoir une infrastructure de relais dans un autre datacenter du même fournisseur, prête à prendre le relais même si avec des performances initialement réduites mais extensible en quelques minutes, ou même chez un autre fournisseur pour ceux pratiquant correctement l'IaC (Infrastructure as Code).
Donc des impacts extrêmement différents suivant les stratégies des clients (ou leur absence).

J'ai hâte d'en savoir plus...

[sansnom]

Ma connexion internet Orange (non fibrée) a été très, très perturbée (jamais subi ça chez eux) d'environ 9h00 ce matin jusqu'à 13h00.
Tout semble être rentré dans l'ordre à présent...

[amike]

Un incendie en hiver... Chauffe au bois chez OV(en)H et zont pas ramoné la cheminée ?
Bah, encore à cause du RCA.

[glyoscar]

"Ils ont frit, ils ont tout compris."

Patapéééééééé !

Exellent

en ce qui concerne l'incendie lui-meme j'espere que l'on pourra connaitre les conclusions de l'enquete sur son origine
Je pense entre autre a l'incendie de notre dame, ou la negligence a clairement ete mise en evidence

Connaissant les data-center, je ne serais pas surpris qu'il y ait eu du laisse aller dans les infrastructures de surveillance, entre autre des prestataires surbookes et mal payes pour assurer la surveillance du site

Ca fait longtemps que j'attends un evenement de ce type dans ce type de structures, et ce ne sera sans doute pas le dernier
Surveillez vos sauvegardes

Sniff, meteociel ne reponds plus

[Cronos]

Quand je pense qu'Apple nous harcèle avec son iCloud.....

[iAPX]

Quand je pense qu'Apple nous harcèle avec son iCloud.....

Quel rapport avec cet évènement?!?

[Cronos]

Quand je pense qu'Apple nous harcèle avec son iCloud.....

Quel rapport avec cet évènement?!?

le iCloud n'est t-il pas un Data stockage dans des mégas serveurs, susceptibles d'être détruits de la même façon?
peut-être je me trompe, sans doute?

Ce message a été modifié par Cronos - 10 Mar 2021, 14:54.

[iAPX]

Quand je pense qu'Apple nous harcèle avec son iCloud.....

Quel rapport avec cet évènement?!?

le iCloud n'est t-il pas un stockage dans des mégas serveurs, susceptibles d'être détruit de la même façon?
peut-être je me trompe, sans doute?

Le buzzword "Cloud" est le seul point commun.
Je pense qu'en tirer des conclusions serait hâtif pour ne pas dire erroné, surtout sans connaître les détails des impacts sur les clients de OVH, ni rien à propos de la façon dont Apple et OVH gèrent respectivement leur stockage dans le Cloud.

Un immeuble d'un datacenter d'une société a été détruit, un autre abîmé. C'est vraiment tout ce que l'on sait vraiment actuellement.
Et pour ma part lorsque je gérais cela, peut-être aurait-on pu perdre 1H de traffic, mais guère plus. 2H sur la destruction complète du Datacenter. Une demi-journée en moyenne sur la disparition complète de la société et tous ses Datacenters, pouvant inclure les USA rayés de la carte (ce qui serait autrement plus problématique).

Ce message a été modifié par iAPX - 10 Mar 2021, 15:11.

[é1000]

L'autre jour un bout de pain a cramé dans mon grille-pain, sans flamme, juste une belle fumée. Et bien mon alarme incendie s'est mise à beugler!

Si des clients pro perdent des data par manque de prévoyance (d'OVH ou desdits clients), va y avoir de la faillite dans l'air.

[glyoscar]

Le buzzword "Cloud" est le seul point commun.
Je pense qu'en tirer des conclusions serait hâtif pour ne pas dire erroné, surtout sans connaître les détails des impacts sur les clients de OVH, ni rien à propos de la façon dont Apple et OVH gèrent respectivement leur stockage dans le Cloud.

Un immeuble d'un datacenter d'une société a été détruit, un autre abîmé. C'est vraiment tout ce que l'on sait vraiment actuellement.
Et pour ma part lorsque je gérais cela, peut-être aurait-on pu perdre 1H de traffic, mais guère plus. 2H sur la destruction complète du Datacenter. Une demi-journée en moyenne sur la disparition complète de la société et tous ses Datacenters, pouvant inclure les USA rayés de la carte (ce qui serait autrement plus problématique).

A condition que tous les elements de redondance necessaire aient ete envisages par l'hebergeur et l'heberge ...

[Sethy]

Dans ce cas de figure, une seule chose compte : le SLA signé entre le fournisseur de service et le client.

Une disponibilité garantie à 99,9% sur base annuelle permet déjà une panne d'une journée (8,76 heures pour être exact). Le SLA prévoit des pénalités en cas de non respect des clauses contractuelles.

Dans ce document inititulé "CONDITIONS PARTICULIÈRES DU SERVICE OVH PUBLIC CLOUD", j'y lis que, je cite :

"Non-respect du taux de disponibilité :

Crédit égal à 0,5% du montant mensuel payé par le Client au titre du mois considéré pour l’
élément (Instance ou Conteneur Object Storage) affecté par l’Indisponibilité par tranche
consécutive d’une (1) minute d'Indisponibilité (au-delà des trois (3) premières minutes
consécutives de perte d’accès ou de connectivité), et ce, dans la limite de 50% (cinquante pour
cent) dudit montant mensuel concernant les Instances et 100% dudit montant mensuel
concernant les Conteneurs Object Storage.
 Non-respect du taux de Résilience des données (Conteneurs Object Storage) :
Crédit égal à 100% du montant mensuel payé par le Client au titre du mois considéré pour la
portion de Conteneur Object Storage affectée par le dysfonctionnement. "

Donc ... je vous laisse conclure.

Source : https://www.ovh.com/fr/support/documents_le...tOVHCloudFr.pdf

J'imagine, évidemment, qu'il existe d'autres contrats plus contraignants mais ... ça donne déjà une idée.

Ce message a été modifié par Sethy - 10 Mar 2021, 15:44.