Gros stockage et Mac OSX, comment procédez-vous pour éviter la corruption de raids?

[BorisL]

Bonjour à tous,

dans mon domaine (audiovisuel: photo, video), j'utilise des stockages assez conséquents. Des volumes en RAID de plus de 10 To. Or depuis High Sierra et l'apfs, on a régulièrement des corruptions de volume, qui font perdre tout accès au volume. Souvent avec obligation de recourir à de la restauration de datas.

On a même de la corruption de fichier sur le volume , voire même on a rencontré de la disparation de fichiers qui n'existent plus sur le volume... bref pas fiable et durable. Or on a besoin de fiabilité sur du stockage de gros volume.

J'ai besoin de vos lumières.
Quelle est la bonne stratégie pour gérer des volumes de stockage importants, pour éviter ces corruptions de volumes qui semblent inévitablement , et assez rapidement, survenir sous OSX depuis quelque temps?

Merci beaucoup pour vos conseils, avis éclairés, idées et partages.

[iAPX]

Bonjour à tous,

dans mon domaine (audiovisuel: photo, video), j'utilise des stockages assez conséquents. Des volumes en RAID de plus de 10 To. Or depuis High Sierra et l'apfs, on a régulièrement des corruptions de volume, qui font perdre tout accès au volume. Souvent avec obligation de recourir à de la restauration de datas.

On a même de la corruption de fichier sur le volume , voire même on a rencontré de la disparation de fichiers qui n'existent plus sur le volume... bref pas fiable et durable. Or on a besoin de fiabilité sur du stockage de gros volume.

J'ai besoin de vos lumières.
Quelle est la bonne stratégie pour gérer des volumes de stockage importants, pour éviter ces corruptions de volumes qui semblent inévitablement , et assez rapidement, survenir sous OSX depuis quelque temps?

Merci beaucoup pour vos conseils, avis éclairés, idées et partages.

Ben là tu n'es pas dans la merde!

Les volumes RAID c'est usuellement du foutage de gueule en terme de fiabilité et résilience, la différence entre la théorie fumeuse et la pratique désespérante, j'ai eu de très mauvaises expériences tant avec des cartes contrôleurs hors-de-prix que même avec des systèmes de stockage cassant la baraque (Isilon, je te vois), en étant le directeur technique et un associé d'un site de file sharing.
Même le filesystem géré par l'ordinateur lui-même ça n'est pas nécessairement fiable (on peut donc oublier iSCSI pour certains usages).
Et évidemment les stockages, disques durs ou Flash (SSD) ne valent pas mieux: plus les données dessus sont peu répliquées, plus vite ils pètent, la loi de Murphy!

Je peux raconter tout ce qui ne marche pas, mais je n'ai pas de baguette magique pour dire ce qui marche.

Un système Isilon (redondance à 4 machines connectées en FiberChannel) a 100 000 € le bout, tout va bien, même trop bien sans disque dur qui pète au bout de 2-3ans, ça en était suspect.
Mais on a commencé à détecter des problèmes, des fichiers en théorie présent mais non-accessible, ou des parties de fichiers non-lisibles.
Le système était complètement foireux, ne reportant pas les problèmes, ne balançant pas la charge sur les disques Spare qu'on avait évidemment, ni aucune information: on perdait des données de manière absolument transparente.
On a contacté le constructeur, Isilon, qui ne s'est pas excusé pour la perte de données, quoique reconnaissant que son système était perclus de bug, mais au-contraire nous a demandé de payer un contrat de maintenance hors-de-prix pour avoir accès à une version de l'OS fonctionnant correctement.

J'ai envoyé chié l'en***é de commercial qui m'a proposé ça, et j'ai passé leurs saloperies sous Ubuntu LTS pour avoir quelque-chose de solide.

En bref, même en payant cher on peut avoir de la grosse merde, aucun système ne fonctionne parfaitement: la seule solution que je connaisse est de dupliquer (voire tripler) les données sur des systèmes différents ne partageant ni logiciel ni matériel.
Ça commence par ses sauvegardes à faire sur des disques durs de différents fournisseurs, pour que si l'un soit affecté d'un problème, les autres ne puissent pas l'être pour les mêmes raisons. (on peut utiliser différent filesystem pour la même raison)
Et à plus haut niveau, avoir des systèmes de stockage de fournisseurs différents n'ayant rien en commun.

Et encore...

PS: j'ai d'autres anecdotes, avec seloger.com descendu par une carte RAID qui se foutait qu'un disque dur merdoie, citegay.fr foutu en l'air par une carte RAID, nous-même descendu par une carte RAID super-top, etc.

Ce message a été modifié par iAPX - 25 Oct 2021, 23:47.

[baron]

Or depuis High Sierra et l'apfs, on a régulièrement des corruptions de volume […] de la corruption de fichier sur le volume , voire même on a rencontré de la disparation de fichiers qui n'existent plus sur le volume... bref pas fiable et durable. Or on a besoin de fiabilité sur du stockage de gros volume.

Si ce sont des volumes de stockage, ils peuvent rester en HFS+.
Je ne sais toutefois pas si ça règlera tes problèmes.

[iAPX]

Et en bonus les filesystem.

Il n'y en a pas un d'absolument fiable, ou alors il n'offre aucune sécurité des opérations (cf. FAT32), même EXT3fs et EXT4fs ne sont pas absolument fiables.

Le pire étant que les erreurs de la couche en-dessous ne sont pas correctement remontées et sont parfois ignorées, la complexité des filesystem moderne faisant qu'ils ne peuvent être "prouvés".

Sur le site de file-sharing j'étais passé à de la duplication de fichier, on avait quelques racks, pas de RAID usuel, avec prise d'empreinte initiale (sha-1 à l'époque) et scan régulier de tous les supports pour vérifier leur réelle disponibilité et vérification de l'empreinte de chaque copie de chaque fichier pour vérifier son intégrité.
Bizarrement on en perdait quasiment plus aucun à n'utiliser ni filesystem sophistiqué ni système ou carte RAID en utilisant pourtant des disques durs grand publics (WD Green) !!!

En résumé: le stockage est pour moi un problème irrésolu en terme de fiabilité, tant au niveau physique que logiciel.

Ce message a été modifié par iAPX - 26 Oct 2021, 12:24.

[Pacoramique]

Comme vous, j'ai pédalé pendant des années pour stocker correctement à un coût "raisonnable" de la photo et de l'audiovisuel en agence de presse : Raid, Bandes, Cloud (stockage objet), etc...

Jusqu'à-c-que je mette la main sur un logiciel Mac/Pc génial qui comble tous mon cahier des charges : choix du Raid jusqu'au 6 annoncé (double parité), soft séparé du hard, reconstruction ultra rapide, log avec alertes et analyseurs, support ultra réactif, licence très abordable, etc...

J'ai monté des grappes avec des boitiers Icy Box de 10 disques de 20To soit 200To en Raid5 (en attendant le 6) sous OSX et WIN10 (double compatibilité) connectés en USB-3 et USB-C pour un budget inférieur à 10 000 € chaque : qui dit mieux ?

Faites le 3615 code softraid.com et testez-le en version full pendant 14 jours, vous m'en dires des nouvelles.

Bonne journée,

Ce message a été modifié par Pacoramique - 19 Jun 2022, 16:10.