Un RAID professionnel branché en Thunderbolt à un Mac mini, Réactions à la publication du 06/09/2013

[Lionel]

Nous donnons la parole à Yann.

Voici un test I/O Thunderbolt avec un RAID pro à 12 disques SAS de 3TB raccordé en Fibre Channel. J'ai eu juste l'occasion de tester ce fameux RAID Infortrend FC 8Gb/s avec un adaptateur ATTO ThunderLink (Thunderbolt > 2x 8Gb/s FC) et un Mac mini Server (Late 2012). Tout ceci avant que le RAID ne soit raccordé à son serveur dédié, un gros Dell (R720).
Les résultats sont assez satisfaisants pour du Thunderbolt. Je vais tester le même RAID raccordé au Dell sous Solaris 11 avec l'utilitaire multiplateforme iozone (iozone.org). Ça me permettra de voir la différence de performance brute et d'expérimenter l'overhead du Thunderbolt (si il y en a).
Le volume "18T" correspond à un Infortrend DS S12F-G1440 raccordé en FC 4 Gb/s, le "27T" correspond à un Infortrend ESDS-S12F-G2840. Tous les deux sont formatés en RAID 6.







Les résultats sont impressionnants sachant qu'il y a un adaptateur Thunderbolt entre les appareils. Certes, certains diront que ce sont les débits du SSD d'un MacBook Air mais l'usage, la sécurité et la capacité sont à l'opposé.
Cette information est surtout intéressante pour ceux qui comptent déjà intégrer le futur Mac Pro dans une architecture existante alors qu'il sera impossible de lui ajouter la moindre carte interne.

Lien vers le billet original

[Tibimac]

Je ne vois pas bien l'utilité de ce test, d'ailleurs que test on vraiment ?
Le rapidité du Thunderbolt ? Eté t'elle encore a démontrer ?
La rapidité d'un RAID de 12 disque durs SAS reliés en Fibre Channel (le RAID ultra pro!!!) ? Eté t'elle encore à démontrer ?
La liaison entre le RAID rackable ultra pro et un Mac mini bien moins pro (même en version "serveur") via un adaptateur Fibre Channel -> Thunderbolt à 999$(!!!) ?

[Dan DT]

Encore deux semaines et l'était est fini :-)
Fichu correcteur ortho :-/

[almux]

Je ne vois pas bien l'utilité de ce test, d'ailleurs que test on vraiment ?
Le rapidité du Thunderbolt ? Eté t'elle encore a démontrer ?
La rapidité d'un RAID de 12 disque durs SAS reliés en Fibre Channel (le RAID ultra pro!!!) ? Eté t'elle encore à démontrer ?
La liaison entre le RAID rackable ultra pro et un Mac mini bien moins pro (même en version "serveur") via un adaptateur Fibre Channel -> Thunderbolt à 999$(!!!) ?

...Euh! A la lecture du billet de Lionel, il me semble que l'intérêt de l'exercice est assez clair...

[Heret]

Encore deux semaines et l'était est fini :-)
Fichu correcteur ortho :-/

oui, dans quelques semaines l'eau tonne...
Ca pique.

[dandu]

Pour avoir testé pas mal de choses, le Thunderbolt ajoute pas d'overhead, la bande passante entre du PCI-Express direct ou du Thunderbolt, elle bouge absolument pas.

La seule chose qui bouge (un peu), c'est la latence : y a 6 microsecondes sur le premier de la chaîne, puis 5 microsecondes à ajouter pour le suivant (etc.). Sur un périphérique PCIe bien fait, ça se voit pas. Sur certains contrôleurs SATA d'entrée de gamme ancien, ça se voit sur l'écritures : le nombre de commande dans le buffer (typiquement 8 sur les premiers JMicron, assez courant) est pas assez grand pour masquer la latence et on perd en écriture. Sur les contrôleurs modernes, y a 32 commandes, ça masque complètement. Le cas typique, c'est un adaptateur Thunderbolt vers ExpressCard en fin de chaîne et une vieille carte ExpressCard eSATA : on perd énormément en écriture.

[cyril2660]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

[Lionel]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Eh bien en fait pas tant que ça. si tu met un SSD et beaucoup de RAM dans un Mac mini tu auras un serveur de fichier tout à fait honnête, au moins en dépannage.
Et puis, tu voulais faire le test sur quoi ? Un iMac ? un portable ? C'est Apple qui n'a que des machines thunderbolt amateur.

[JoKer_forever]

J'utilise des Mac mini comme diffuseur ou enregistreur de vidéo connecté à une régie.
Ça marche très bien et c'est vraiment parfait pour cette utilisation, et ça grâce au Thunderbolt.

[cyril2660]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Eh bien en fait pas tant que ça. si tu met un SSD et beaucoup de RAM dans un Mac mini tu auras un serveur de fichier tout à fait honnête, au moins en dépannage.
Et puis, tu voulais faire le test sur quoi ? Un iMac ? un portable ? C'est Apple qui n'a que des machines thunderbolt amateur.

Investir autant dans un système de stockage et le connecter à un hote qui ne dispose ni de solution de haute disponibilté, ni d'ethernet de secours, ni de redondance de bus, ni de redondance d'alimentation électrique, qu'un seul ventilo, etc, etc ....

Le Boitier RAID, lui est pro. Il dispose de 2 connexions FC 8Gb/s, de 2 contrôleurs, de 2 alimentations électriques, etc ...

Il est conçu pour être connecté à 2 switchs SAN redondants (pourquoi pas dans 2 salles distantes)...

Donc acheter un truc pensé pour de la haute dispo, et le connecter sur un seul lien FC vers un un seul adaptateur CF/Thunderbolt, vers un MacMini, oui, c'est amateur. Que ce soit un Apple ou pas.

Ce message a été modifié par cyril2660 - 6 Sep 2013, 10:12.

[Apfelpom]

Bonjour à tous !

Tout d'abord les raisons de ce test:

- Le RAID "pro" sortait du carton et déjà connecté à un serveur "pro" avec 2x FC 8Gb/s et toute la redondance qu'imposent ces systèmes...
- N'ayant jamais testé de RAID en théorie aussi rapide et le serveur pro n'étant pas encore configuré (il y a du travail, c'est un hyperviseur ESXi configuré en "passtrough" pour les adapteurs FC, 10 GbEnet et SAS vers une machine virtuelle Solaris 11, le tout doit être testé avant la mise sa fonction) c'était l'occasion de le tester avec... un Mac mini et HFS+ (plus tard le RAID fera parti d'un pool ZFS).
- Les tests avec iozone ont pas mal stressé le RAID/Thunderbolt/FC pendant près de 48 heures (avant les tests QuickBench), ce qui me rassure quelque part...
- Mon expérience "Thunderbolt" se limitait à quelques RAIDs Promise et une vieille carte FC 4Gbit dans un boitier Sonnet Echo Express SE.

Ce mini nous sert de serveur de fichier de dépannage, au cas où le serveur de fichiers principal (Solaris/Helios EtherShare) nous joue des tours (c'est arrivé une fois en 16 ans, sait-on jamais...). J'y synchronise (avec PresSTORE) toutes les 3 heures les nouveaux fichiers venus du serveur principal en gardant au plus 10 versions de fichiers et 40 cycles. En fait c'est aussi une sauvegarde complète. Donc au pire j'active la partage des fichiers du Mac mini Server (pas pro, on est d'accord, mais j'en ai quelques uns sous la main en cas de pépin) et les collègues peuvent se remettre au travail en ayant perdu au maximum 3 heures (et un peu plus, le temps de mettre le tout en route) de travail.

Comme la synchronisation de fichiers se fait (malheureusement) pas par "Event" mais par un scan complet de partitions de disques, la rapidité interne du disque est avantageuse. Tout autant que le transfert brut de données entre les deux serveurs en 10 GbEnet (que je n'ai pas encore testé !) qui plafonne en ce moment à environ 100 Mo/s.

Merci pour les précisions de dandu sur le Thunderbolt, j'espère être en mesure de confirmer :-)

Salut, Yann

[elbacho]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Ca fait des années que la plupart de mes serveurs sont des Mac Mini.
C'est une machine plutôt fiable et qui ne coute pas très cher, et justement l'avantage d'avoir un RAID externe est de pourvoir changer la machine serveur très facilement en cas de problème.

[trouspinette]

Bonjour à tous !

Comme la synchronisation de fichiers se fait (malheureusement) pas par "Event" mais par un scan complet de partitions de disques, la rapidité interne du disque est avantageuse.

Il y a moyen d'utiliser les events Unix à l'aide de inotify :-) mais sous Linux :

– Linux: Kernel 2.6.4+ (x86) 32 ou 64 bits avec librairies 32 bits, pour le
support des évènements du système de fichiers, inotify doit être installé
(inotify fonctionne à partir du kernel 2.6.13)

MP si besoin de débattre de la solution PresStore/Helios et Cie :-)

[GregWar]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Ca fait des années que la plupart de mes serveurs sont des Mac Mini.
C'est une machine plutôt fiable et qui ne coute pas très cher, et justement l'avantage d'avoir un RAID externe est de pourvoir changer la machine serveur très facilement en cas de problème.

Idem, on peut être pro et se passer de haute dispo.
Au bureau (pas en prod) j'en suis hyper content, et surtout que le local n'est pas climatisé, donc les 30W max en font un argument de choix.

Pour le prix d'une paire d'alim hotswap tu as le mini complet, que tu peux upgrader tous les ans, sans toucher à tes VM, en 2 minutes de temps.
Je ne regrette pas le mac pro, au final, qui n'offre pas vraiment plus d'option HA.

Après je suis d'accord il y a un décalage entre l'unité RAID, et le mini :-)

[cyril2660]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Ca fait des années que la plupart de mes serveurs sont des Mac Mini.
C'est une machine plutôt fiable et qui ne coute pas très cher, et justement l'avantage d'avoir un RAID externe est de pourvoir changer la machine serveur très facilement en cas de problème.

Oui, bien sur.
Sauf que ce boitier est conçu pour être connecté sur un SAN redondant via les ports FC, SAN sur lequel tu peux connecter plusieurs serveurs hétérogènes (Unix, Solaris, Windows, etc ..) qui vont distribuer des ressources disques.
C'est pas, mais alors pas du tout conçu pour être connecté à un MacMini en solo.

Si Yann veut bien nous donner le tarif de cette baie équipée de 12 disques SAS 3To, livrée, rackée, paramétrée sur le SAN, avec la maintenance sur 3 ans et le support technique, je crois que tout le monde va s'apercevoir que l'on ne joue pas dans la même cour. Moi je parie sur une bonne 20aine de Mac Mini Server...

[elbacho]

Le RAID est sans doute professionnel, mais connecter çà à un mac mini c'est amateur.

Ca fait des années que la plupart de mes serveurs sont des Mac Mini.
C'est une machine plutôt fiable et qui ne coute pas très cher, et justement l'avantage d'avoir un RAID externe est de pourvoir changer la machine serveur très facilement en cas de problème.

Oui, bien sur.
Sauf que ce boitier est conçu pour être connecté sur un SAN redondant via les ports FC, SAN sur lequel tu peux connecter plusieurs serveurs hétérogènes (Unix, Solaris, Windows, etc ..) qui vont distribuer des ressources disques.
C'est pas, mais alors pas du tout conçu pour être connecté à un MacMini en solo.

Si Yann veut bien nous donner le tarif de cette baie équipée de 12 disques SAS 3To, livrée, rackée, paramétrée sur le SAN, avec la maintenance sur 3 ans et le support technique, je crois que tout le monde va s'apercevoir que l'on ne joue pas dans la même cour. Moi je parie sur une bonne 20aine de Mac Mini Server...

Nous sommes bien d'accord, mais je voulais pas que ton propos soit interprété d'une manière générale, plusieurs témoignage ici montre bien que le Mac Mini peut faire un très bon serveur.

[cyril2660]

Dans ce cas tu as bien fait de rectifier

[Apfelpom]

Si Yann veut bien nous donner le tarif de cette baie équipée de 12 disques SAS 3To, livrée, rackée, paramétrée sur le SAN, avec la maintenance sur 3 ans et le support technique, je crois que tout le monde va s'apercevoir que l'on ne joue pas dans la même cour. Moi je parie sur une bonne 20aine de Mac Mini Server...

Un peu moins qu'une dizaine de Mac mini serveurs, 3 ans de garanties inclus et l'échange en amont: prix net en Allemagne (pas de redevance sur la copie privée ici, mais est-elle appliquée sur des disques pros en France?).

[cyril2660]

Effectivement, c'est moins cher que je ne pensais.
Mais tu ne parles que du coût d'achat.
Reste quand même l'installation physique, le support, le paramétrage des Raid, des Luns, ... les tests ... bref à 10MacMini serveurs on est loin d'être en prod.

[Pom2Ter]

Je ne vois pas bien l'utilité de ce test, d'ailleurs que test on vraiment ?
Le rapidité du Thunderbolt ? Eté t'elle encore a démontrer ?
La rapidité d'un RAID de 12 disque durs SAS reliés en Fibre Channel (le RAID ultra pro!!!) ? Eté t'elle encore à démontrer ?
La liaison entre le RAID rackable ultra pro et un Mac mini bien moins pro (même en version "serveur") via un adaptateur Fibre Channel -> Thunderbolt à 999$(!!!) ?

...Euh! A la lecture du billet de Lionel, il me semble que l'intérêt de l'exercice est assez clair...

montrer qu'un mac mini peut utiliser un stockage ultra pro qui vaut 10x plus que la machine de test, wahooooo super pertinent

[Bug]

C'est pas tant la machine de test l'important ici mais l'interface (TB) et le bridge (FC) qu'elle utilise, on aura les mêmes résultat avec un Retina, un iMac ou les futurs MP. Ce genre de stockage sert beaucoup en travail collaboratif, du coup c'est intéressant d'avoir un retour d'utilisateur.


Ce message a été modifié par Bug - 6 Sep 2013, 18:26.

[Pom2Ter]

C'est pas tant la machine de test l'important ici mais l'interface (TB) et le bridge (FC) qu'elle utilise, on aura les mêmes résultat avec un Retina, un iMac ou les futurs MP. Ce genre de stockage sert beaucoup en travail collaboratif, du coup c'est intéressant d'avoir un retour d'utilisateur.

le résultat est probablement supérieur sans le bridge fc vers tb, directement en fc sur un mac pro.

[Azur42]

J'ai également procédé à des tests de RAID5 sur des configs à 8 ou 16 disques Sonnet, basées sur des cartes contrôleur RAID ATTO R680, et j'arrive à des résultats à peu près similaires :

RAID5 à 8 disques, carte ATTO dans un MacPro : 800 Mo/sec
RAID5 à 8 disques, carte ATTO dans un boîtier Thunderbolt : 700 à 750 Mo/sec

Là ou par contre on trouve une certaine limitation au Thunderbolt, c'est dès qu'on passe sur des RAID plus performants :
RAID5 à 16 disques, carte ATTO dans un MacPro : 1.700 Mo/sec
RAID5 à 16 disques, carte ATTO dans un boîtier Thunderbolt : toujours 700 à 750 Mo/sec maxi

La différence vient du fait que les châssis d'extension Thunderbolt pour cartes PCIe sont tous en 4x alors que la carte RAID ATTO est une 8x - on obtient donc une limitation des performances (sans trop approfondir en détails), ainsi bien entendu que la limitation du TB à 10Gbits ; heureusement le Thunderbolt 2 devrait faire évoluer vers le haut cette limitation.

En tout cas pour moi cela reste encore quelque peu "magique" de voir sur un iMac 27" ou sur un MacBook des cartes PCIe parfaitement reconnues et fonctionnelles !!


En ce qui concerne l'utilisation d'un Mac mini, tout a été dit, il y a des avantages et des inconvénient sur des configs pro. J'ajouterais juste qu'il existe le même type de châssis d'extension Thunderbolt en châssis rack 1U permettant d'intégrer le Mac mini et deux cartes PCIe dans le même rack 1U, et que ces types de configuration sont de plus en plus utilisées en milieu pro, en post-prod ou diffusion TV, en audio et concerts live, etc. (y compris par une grande marque informatique pour certains store, faute de XServe ;-)

[Bug]

le résultat est probablement supérieur sans le bridge fc vers tb, directement en fc sur un mac pro.

La fibre donne du 8Gb donc non je ne pense pas au moins en terme de débits (peut-être pas en opération/seconde). Il a expliqué pourquoi il utilise un MacMini ici, c'est un serveur de secours et de backup, pas une machine principale.

L'intérêt est justement de pas avoir une tour de 40kg à 3500€ juste pour cet usage (avec tout ce que ça réclame en ventilation, consommation électrique...), mais une boite à cigare pourtant capable de faire le pont entre serveurs, stockage et postes clients.

Ce message a été modifié par Bug - 7 Sep 2013, 16:43.