Et si on faisait des outils de bench ?

[Lionel]

Actuellement, sur mac on a pas de bons outils de bench.
Est-ce que quelqu'un voudrait qu'on en fasse ?
J'ai quelques idées précises mais pas les connaissances suffisantes pour les réaliser.

[Tilao]

Bonsoir,

Pour un petit bentch qui tourne sur PC et Mac, j'ai peut être une idée. La c'est vraiment pour tester les perfs générales de la machine autour du Proc. C'est en Java, donc on teste tout, le proc, le système (bus système / ram ...) mais aussi le logiciel : ordonanceur de l'OS. Et Mac OS X est plutôt bien placé dans ce domaine. Bien entendu, c'est du Java, donc les tests ne sont pas super precis, mais ca donne un rapide apercu de la puissance de la machine.

Je suis partis d'un constat tout bête quand je fesais un programme. J'ai au boulot un AMD Athlon XP 1500+ (sous Linux je précise) et j'ai ramené au boulot le PB G3 400.

A la base, je travaillais sur un programme java assez gourmant en capacitées proc et par curiosité je l'ai mis sur le mac, qui ma fois ce débrouillais comme un charme
En fait, en gros, tant que l'on ne fais pas d'interface graphique en Java, j'ai noté que la JVM d'apple est plutot performante !

Petit à petit j'ai peaufiné le test et j'en suis arrivé a faire un truc très basique !

Des millions de calculs sur des entiers / sur des entiers 64 bits / sur des réels (float)
(Il n'y a qu'un pas pour faire des fonctions mathématiques )

Et j'en suis arrivé à plusieurs constats :

-> Pour les entier, le PB n'avais pas à rougir de ses résultats.

-> Pour les entiers 64 bits, le PB ce faisait totalement larger, surement par un bus étroit et des fonctions de traitement très déaventageuses. Pas bien grave, le pauv' c un G3

-> Pour les réels Il me semble que le powerbook lui mettais la paté ! ('fin il était aussi rapide, si je me souviens bien ... pas mal pour un G3 400 sur portable !) (AMD par rapport à Intel est plutot meilleur en calcul flotant, donc si on test sur un intel !)

Bien que je ne me souviens plus trop des résultats, je peux refaire les programmes, c'est 4 lignes de code ! Donc indiscutable, tout le monde peux vérifier, pas de : Ah mais il on favorisé le mac (ou le pc). En plus Java n'utilise pas (il me semble) l'Altivec ou l'équivalent Intel/AMD (MMX / SEE etc). Cela présente donc une plateforme de bench qui positionne toutes les architectures au même niveau.

On pourrais tester la couche réseau par des benchs en RMI ou sockets (TCP et/ou UDP), les accès disque (la c'est surtout la perf de la JVM). Mais cela permet de faire un test très standard.

On pourrais aussi tester les perfs de l'OS, faire par exemple 5 000 threads en concurence, qui font plein d'interactions, donc plein de changement de contexte. On teste ici le multithreading du système (et de la jvm toujours). Pour pas avoir d'impact de la jvm on peux imaginer faire des threads en C, mais au moins avec Java, ca "standardise" et pas de discussions possible sur des optimisations

On peux tester avec beaucoup de création d'objets, utilisation intensive de la mémoire, etc ... Donc tester la bande passante mémoire du système, le gestionnaire d'allacation mémoire, etc.

Pour finir, on fait un méga melange de tout ca, et on peux donner une note globale pour juger un ensemble Proc / Système Hard / Système d'Exploitation.

Je sais pas ce que vous en pensez, mais si ca vous plait, je peux faire divers petits protocoles de tests. Si vous penser à tester d'autres trucs que l'on puisse "stantardiser" avec l'aide de Java ?

On peux donc tester les performances de nos macs, et voir les gains et les pertes entre chaque évolutions, mais également les comparer avec d'aute architectures (Qui à une sation Solaris ou SGI ou ... ? (ou un Palm ))