Et si on faisait des outils de bench ?

[Lionel]

Actuellement, sur mac on a pas de bons outils de bench.
Est-ce que quelqu'un voudrait qu'on en fasse ?
J'ai quelques idées précises mais pas les connaissances suffisantes pour les réaliser.

[kakace]

Vouloir comparer, via des benchmarks, des architectures fondamentalement différentes avec le même code ne mène nul part. Pour une tâche donnée, on peut écrire du code qui fonctionne mieux sur une architecture que sur une autre, ou avoir un impact bénéfique sur l'une et pas sur l'autre, y compris lorsque l'algo est le même.
J'ai eu le cas avec du code écrit pour résoudre un challenge ECC (Eliptic Curves). Après avoir apporté des modifs triviales (réorganisation du code, principalement), les performances sur G4 étaient multipliées par trois, alors qu'elles évoluaient à peine sur AMD/Intel.

La seule façon de faire est d'utiliser des algos optimisés au maximum pour chaque plateforme, même s'ils sont différents, de façon à obtenir les performances maximales et savoir qui fait quoi mieux que l'autre. Faute de quoi les benchs sont biaisés d'entrée de jeu et ne signifient plus grand chose d'un point de vue pratique.

Tout dépend de ce que vous voulez faire.