Et si on faisait des outils de bench ?

[Lionel]

Actuellement, sur mac on a pas de bons outils de bench.
Est-ce que quelqu'un voudrait qu'on en fasse ?
J'ai quelques idées précises mais pas les connaissances suffisantes pour les réaliser.

[Driden]

Tu veux mesurer la performance hardware ou software ?

[Mister euGene]

Vas-y, balance tes idées, on arrivera bien à faire quelque chose (je veux bien aider)

[steve2408]

Ce qui serait bien, c'est un utilitaire de Benchmark qui puisse réellement fonctionner sur Mac et PC, comme ça on pourrait enfin se mesurer

Quoiqu'il vaut peut être mieux pas

[l0wc0der]

Grande idée...j'ai déjà travaillé sur quelques bout de codes y'a pas longtemps, mais j'ai pas eu le temps d'aller plus loin...

[Lionel]

Bon, pour commencer, je voudrais un soft qui mesure le débit d'un périphérique.
Perfboard le fait déjà au niveau des IO en global.
Possible de le faire sur seulement un périf ?
Possible d'en faire un graph ?
On pourrait commencer par un lecteur ou graveur de CD ?

Voilà

[l0wc0der]

Oui c'est possible, il suffit de demander au noyau mach des infos pour chaque périphérique...je peux (modulo boulot) faire un petit programme de démo...

[Lionel]

Avec plaisir !!

[dulrich]

Et avec les sources qu'on puisse apprendre des chose

[Lionel]

Remarquez, ce serait cool qu'on bosse tous ensemble dessus pour faire le MBBench )

[GillesB]

Tout a fait d'accord.

Puis je suggérer de commencer par un mini cahier des charges?

Pour moi, il faut des tests qui soit liés à l'utilisation d'une machine:

Ouverture (temps de démarage à froid)

Ouverture de fichier

Conversion de format d'image

Encodage MP3


A vous les studios!!!!

[dulrich]

conversion et encodage sont trop liés à la qualité des codecs....

[Lionel]

conversion et encodage sont trop liés à la qualité des codecs....

oui, c'est vrai.
Il faudrait des choses plus élémentaires

[GillesB]

conversion et encodage sont trop liés à la qualité des codecs....

oui, c'est vrai.
Il faudrait des choses plus élémentaires

Temps pour déplacer le curseur de la souris du coin supérieur gauche au coin inférieur droit!



Je suis déja sorti!!!

[Lionel]

Je pensais à des fonctions mathématiques

[GillesB]

de retour!

et si on mesurait le temps entre deux plantages!

"MBtest le seul bench qui dure 18 mois!!!"

Ok je ressort!

[MattbonD]

première question : quelle genre de fonction mathématiques (système à résoudre,calcul de suite ...??
deuxième comment programmer la fonction ?? ( script terminal ou mini-appli )
cordialement

[l0wc0der]

Bon, j'arrive a avoir la vitesse IO pour chaque device...j'ai plus qu'a tracer le graphe...
exemple
copie d'un vob du combo de mon ti sur le disque dur

CODE

2004-02-10 21:51:30.675 IOThroughput[7363] read: 7626709504 (12.332031 Mb/s) written: 7497116160
2004-02-10 21:51:30.676 IOThroughput[7363] read: 413488672 (4.250000 Mb/s) written: 0

[Lionel]

Tip top !!
Tu fais un graph avec une mesure par seconde ? Deux ?
Lecture en vert et écriture en rouge ?
Pour les CD, tu fais la conversion en X dans l'échelle ?
CD 1x = 150 Ko/s
DVD 1x = 1350 Ko
PAs trop pour ne pas risquer de ralentir le système.
Tu peux aussi faire une chtite interface pour choisir le périphérique de mesure ?

COOOOOOLLLLL

[dulrich]

Je pensais à des fonctions mathématiques

J'ai un ou deux trucs en réserve.... de ce côté.

Du genre des classiques:
Tour de Hanoi (pour plus de 3 tours), en récursif ou pas ....
...

Mais le problème c'est surtout comment calculer le temps de calcul. Y aurait 2 possibilités:
Temps réel, avec un gettime avant la fonction et un après (on fait la différence)
désavantage:
si d'autres processus tournent, cela influence le temps de clacul.
Comptage du nombre de tick processeur (en très gros, le nombre de "cycle" (pas tout à fait en fait) pour faire le calcul):
avantage:si d'autres applis tournent (même à 90% du proc) celan ne devrait pas apparaître dans les tests
désavantage: c'est lié à l'architecture du CPU (mais ça me parait la meilleur solution)

On peut aussi imaginer avoir un bench en fortran, un en C, un en Java (pour la java, le C et même l'ada je dois avoir quelques codes dasn un bouquin d'algorithme, maispour la mesure.... j'ai pas).... et bien sûr les perfs varieront en fonction du compilateur utilisé....

[edit]il faut prévoir, si on boucle, une fonction qui vari au court du temps pour éviter la mise en cache....

[Tilao]

Bonsoir,

Pour un petit bentch qui tourne sur PC et Mac, j'ai peut être une idée. La c'est vraiment pour tester les perfs générales de la machine autour du Proc. C'est en Java, donc on teste tout, le proc, le système (bus système / ram ...) mais aussi le logiciel : ordonanceur de l'OS. Et Mac OS X est plutôt bien placé dans ce domaine. Bien entendu, c'est du Java, donc les tests ne sont pas super precis, mais ca donne un rapide apercu de la puissance de la machine.

Je suis partis d'un constat tout bête quand je fesais un programme. J'ai au boulot un AMD Athlon XP 1500+ (sous Linux je précise) et j'ai ramené au boulot le PB G3 400.

A la base, je travaillais sur un programme java assez gourmant en capacitées proc et par curiosité je l'ai mis sur le mac, qui ma fois ce débrouillais comme un charme
En fait, en gros, tant que l'on ne fais pas d'interface graphique en Java, j'ai noté que la JVM d'apple est plutot performante !

Petit à petit j'ai peaufiné le test et j'en suis arrivé a faire un truc très basique !

Des millions de calculs sur des entiers / sur des entiers 64 bits / sur des réels (float)
(Il n'y a qu'un pas pour faire des fonctions mathématiques )

Et j'en suis arrivé à plusieurs constats :

-> Pour les entier, le PB n'avais pas à rougir de ses résultats.

-> Pour les entiers 64 bits, le PB ce faisait totalement larger, surement par un bus étroit et des fonctions de traitement très déaventageuses. Pas bien grave, le pauv' c un G3

-> Pour les réels Il me semble que le powerbook lui mettais la paté ! ('fin il était aussi rapide, si je me souviens bien ... pas mal pour un G3 400 sur portable !) (AMD par rapport à Intel est plutot meilleur en calcul flotant, donc si on test sur un intel !)

Bien que je ne me souviens plus trop des résultats, je peux refaire les programmes, c'est 4 lignes de code ! Donc indiscutable, tout le monde peux vérifier, pas de : Ah mais il on favorisé le mac (ou le pc). En plus Java n'utilise pas (il me semble) l'Altivec ou l'équivalent Intel/AMD (MMX / SEE etc). Cela présente donc une plateforme de bench qui positionne toutes les architectures au même niveau.

On pourrais tester la couche réseau par des benchs en RMI ou sockets (TCP et/ou UDP), les accès disque (la c'est surtout la perf de la JVM). Mais cela permet de faire un test très standard.

On pourrais aussi tester les perfs de l'OS, faire par exemple 5 000 threads en concurence, qui font plein d'interactions, donc plein de changement de contexte. On teste ici le multithreading du système (et de la jvm toujours). Pour pas avoir d'impact de la jvm on peux imaginer faire des threads en C, mais au moins avec Java, ca "standardise" et pas de discussions possible sur des optimisations

On peux tester avec beaucoup de création d'objets, utilisation intensive de la mémoire, etc ... Donc tester la bande passante mémoire du système, le gestionnaire d'allacation mémoire, etc.

Pour finir, on fait un méga melange de tout ca, et on peux donner une note globale pour juger un ensemble Proc / Système Hard / Système d'Exploitation.

Je sais pas ce que vous en pensez, mais si ca vous plait, je peux faire divers petits protocoles de tests. Si vous penser à tester d'autres trucs que l'on puisse "stantardiser" avec l'aide de Java ?

On peux donc tester les performances de nos macs, et voir les gains et les pertes entre chaque évolutions, mais également les comparer avec d'aute architectures (Qui à une sation Solaris ou SGI ou ... ? (ou un Palm ))

[dulrich]

Pour les ticks:
http://developer.apple.com/documentation/m...Toolbox-80.html

Bien que je commence à douter au niveau du calcul, il semblerait que cela compte le temps de vie du processus depuis son lancement, donc ce serait aussi sensible à ce qui tourne sur la machine... Y a quelqu'un pour infirmer ou confirmer?

[Lionel]

Génial !
Vous voir motivés me fait ultra plaisir !

[dulrich]

Je pose là un bout de code en c, on avait du faire un labo sur les suites de Fibonacci... Il y a la méthode récursive et itérative....
On a benché le tout avec la fonction gettimeofday.... qui est sensible à ce qui est en background, le code est pas forcément très beau (et pascal arrête de rire ) :

CODE

#include <iostream.h>
#include <stdlib.h>
#include <stdio.h>
#include <iomanip.h>
#include <ctime>
#include <sys/time.h>

using namespace std;


int i, j, nb_termes;
bool methode;
int  a = 1, b = 1, c = 1;


//declaration de la fonction Fibor : fibonacci recursive
int Fibor(int x)
{
   if (x == 0 || x == 1)       // cas particuliers
    return x;
   else if (x > 1)
    return (Fibor(x - 1) + Fibor(x - 2));
   else return 0;
}


//declaration de la fonction Fiboi : fibonacci iterative
int Fiboi(int x)
{
   if (x == 0 || x == 1)   // cas particuliers de la suite de Fibonacci
    return 1;
   else
   {
    for (j = 2; j <= x; j++)
    {
    a = b;      
    b = c;
    c = a + b;
    return c;
    }
   }
}



int main()
{  
   int i;
 
   struct timeval tp1;
   struct timeval tp2;

   double s1, s2, m1, m2;

   cout << "Calcul des nombres de Fibonnacci par deux methodes" << endl;
   cout << "--------------------------------------------------\n" << endl;
   cout << "\nChoix de la methode de calcul : entrez ""1"" pour la version iterative ou ""0"" pour la version recursive" << endl;

   cin >> methode;
   
   while (cin.fail())       //traitement des caracteres non souhaites (differents de 1 ou 0)
   {  
    cin.clear();
    while ( cin.get() != '\n');  
    cout << "\nErreur de saisie. Entrez ""1"" pour la version iterative ou ""0"" pour la version recursive\n";
    cin >> methode;
   }
   
   
     gettimeofday(&tp1,0);

   s1 = tp1.tv_sec;
   m1 = tp1.tv_usec;
   ////// methode recursive
   
   if (methode == 0)  
   {
    cout << "Entrez le nombre de termes souhaites" << endl;
    cin >> nb_termes;
    
    while (cin.fail() || (nb_termes < 0))      //traitement des caracteres non souhaites (non entiers positifs)
    {  
    cin.clear();
    while ( cin.get() != '\n');    
    cout << "\nErreur de saisie. Entrez un nombre de termes positif et entier\n";
    cin >> nb_termes;
    }    
    
    
    cout << "\nSuite de Fibonacci (recursive)\n\n";
    
    cout << "n  F(n)      \n";
    cout << "-------------\n";
    
    for (i = 0; i <= nb_termes; i++)
    {
    cout << setw(2) << i << " " << setw(-10) << Fibor(i) << endl;
    //printf("%-2d %-10d\n", i, Fibor(i));
    }
   }
   
   ////// methode iterative
   
   else if (methode == 1)
   {
    cout << "Entrez le nombre de termes souhaites" << endl;
    cin >> nb_termes;
    
    while (cin.fail() || (nb_termes < 0))      //traitement des caracteres non souhaites (non entiers positifs)
    {  
    cin.clear();
    while ( cin.get() != '\n');    
    cout << "\nErreur de saisie. Entrez un nombre de termes positif et entier\n";
    cin >> nb_termes;
    }  
    
    cout << "\nSuite de Fibonacci (iterative)\n\n";
    
    cout << "n  F(n)      \n";
    cout << "-------------\n";
    for (i = 0; i <= nb_termes; i++)
    {
    cout << setw(2) << i << " " << setw(-10) << Fiboi(i) << endl;
    }
   }
   gettimeofday(&tp2,0);
 
   s2 = tp2.tv_sec;
   m2 = tp2.tv_usec;
 
   cout << "Le temps d'execution est " << s2-s1+(m2-m1)/1000000 << "sec.\n";
   return 0;

}

y a sûrement mieux qu'une suite de fibo pour les benchs, quelque chose de plus complet....

[l0wc0der]

Alors hier soir j'ai abouti à ça pour les mesures de vitesses...c'est moche, je me suis pas embeté pour l'instant
Voici la vitesse de lecture de mon combo drive lorsque je copie 700 Mb (1 fichier sur le disque). L'application marche pas mal...1 point par seconde (utilisation très faible du CPU). C'est un début...je vais faire mieux ce soir

[Mister euGene]

Pour dulrich1 :
Pour obtenir le temps il y a la fonction getrusage aussi (faire un man), mais en gros on peut avoir le temps process user et le temps system, si en plus on fait un gettime on peut peut être pondérer tous les résultats entre eux ?

[apprenti bidouil...]

donc ce serait aussi sensible à ce qui tourne sur la machine...

bon, alors on fait un truc qui demande au démarrage de quitter toutes les applis en cours d'utilisation... déjà ça limitera une bonne partie de l'activité de la machine nan ?

[Lionel]

donc ce serait aussi sensible à ce qui tourne sur la machine...

bon, alors on fait un truc qui demande au démarrage de quitter toutes les applis en cours d'utilisation... déjà ça limitera une bonne partie de l'activité de la machine nan ?

On pourrait même lister les process en cours et désactiver tous ceux qui ne sont pas indispensables.
Ensuite soit reboot soit on les relance.

[Lionel]

Alors hier soir j'ai abouti à ça pour les mesures de vitesses...c'est moche, je me suis pas embeté pour l'instant
Voici la vitesse de lecture de mon combo drive lorsque je copie 700 Mb (1 fichier sur le disque). L'application marche pas mal...1 point par seconde (utilisation très faible du CPU). C'est un début...je vais faire mieux ce soir

ça a déjà de la gueule.

Pour plus tard, ce serait pas mal d'ajouter une fonction de lecture de N octets d'un disque dur et surtout une fonction de lecture de tout un CD ou DVD. on fait lire tous les secteurs dans l'ordre.
Ainsi on pourra juger la qualité d'une gravure de CD ou DVD grâce à la régularité du débit.

[Guest_Faquin_*]

donc ce serait aussi sensible à ce qui tourne sur la machine...

bon, alors on fait un truc qui demande au démarrage de quitter toutes les applis en cours d'utilisation... déjà ça limitera une bonne partie de l'activité de la machine nan ?

On pourrait même lister les process en cours et désactiver tous ceux qui ne sont pas indispensables.
Ensuite soit reboot soit on les relance.

plus simple: on peut les freezer. Comme ca à la fin on libère tout et c'est transparent pour l'utilisateur.

Mais bien faire attention de ne pas freezer le defreezeer, sinon c'est le gros bouton blanc sur la machine qu'il faudra activer