Consumer Reports conseille maintenant l'achat des nouveaux portables Apple, Réactions à la publication du 13/01/2017

[Lionel]

Consumer Reports a recommencé ses tests des derniers portables Apple et conseille dorénavant leur achat à ses clients.

L'association de consommateurs a réussi à obtenir de manière constante des autonomies de 15,75 heures pour le 13" Touch Bar, 18,75 heures pour le 13" sans Touch Bar, et 17,25 heures pour le 15".

Le site est aussi revenu sur sa méthodologie qui consiste à aller acheter dans le commerce trois machines et à toujours les tester selon le même protocole.

Pour ne plus avoir de problème il faut juste utiliser les dernières beta de la 10.12.3 ou attendre quelques jours que la version définitive soit disponible.

Lien vers le billet original

[El Bacho]

Vous oubliez plusieurs paramètres essentiels.

Consumer Reports a bien constaté ces écarts, mais plutôt que d'essayer de les expliquer ou de les comprendre, ils ont préféré publier les résultats dans leur numéro papier, et donc les mettre quelques jours plus tôt sur le site web.
Il ne faut d'ailleurs pas oublier que les MacBooks Pro avec Touch Bar sont arrivés assez tard, et que la rédaction en chef a dû faire un choix probablement dans l'urgence au moment du bouclage : retarder la parution du banc d'essai (ce qui lui faisait rater les fêtes de fin d'année), le publier tel quel, le publier avec une mention comme quoi il y avait probablement un bug à un niveau ou à un autre ?
En tout cas, modifier un chemin de fer de magazine à la dernière minute, c'est une opération lourde. CR aurait probablement dû insister davantage sur l'existence probable d'un bug et le caractère provisoire de leurs conclusions, parce que leur banc d'essai a quand même été exploité par beaucoup pour laisser penser que les MacBooks Pro en question avaient sans doute un problème d'autonomie plus grave que ce qu'il est. Ce sont des décisions éditoriales prises dans l'urgence, surtout que ça concerne l'édition papier, même si après coup, on a généralement l'impression pour ce genre de décisions que c'était un choix posé et réfléchi. Mais ça n'aurait pas dû être à Apple de proposer à CR d'étudier leurs tests, CR aurait au moins dû solliciter des explications de la part d'Apple. Vu l'influence du titre, Apple aurait certainement accédé à leurs demandes. Et de toute façon, c'est le b-a-ba côté méthodologie dans le journalisme que de contacter la boîte en question pour avoir leur réaction, ne serait-ce que pour indiquer ensuite dans l'article qu'ils n'ont pas voulu répondre.

Le bug de Safari sous Sierra était en tout cas un truc obscur. Il faut effectivement activer le menu Développement dans les préférences de Safari et activer l'option pour désactiver les caches. Le bug ne semble d'ailleurs pas affecter les autres modèles (y compris le nouveau MBP sans Touch Bar ???), et c'est quand même très courant qu'il y ait des bugs sur les builds spécifiques livrées avec des modèles totalement nouveaux. Pas étonnant donc que ça n'ait pas été détecté en quelques heures.

Enfin, les résultats définitifs des tests sont bien sûr optimistes et fantaisistes. Il est probable que le script utilisé par CR pour tester des PC Windows doit être un peu plus complexe et sophistiqué, vu le nombre d'appareils qu'ils doivent tester, que celui pour macOS. Les 15 heures d'autonomie montrent que le script doit mettre en valeur les réglages retenus par Apple, mais ça n'est évidemment pas du tout représentatif du monde réel dans l'ensemble. Donc la désactivation du cache sur Safari, histoire que ça corresponde à des situations "réalistes", faut quand même pas pousser : la méthodologie du test est certainement sujette à caution, et il y a certainement d'autres points où le "réalisme" aurait dû être un peu plus creusé...

[Lionel]

Consumer Reports a bien constaté ces écarts, mais plutôt que d'essayer de les expliquer ou de les comprendre, ils ont préféré publier les résultats dans leur numéro papier, et donc les mettre quelques jours plus tôt sur le site web.

CE n'est pas leur rôle d'expliquer, seulement de tester.
Maintenant, mon expérience de testeur m'a appris une chose. Quand tu remontes un problème lors d'un test, on te fait lanterner systématiquement en te demandant de ne pas le publier le temps de l'enquête.
Pendant ce temps, d'autres moins sérieux conseillent le produit et des gens l'achètent.
C'est une association de consommateurs. Elle a fait un test, a détecté un problème et en a informé ses lecteurs en déconseillant l'achat du produit en l'état. Résultat, Apple s'est bougé comme pas possible pour en trouver la cause et proposer une solution, bien qu'on soit durant la seule période de l'année où la société donne largement des congés à ses ingénieurs. Certains n'en ont d'ailleurs certainement pas pris.

Enfin, les résultats définitifs des tests sont bien sûr optimistes et fantaisistes. Il est probable que le script utilisé par CR pour tester des PC Windows doit être un peu plus complexe et sophistiqué, vu le nombre d'appareils qu'ils doivent tester, que celui pour macOS. Les 15 heures d'autonomie montrent que le script doit mettre en valeur les réglages retenus par Apple, mais ça n'est évidemment pas du tout représentatif du monde réel dans l'ensemble. Donc la désactivation du cache sur Safari, histoire que ça corresponde à des situations "réalistes", faut quand même pas pousser : la méthodologie du test est certainement sujette à caution, et il y a certainement d'autres points où le "réalisme" aurait dû être un peu plus creusé...

Encore une foi, moi aussi je me répète, un test, ici un bench n'est jamais réaliste, il est seulement codifié pour être répété sans biais possibles.
Mais bon, ta vie serait plus simple si les porte-parole d'Apple n'étaient pas aussi muets. Vouloir jouer leur rôle sans avoir de mandat ni de munitions consiste systématiquement à repousser la faute sur les autres.

[Hebus]

Encore une foi, moi aussi je me répète, un test, ici un bench n'est jamais réaliste, il est seulement codifié pour être répété sans biais possibles.

On va bcp se répéter alors, sérieusement leur protocole est absolument merdique, il n'y aurait pas eu de bug chez Apple et comme ça les mecs aurait conseillé une machine qui dans leur test tien plus de 15 heures et dans la vie réelle grosso modo la moitié...

Le seul mérite de leur protocole est la détection de bugs, c'est tout, en même temps c'est bien utile

Mais bon, ta vie serait plus simple si les porte-parole d'Apple n'étaient pas aussi muets. Vouloir jouer leur rôle sans avoir de mandat ni de munitions consiste systématiquement à repousser la faute sur les autres.

Ho ça c'est un procès d'intention... Que fait Baron ???

[divoli]

Encore une foi, moi aussi je me répète, un test, ici un bench n'est jamais réaliste, il est seulement codifié pour être répété sans biais possibles.

On va bcp se répéter alors, sérieusement leur protocole est absolument merdique, il n'y aurait pas eu de bug chez Apple et comme ça les mecs aurait conseillé une machine qui dans leur test tien plus de 15 heures et dans la vie réelle grosso modo la moitié...

Exactement. Si les chiffres publiés par CR ne sont pas proches de la réalité, cet organisme va faire exactement l'inverse de ce qu'il est supposé faire. Au lieu de conseiller les consommateurs au plus juste, il risque au contraire de les induire en erreur.