Benchs truqués : volonté de puissance, impuissance de la volonté

La question éthique ou morale semble à priori étrangère à l’univers froid des calculs de CPU. Mais qu’est-ce qu’un calcul de CPU mesuré, classé, estimé, si ce n’est une approximation de la puissance disponible, et qu’est-ce qu’un classement de plusieurs CPU si ce n’est une comparaison des puissances ?

A ces petits jeux très démonstratifs, les logiciels de Benchs jouent le rôle de juges et d’arbitres : ils apportent des données brutes et sont normalement garants de l’intégrité de leurs résultats. On sait depuis longtemps que les calculs de Bench ne disent rien de la réactivité d’un smartphone, de la fluidité son interface, ou du temps de réponse de son écran. La vitesse mesurée des opérations calculées doit encore passer les mailles d’un OS et d’APIs qui jouent parfois le rôle de mélasse ou d’accélérateur : le Dalvik d’Android s’englue dans son code quand le C++ d’iOS déploie son efficience, toutes choses qu’un 3D Mark ou un GeekBench ne montrent pas.

L’intérêt réside ailleurs. La puissance indique toujours ce qu’il est possible d’obtenir, pas ce que l’on aurait déjà hic et nunc. Une voiture peut rouler à 200 km/h, mais toutes les routes ne permettent pas un tel chrono. A tout le moins, cela reste une possibilité. Ainsi en est-il des différents comparatifs de Benchs des smartphones. Ils sont des affirmations de ce qu’il est possible d’atteindre avec son appareil. Certaines applications peuvent avoir besoin de toute cette puissance, les jeux par exemple, grands pourvoyeurs de calculs complexes et lourds.

Cette règle de la mesure du possible, même limitée seulement à certains champs applicatifs particuliers, ne déroge néanmoins pas à une forme de crédo très simple : la puissance est disponible, les développeurs peuvent donc s’appuyer dessus et bâtir leurs applications de façon à en dégager tout le suc.
On voit bien où il s’agit ici d’arriver; la preuve du trucage massif des résultats des logiciels de Bench sur la grande majorité des smartphones Android met à mal ce crédo de la puissance réellement disponible et transforme ce qui était une vérité circonstanciée en un pur mensonge. Ce qui est montré ne peut plus être réutilisé et répété au delà du calcul de Bench.

Autant dire que le Bench est ainsi vidé de sa substance. Par souci d’afficher de la puissance pure décorellée de tout usage même futur, il n’existe plus d’information fiable sur la vraie puissance disponible, celle encore utilisable et qui permet à quiconque d’atteindre la vitesse maximale sur les circuits appropriés. Ce qui permettait encore hier de comparer, d’évaluer, juger, souvent sur ce seul critère brut de la puissance et de la performance de calcul, devient aujourd’hui une liste pathétique des meilleurs dopés. Il n’y a pourtant aucune opération d’overcloking des processeurs dans cette affaire, aucun trucage autre que cette liste de paramètres enfouie dans le code et qui lâche soudain tous les chevaux disponibles sans logique d’efficience ou d’autonomie.

Cela suffit pourtant à jeter un discrédit presque général sur ces outils de Bench. La situation n’a ici rien à voir avec le mode Turbo Boost de certains processeurs Intel. Ce mode est utilisé par des applications spécifiques et reste aujourd’hui gérable par l’utilisateur lui-même. Dans la grande triche des Bench de smartphones, il n’existe pas de mode où l’utilisateur pourrait déverrouiller l’accès sans limite à la puissance maximum théorique. Et pour cause, un smartphone n’est pas relié en permanence à une prise secteur, et si par hasard on pouvait faire tourner ces fameux Bench surboostés pendant quelques heures, nul doute que nombre de smartphones concernés rendraient l’âme avant la fin du test. Il s’agit donc bel et bien d’une triche malhonnête, qui pour gagner quelques pourcentages de gain (parfois nettement plus dans le cas de Samsung, meilleur tricheur que les autres visiblement) aura montré le visage moins reluisant de la quasi totalité des fabricants sous Android.

Pour Google, seul épargné par l’opprobre côté Android, le gain est faible dans l’immédiat : l’honnêteté du fabricant du Moto X n’est pas récompensée dans les ventes puisque 100 000 Moto X seulement s’écouleraient chaque semaine. Pire, le porte étendard d’Android, Samsung, est sans doute celui qui véhicule maintenant le plus cette image d’un système ouvert jusqu’à l’anarchie, écho du manque total de morale de ces pratiques.

Et Apple ? Le fabricant de l’iPhone sort doublement gagnant de cette affaire. Non seulement son A7 bi-coeur obtient des résultats surprenants face aux quadri-coeurs de dernière génération de la concurrence, mais l’on sait maintenant que ces scores sont en fait supérieurs à ce qu’ils semblent être. En pleine période d’annonce de la nouvelle architecture 64 bits du A7, l’epic fail des fabricants Android apparaît à la fois technologique et éthique : eux viennent de prouver que leurs objectifs réels se situent au niveau de l’affichage stérile de perfs brutes qui ne serviront à rien au final, quitte à bidonner le compteur; de l’autre côté du spectre, les chiffres d’Apple illustrent dans ce contexte et de façon quasi exemplaire une quête de l’optimisation sans concession, au service final des développeurs et des usages réels.

C’est aussi la forte médiatisation de ces démonstrations de puissance qui vient de subir ici un coup sans doute fatal. Le soupçon étant le pire des poisons, tout Bench sera maintenant porteur d’un doute, et le doute bénéficiera forcément à ceux qui se seront montrés les plus intègres. A vouloir imposer une volonté de puissance, et seulement cela, à des utilisateurs subjugés par ces suites de chiffres, les fabricants Android auront fini par se castrer eux-même du principal vecteur de communication positive qui était véhiculé par les médias. Peu de temps avant le dévoilement de l’affaire dans la foulée des benchs bidons du Galaxy Note 3, un site généraliste français titrait sur les performances comparées de l’iPhone 5s et de ses concurrents, pour conclure sur la base d’un seul Bench (3D Mark, pourtant notoirement buggé avec le A7) que le nouvel iPhone était loin des meilleurs mobiles sous Android. Déjà la fascination de la puissance poussait à transiger avec le réel, une force d’attraction telle qu’elle aura sans doute amené un grand nombre de fabricants à fauter pour rester dans la lumière.

Car au delà de l’affaire, c’est tout un système de révérence aux Bench qui est sans doute coupable du grand dérapage. Peu importait en effet qu’Android ne soit pas totalement fluide si un Bench démontrait la puissance du mobile, peu importait encore de rendre compte des efforts d’optimisation d’Apple quand il suffisait de sortir à nouveau un Bench pour renvoyer le californien dans ses buts. Un manque d’éthique flagrant dans les analyses aura préparé le chemin à un manque d’éthique dans les comportements. Et de la volonté de puissance affichée il ne reste aujourd’hui que l’impuissance de la volonté des tricheurs qui n’ont plus le pouvoir réel, même en le voulant très fort, de revenir à la situation ante.