¿Qué hace que un
benchmark sea mejor que otro? ¿Hasta dónde llega la fiabilidad de los test de rendimiento? El comprador avezado sabe que no todos los programas especializados en analizar las prestaciones del hardware proporcionan idénticos resultados, y es que cada uno de ellos usa sus propios algoritmos y baterías de pruebas. La sombra de los favoritismos siempre planea sobre estas utilidades, y hoy, SYSmark, que ya había sido acusada de inclinar su balanza hacia el lado de
Intel, se ha quedado prácticamente huérfana al perder el apoyo de
AMD,
VIA y
Nvidia, que se han retirado del consorcio BAPCo (Business Applications Performance Corporation) al considerar que las puntuaciones del test no se ajustaban a la realidad.
BAPCo, responsable de los test SYSmark, MobileMark y EEcoMark, es una asociación sin ánimo de lucro formada por compañías editoriales, fabricantes de hardware y desarrolladores de software. Entre sus socios se encuentras nombres como ZDNet, Compal, Microsoft, HP, Lenovo, Dell, y por supuesto, Intel.
Según AMD, que ha colgado un largo artículo explicando su decisión, antes de llegar a este punto se intentó modificar la metodología de las pruebas para centrarse en el uso "real" de sus procesadores, en lugar de exprimir su rendimiento en formas que ya no se ajustan a los requisitos de los consumidores. Uno de los puntos espinosos es la forma en la que SYSmark se centra en el rendimiento de la CPU al tiempo que ignora el trabajo realizado por la GPU, lo que puede resultar engañoso considerando cómo se complementan. En palabras de AMD:
Desafortunadamente, nuestras buenas intenciones fueron recibidas con un resultado que creemos que causa un flaco favor a la industria y a nuestros clientes. No fuimos capaces de introducir cambios positivos en BAPCo, y el benchmark resultante sigue distorsionando el rendimiento, ofreciendo incluso menos transparencia para los usuarios finales. Una vez más, BAPCo escogió ignorar la oportunidad de promover la apertura y la transparencia.
VIA y Nvidia todavía tienen que emitir un comunicado oficial al respecto. En cuanto a BAPCo, por ahora no ha realizado comentario alguno sobre la situación.