El eterno debate sobre el cómo se debe realizar un benchmark aflora hoy de nuevo después de que HTC haya sido "pillada" haciendo "trampas" en los tests de 3DMark.
La "triquiñuela" basaba básicamente en modificar el comportamiento del procesador cuando detecta la aplicación de benchmarking... desbloqueando todo límite del procesador y llevando al máximo su rendimiento.
¿Porqué se consideran "trampas"? seguro que si, al igual que yo, has estado tu vida adolescente haciendo pruebas y machacando el hardware hasta obtener la mejor nota, quizá no puedas llegar a comprender el porqué no se realizan las pruebas al 100% de la capacidad del SoC, tal y como se hace en PC. Pues bien, se considera que las pruebas se deben realizar en condiciones de funcionamiento normal, tal y como lo haría cualquier otro app que se ejecutase en el terminal.
En fin, aclarado el motivo, diremos que HTC cae en lo mismo que anteriormente otras empresas cayeron.... Samsung ya fue "cazada" con la misma actividad y no volvió a hacerlo, es más, con 4.4.2 ya no puede. No entiendo porqué HTC lo vuelve a hacer después de todo.
¿Qué pruebas se realizan para saber si está haciendo trampas? Es más sencillo... se baja el apk de benchmark y se realiza el test, analizando la actividad del procesador. Tras finalizar, se desisntala, y se instala la misma aplicación renombrada, llevando a cabo el mismo análisis. El resultado es el siguiente:
Cuando es renombrada, el procesador no va al 100%... mientras que la aplicación sin renombrarse mantiene casi todo el rato al máximo, destapando el truco para aumentar la puntuación de rendimiento.
Desde aquí, siempre digo lo mismo, prudencia con las aplicaciones de benchmark, no se pueden tomar como algo de ciencia cierta ni seguirlos al pié de la letra, no son esclarecedores al 100% del rendimiento real de un smartphone.
Tengo dos opiniones acerca de esto. Por una parte pienso que los bencmarks deberían de ejecutarse al 100% de las capacidades del dispositivo... para eso realmente se hacen.
ResponderEliminarLa otra es que, después que el tema de los benchmarks está más que trillado y se sabe claramente como se detectan y demás, que una marca pille y vuelva a hacerlo... la verdad es que me sorprende como poco.
Ciertamente yo opino lo mismo... pero las reglas las ponen los desarrolladores del benchmark, y ellos consideran que la aplicación debería ejecutarse en condiciones normales.
ResponderEliminar