La eterna controversia acerca de las pruebas de rendimiento en Android, ha levantado muchas ampollas desde que, observando el código fuente de algunos terminales, se ha podido comprobar que modificaban su comportamiento cuando se identificaba alguna de las pruebas más populares de benchmark.
Samsung fue una de las más duramente acusadas acerca de esta práctica, donde se le atribuía la manipulación de las pruebas de rendimiento, inflando de forma artificial la putuación de las pruebas a base de modificar el comportamiento normal del sistema al iniciar una prueba de rendimiento.
Los chicos de ArsTechnica, han anunciado que no volverá a suceder tras la actualización de dichos terminales a la última versión de Android, ya que se ha solucionado el "comportamiento extraño del procesador" que provocaba esta situación.
Siempre he dicho que el problema de los benchmarks reside en una diferencia sobre el punto de vista de cómo ha de realizarse una prueba de rendimiento. Por un lado tienen razón los que afirman que se debe ejcutar en las condiciones normales del sistema, como si de una aplicación más se tratara, pero por otro lado estoy de acuerdo que si lo que se pretende es medir el rendimiento total de un SoC, ha de hacerse al 100% de sus capacidades, para extraer de la prueba el comportamiento particular del sistema operativo.
Aparte de que las pruebas de rendimiento son, en el 99% de las ocasiones, mal interpretadas por los usuarios, se cae en el error de tomarlas como una medida absoluta para poner un modelo por encima de otro en cuento a rendimiento, cuando se ha demostrado muchas veces que esto no es así.
Yo particularmente, he realizado muchas pruebas de rendimiento de hardware en plataforma PC, donde son (también a veces no) bastante más creíbles. Aparte de esto, no se puede ceñir uno a una única prueba, sino que deberemos pasar por el equipo, el mayor número de pruebas distintas de las que dispongamos, para hacer una media entre todas ellas y sacar una conclusión válida del funcionamiento conjunto del hardware.
¿De qué sirve comparar distintas plataformas, como Android e iOS, si aunque contaran con el mismo SoC, el resultado está sujeto al funcionamiento del sistema?
Para mí, el mejor uso de las herramientas de benchmark, es comparar las diferencias de rendimiento sobre el mismo terminal cuando aplicamos cambios como un nuevo kernel, overclocking, etc.
0 comentarios:
Publicar un comentario