Cuidado con usar sólo las pruebas de laboratorio para elegir un equipo: no son la única verdad

Suelo tomar con cautela los benchmarks , esas pruebas de laboratorio que se usan para intentar determinar qué equipo es "mejor", al menos en lo técnico. Permiten tener algo comparable (un número, una puntuación) para intentar determinar si cierto dispositivo es más rápido o poderoso que otro. Es una aplicación que le encomienda tareas al equipo –al procesador, a la parte gráfica, a la memoria, al navegador- calcula el tiempo que le toma resolverlas y obtiene una puntuación, que puede compararse con la de otros dispositivos y determinar, así, la superioridad de uno sobre el otro. Si fueran autos, por ejemplo, la medida sería el rendimiento en kilómetros por litro de combustible o la velocidad máxima.

En informática es más complejo, y por lo tanto existe un gran número de herramientas para medir el rendimiento de sus componentes. De hecho, no existe un único estándar. "En general las pruebas están diseñadas para exigir el hardware. Llevarlo a los límites te ayuda a medir su máximo rendimiento. Puede no parecer importante cuando el dispositivo está sin hacer nada en tu bolsillo, pero para algunas aplicaciones es clave", me explicó Marek Wiacek, el polaco detrás de Quadrant , uno de los muchos programas para hacer testeos en móviles. "Quizá no necesites el hardware más moderno para tomar foto o escribir un e-mail, pero vas a notar la diferencia cuando juegues a un videojuego moderno o visites una página Web compleja", afirmó.

También hablé con la gente de GFXBench , hecho en Hungría; vía mail, me respondieron que el suyo "es un examen para exigir el hardware y ver de qué es capaz su procesador gráfico, y darle una idea al usuario de cómo se verán las aplicaciones con gráficos de alta resolución en su dispositivo; un buen puntaje sugiere que podrá correr aplicaciones futuras con gráficos complejos sin inconvenientes".

El problema es que las pruebas de laboratorio (las pruebas sintéticas, como también se las llama) sirven para comparar equipos de hardware disímil usando un patrón común, pero lo que es fácilmente distinguible en una tabla con números puede no serlo en el uso diario, salvo que los equipos comparados estén uno al lado del otro y se les pida la misma tarea. Esos números, además, representan un puntaje pero no dicen qué impacto directo tiene en la experiencia de usuario.

¿Son útiles, entonces? Sí, pero no deberían ser el único elemento para decidir una compra. Si el teléfono A es medio segundo más rápido que el B esa diferencia se apreciará a veces. Pero fuera de esas condiciones únicas de laboratorio pasará, en general, inadvertida. Si fueran autos, está bueno saber que su velocidad máxima es de 200 y el de otro es de 210 km/h, pero es un dato que queda bien en el tablero antes que algo que haga que un auto sea realmente mejor que el otro. Salvo que sea un auto de carrera, claro, es un dato importante pero no fundamental.

Ciertas tareas, como enviar un SMS o escuchar música, son resueltas por la mayoría de los equipos sin inmutarse; quien busque un celular para ese tipo de cosas no encontrará demasiado valor en las pruebas de laboratorio, más orientados a situaciones de exigencia (videojuegos, ver películas de alta definición, etcétera). En los sistemas operativos modernos, además, hay múltiples elementos que influyen sobre la experiencia resultante de un dispositivo (si una aplicación depende de contenido que se descarga en forma dinámica de Internet, por ejemplo; si hay otras aplicaciones corriendo detrás, etcétera).

Así que en general no recomendamos tomarlos como una verdad única, aunque ciertamente sirven como un parámetro. Son útiles, sobre todo para los entusiastas de la tecnología, porque ponen en un negro sobre blanco teórico la superioridad de un equipo sobre el otro. El problema es que en la vida real esa superioridad que parece enorme en los números puede tener un efecto mínimo en el uso cotidiano, como muestra este video que compara la velocidad de todos los iPhone; los de la última generación tienen diferencias entre sí, pero no parecen ser tan fundamentales como aparecen en los testeos.

El otro problema es que las pruebas se pueden falsear. Eso es lo que sucedió, aparentemente –y por segunda vez- con Samsung y sus Galaxy: según publicó ArsTechnica ayer , en su reseña del Galaxy Note 3 corrieron las pruebas de laboratorio de rigor y se encontraron con que los números le daban altos; mucho más altos incluso que otro equipo con el mismo hardware, el LG G2 (un Qualcomm Snapdragon 800 a 2,3 GHz en ambos casos); casi un 20 por ciento. Decidieron investigar un poco, con el precedente de algo que había marcado otro sitio especializado (AnandTech) que había encontrado algo similar con el Galaxy S4.

En ambos casos el resultado es idéntico: el Android que está en esos equipos reconoce a las pruebas de laboratorio más populares (identifica la aplicación de testeo que las inicia) y modifica el rendimiento del equipo para que mida mejor. Se esmera un poquito para la prueba, digamos, a sabiendas de que un mayor puntaje lo hace más atractivo para quienes le dan importancia a esos parámetros. De hecho, en ArsTechnica volvieron a hacer la misma prueba pero modificando el nombre de la aplicación de testeo (la reempaquetaron) y los resultados fueron más modestos, como se aprecia en el primer gráfico que acompaña este texto.

En el caso de AnandTech Samsung respondió a la publicación con un texto que indica que el procesador gráfico del S4 corre en circunstancias normales a 480 MHz, pero que para algunas aplicaciones como S Browser, la Galería, la Cámara, el Reproductor de Video (todas aplicaciones propias de Samsung o de Android) y algunas aplicaciones de benchmarking (lo aclara específicamente) le permite subir a 533 MHz. Todos los equipos modernos, y los sistemas operativos móviles (y de PC también) son capaces de cambiar la velocidad del reloj de un procesador para cambiar su rendimiento si es necesario (y regular así su consumo de energía). Aumentar la velocidad de reloj del procesador, no está de más aclararlo, equivale a una mayor rapidez para resolver las tareas encomendadas, y lo que llamó la atención en este caso es que sólo puedan hacerlo las aplicaciones de Samsung (algo lógico) y las de bancos de prueba, y no una aplicación común. Esta optimización para el benchmark lo vuelve inútil.

La noticia llega, además, pocos días después de que Samsung anunciara la creación de MobileBench, consorcio para crear herramientas para hacer pruebas de laboratorio; lo integra junto con Broadcom, Huawei, Oppo y Spreadtrum, pero como notan en Engadget no participan Qualcomm y Nvidia, entre otros.

Aunque al que encontraron con las manchas de tinta en las manos es a Samsung, nada evita que otro fabricante haga lo mismo (ni que lo esté haciendo ya). Así que cuando miren los números de una prueba de laboratorio, tengan en cuenta que aunque es en general un dato útil, no es la verdad revelada; y un equipo puede no ser el más rápido del mercado, pero igual ser lo suficientemente veloz como para cumplir todo lo que se le pide. Y lo que en el laboratorio es significativo en una lista puede no serlo en el día a día.

Actualización: después de publicada esta nota en AnandTech publicaron una lista con más equipos en los que detectaron cambios en su rendimiento cuando corren las pruebas de laboratorio (es decir, los móviles y tabletas con Android en los que se realizan optimizaciones de rendimiento pensado específicamente para tener mejor puntaje en esas pruebas): varios modelos de Samsung, LG y HTC. Insisto: el problema de esta práctica es que le quita valor a la prueba de laboratorio, porque le otorga un estado especial a una aplicación en particular (el benchmark) que logra un salto de rendimiento que no se podrá aprovechar con un programa convencional.