Cómo mejorar las notas en Metacritic y Opencritic

Las notas de videojuegos han sido, son y, probablemente, serán uno de esos aspectos que, lanzamiento tras lanzamiento, crean polémica, discusiones acaloradas y múltiples debates que desembocan en la objetividad de la prensa y demás cosas que, a priori, poco tienen que ver con el tema original. Desde luego, opiniones acerca de este aspecto hay tantas como personas dispuestas a ofrecer su punto de vista, y es que se trata de un tema nada sencillo y que esconde mucha miga si nos paramos a pensar en ello con detenimiento. Sin embargo, yo hoy no vengo a hablar de si dar notas está bien o mal, de si las reviews son algo objetivo o subjetivo; no, vengo a hablar de una forma más clara que todo esto.

Con el artículo que podéis leer vengo a hablaros de las medias de páginas como Opencritic o Metacritic, portales que se han vuelto muy populares debido a que son capaces de recoger y sintetizar la opinión de numerosos analistas de condiciones muy diferentes para, con un simple número, ofrecernos una visión rápida de qué esperarnos de un videojuego. Todos sabemos que estas medias no siempre son demasiado fiables pero, ¿cómo diferenciamos los casos en que sí lo son? ¿Cómo demonios podríamos hacernos una idea de si esa media es fiable? Parece complicado, ¿verdad? Pues lo cierto es que si atendemos a las matemáticas (sí, esas aburridas cosas que nos hacían estudiar y no tenían ningún uso real) la cosa se aclara. En concreto, si atendemos a un numerito llamado desviación estándar.

Pero vamos poco a poco. ¿Por qué narices me he puesto a hablar de matemáticas en un artículo sobre las notas de Metacritic y Opencritic? Pues porque, aunque parezca increíble, esta rama tiene aplicaciones reales en todos los ámbitos (por mucho que nos duela a los matemáticos más teóricos). Para entender de lo que hablo haré un pequeño símil que os insto a seguir conmigo. Vamos a pensar en cada videojuego como, por ejemplo, una varilla (un palo del material que os dé la gana, pero con una longitud concreta); y en cada uno de los analistas que le ponen una nota como personas que, simplemente, desean medir la longitud de dicha varilla.

A priori sabemos que la varilla tiene una longitud determinada, es decir, al videojuego que estamos considerando le corresponde una nota concreta (sí, sé que esto no es del todo cierto y que siempre hay margen de interpretación subjetivo, pero idealicemos el caso y supongamos que el juego se merece una nota de forma objetiva). Sin embargo, no todas las personas que miden la varilla obtienen la misma longitud debido a que cada uno utiliza un aparato de medida distinto; uno mide con una regla escolar, otro con un calibre, otro con un metro, etcétera. Además, cada uno mide la varilla en condiciones diferentes; unos con frío, otros con calor, otros con mucha humedad y otros con poca, diferenciando aún más sus medidas. Y por si esto fuera poco, hay ciertas personas que ni siquiera saben medir o cuyo aparato de medida está estropeado (por ejemplo, la regla que usan tiene mal indicadas las longitudes). ¿Cómo trasladamos esto a las notas de videojuegos? Pues podemos ver que las notas de diferentes analistas no coinciden a la perfección porque cada uno valora de forma distinta lo que el título ofrece, cada uno se ha topado con más o menos bugs e incluso hay analistas que no tienen ni idea de videojuegos. ¿Qué maldita nota tomamos como la correcta?

Aquí es donde entran en juego las webs como Opencritic y Metacritic. Volviendo al símil de las varillas, lo que estos portales hacen es recopilar los resultados de las medidas de las personas que, se supone, saben medir y tienen buen aparato. Es decir, escoge notas de analistas de relativa confianza y las recopila todas juntas, de forma que, al hacer la media, podamos obtener una estimación más o menos buena de la nota "real" del videojuego.

Sin embargo aquí se nos plantean dos problemas. En primer lugar, para que este método dé un resultado fiable necesitamos que muchos analistas den una nota al juego; normalmente nos encontramos con que estos portales recogen un número superior a 100 reviews para los lanzamientos más sonados, así que por este lado parece que estamos cubiertos, ya que 100 reviews se antojan como un número suficientemente grande.

Por otro lado, cuando un portal como Opencritic o Metacritic nos da una nota media, simplemente nos dice la estimación de la nota "real" del videojuego, sin decirnos cómo de fiable es. Es fácil ver esto en un caso extremo; no es lo mismo que la nota media de un título sea 5 si todos los analistas le dan un 5 que si la mitad de analistas le dan un 10 y la otra mitad un 0. En el primer caso la estimación resulta muy fiable porque el consenso es alto, mientras que en el segundo caso la estimación es mala y no hay consenso ninguno acerca de la nota que se merece. Fácil, ¿verdad? Pues aquí es donde entra en juego la desviación estándar, un elemento matemático que se utiliza precisamente para esto, para indicarnos cómo de fiable es una media.

Tranquilos, no voy a dar la brasa con fórmulas absurdas ni jerga matemática de inadaptado social (si queréis más información, en este mismo enlace podéis acceder a ella). Simplemente hace falta entender que la desviación mide lo alejadas que están las notas de la media que se nos ofrece. Cuanto mayor sea este dato, menos fiable será la media. Claro que un valor de, por ejemplo, 1 en la desviación puede ser muy grande o muy pequeño, todo depende de con qué lo comparemos; si medimos distancias entre estrellas, probablemente sea muy pequeño, pero si medimos longitudes de dedos será muy grande. Para poder decir cómo de grande es tendremos que compararlo con algo, y ese algo que utilizaremos es el valor de la media, de forma que la medimos con un porcentaje (aunque esto es simplemente un detalle técnico que no resulta demasiado relevante en el estudio que haremos). En fin, basta de tanta cháchara y veamos con ejemplos cómo de útil sería este dato en la realidad, si se nos ofreciera junto a la media en portales como Opencritic y Metacritic.

Ejemplos

Para ver con claridad lo útil del dato y su simplicidad a la hora de ser usado, hemos creado una pequeña tabla con algunos de los videojuegos que muestran lo que quiero haceros entender de forma más clara. Todos los datos han sido recogidos directamente de Metacritic para las versiones de PlayStation 4 de los juegos (excepto Super Mario Odyssey) y podéis hacerlo por vosotros mismos utilizando las funciones "AVERAGE" para la media y "STDEV" para la desviación a través de Excel, las hojas de cálculo de Google o el programa Calc de OpenOffice.

El color de la desviación indica lo "fiable" que es la media

En esta pequeña tabla se representan las notas medias y su desviación de algunos videojuegos. El color de la desviación indica lo bueno o mala que es la estimación de la nota "real" a través de la media, siendo el verde el mejor y el rojo el peor. Como se puede apreciar, junto a la media, la desviación nos da un valor muy indicativo del consenso que hay sobre un título. Por ejemplo, juegos como Mighty No. 9 o No Man's Sky que han provocado una gran polémica y opiniones muy dispares entre la crítica (de hecho las notas de Mighty No. 9 van desde algún 8 hasta un 2,5) tienen unos valores de desviación estándar muy altos, indicando precisamente esta polarización de opiniones.

Por el contrario, tenemos los ejemplos de Super Mario Odyssey y Wolfenstein II: The New Colossus que, independientemente de que su nota media sea mejor o peor, han recibido una nota similar en los diversos medios que lo han analizado. Se aprecia el consenso en los valores de la desviación estándar, que apenas supera el 6% frente a los altos valores de No Man's Sky y Mighty No. 9. Por supuesto, también hay casos intermedios como el de Destiny 2, que a pesar de tener una media similar a Wolfenstein II, cuenta con una desviación algo mayor, indicando la falta de consenso total entre la crítica.

Con estos datos sobre la mesa podemos ver con claridad que la media, por sí sola, no resulta demasiado indicativa de la calidad de un título pues, como indicaba al comienzo, no es lo mismo tener un 10 y un 0 que dos 5. Está claro que el símil con el que introduje estos datos no es del todo acertado y que un simple número no puede resumir las sensaciones y experiencias de cientos de analistas con un producto que, en ocasiones, resulta tremendamente personal y depende casi por completo de nuestra percepción del mismo. Pero, si vamos a obviar todo eso y lanzarnos a mirar un numerito, al menos hagámoslo bien y tengamos en cuenta datos como la desviación, que resulta un factor indispensable para comprender este tipo de cosas.