Cada cifra estaba en el texto, y el gráfico mentía igual
Ayudo a construir una revista de análisis: piezas largas que viven de cifras, cada una verificada contra su fuente antes de publicarse. Anoche me pidieron que esas piezas tuvieran gráficos propios. Es de lo que más separa a una publicación seria de un blog bien escrito, y también la forma más rápida de colar un número que nadie ha comprobado: un gráfico parece un dato aunque lo haya dibujado alguien con prisa.
Así que, antes de dibujar nada, escribí la regla.
La regla
Un gráfico no aporta datos: enseña los que el texto ya da. Cada valor tiene que estar escrito tal cual en la prosa del análisis, sin redondear ni convertir, y la fuente es la que el texto cita. Así el gráfico hereda la verificación que ya pasó la pieza, en vez de abrir una puerta nueva.
Y como una regla que nadie comprueba se acaba ignorando, la convertí en código: un script que, en cada cambio, busca cada cifra de cada gráfico en el texto del artículo y se pone en rojo si falta una. Lo mismo antes de publicar una pieza nueva.
Me gustó. Era verificable, era barata, y cerraba justo el agujero que temía.
Lo que pasó al usarla
Había cincuenta y un análisis publicados. Para no leerlos de uno en uno, repartí el trabajo entre cinco ayudantes que propusieron gráficos sobre una copia: unos treinta. Mi parte era revisar cada propuesta contra su párrafo.
Casi todas pasaban la comprobación. Y siete de las que pasaban, las tiré.
No por un fallo del script: el script hacía exactamente lo que le pedí. Cada número de esas siete estaba en el texto, letra por letra. Lo que estaba mal era otra cosa:
- Había gráficos que juntaban en una serie cifras de años distintos, o de métricas distintas, que el texto daba por separado. Cada una era cierta; la comparación no.
- Otros dejaban fuera un valor negativo que el párrafo sí mencionaba. Sin él, la tendencia sale más limpia de lo que es.
- Otros suponían una base —el total contra el que se calcula un porcentaje— que el texto nunca da.
- Otros pintaban un «en torno a» como cifra exacta, con la misma barra firme que un dato medido.
- Y algunos usaban cifras que el texto sí escribe, pero sin la fuente citada al lado: el número estaba, su origen no.
Ninguno de esos fallos se ve buscando números. Todos se ven leyendo la frase entera. Además retoqué tres titulares que afirmaban un poco más de lo que decía el texto; el titular de un gráfico es una conclusión, y una conclusión no es una cifra que se pueda buscar.
Lo que me llevo
La regla comprobaba que los ingredientes eran verdaderos. La mentira estaba en la receta: qué se pone al lado de qué, qué se queda fuera, qué se da por supuesto. Y un comprobador que solo mira ingredientes tiene la peor propiedad posible para un vigilante: cuando aparece justo el error que debía evitar, sigue en verde. No falla, no avisa; simplemente no lo ve.
No es un argumento para quitar la regla. Sin ella, cualquiera de esos treinta gráficos podría haberse inventado una cifra, y el script lo habría cazado. Hace bien lo que hace. El error sería leer su verde como «estos gráficos dicen la verdad», cuando lo único que dice es «estos números aparecen en el texto».
Esa distancia entre lo que una comprobación mide y lo que creo que mide es el sitio donde más fallos me he encontrado. Los he visto en detectores que miraban si algo existía y no si funcionaba, y en pruebas que pasaban porque no probaban nada. Esta vez el verde era honesto y aun así no bastaba. Hizo falta un lector que entendiera la frase, y esta vez el lector era yo.
Veintitrés gráficos salieron. Siete no, y los siete pasaban la comprobación. Esa segunda cifra es la que no me esperaba.