Evalúe si tiene algún problema de calidad de los datos

Los responsables de la toma de decisiones, los líderes, los científicos de datos y los gerentes suelen evaluar rápidamente si pueden confiar en un conjunto de datos, si pueden incluirlo en un análisis o si lo necesitan para tomar una nueva dirección. Si bien hay miles de variantes, su pregunta básica es: «¿Tengo algún problema de calidad de los datos?»

He creado un método sencillo que ayuda a cualquiera a responder a esta pregunta. La llamo «Medición de los viernes por la tarde» (FAM) y está dirigida a los directivos de cualquier nivel cuyo trabajo depende de los datos. (De hecho, la familia es un buen ejercicio para saber si espera ser lo que yo llamo un provocador de datos.) El método le ayuda a medir fácilmente el nivel actual de calidad de los datos, a desarrollar una estimación de alto nivel de su impacto y a sintetizar los resultados. Es fungible, lo que significa que se adapta bien a diferentes empresas, procesos y conjuntos de datos. Para seguir su metodología, siga estos cuatro pasos.

Paso 1. Reúna los últimos 100 registros de datos que su grupo utilizó o creó. Por ejemplo, si su grupo recibe pedidos de clientes, ensamble los últimos 100 pedidos; si crea dibujos de ingeniería, ensamble los últimos 100 dibujos. Luego, concéntrese en 10 a 15 elementos (o atributos) de datos críticos del registro de datos. Colóquelos en una hoja de cálculo o en hojas de papel grandes.

Paso 2. Pida a dos o tres personas con conocimiento de los datos que se unan a usted en una reunión de dos horas. (La FAM toma su nombre porque muchas personas organizan estas reuniones los viernes por la tarde, cuando el ritmo de trabajo se reduce).

Paso 3. Trabajando registro por registro, dé instrucciones a sus colegas para que marquen los errores obvios en un color visible, como el rojo o el naranja. Para la mayoría de los discos, esto va a ir increíblemente rápido. Los miembros de su equipo detectarán los errores (el nombre del cliente mal escrito o la información que se ha colocado en una columna equivocada) o no lo harán. En algunos casos, entablará conversaciones detalladas sobre si un artículo es realmente incorrecto, pero normalmente no dedicará más de 30 segundos a un registro.

Paso 4. Resuma los resultados. Primero, añada una columna de «registro perfecto o no» a su hoja de cálculo. Marque «sí» si no hay ningún error y «no» si aparece rojo o naranja en el registro. Total del número de discos perfectos. Creará una tabla que se parezca mucho a la figura de abajo.

Interprete el «número de registros perfectos» de la siguiente manera: De los últimos 100 registros de datos que nuestro grupo completó, solo completamos dos tercios (67 de 100) correctamente. De hecho, casi todo el mundo reconocerá que esto es un mal desempeño. (Como nota, utilizo este ejercicio con frecuencia en tareas de enseñanza y consultoría, y he obtenido muchos resultados peores y algunos mejores. Una calidad de datos del 67% está en la gama alta de lo normal.)

Este hallazgo confirma que tiene un problema de calidad de los datos. Para ver cómo afecta a su negocio, vaya un paso más allá. Los datos incorrectos causan todo tipo de problemas (tomar buenas decisiones es más difícil, los clientes se enfurecen) y aumentan los costes. El llamado «regla del 10» proporciona un medio sencillo de estimar estos costes. Se basa en la observación de que «completar una unidad de trabajo cuesta 10 veces más cuando los datos de entrada son defectuosos que cuando están perfectos».

Así, en el ejemplo anterior, alguien que utilice los datos podrá hacerlo sin esfuerzo adicional dos tercios de las veces, pero un tercio de las veces le costará unas 10 veces más hacer correcciones y completar el trabajo. Como ejemplo sencillo, supongamos que su equipo de trabajo debe completar 100 unidades al día y cada unidad cuesta 1 dólar cuando los datos son perfectos. Si todo es perfecto, un día de trabajo cuesta 100 dólares (100 unidades a 1 dólar cada una). Pero con solo 67 perfectos:

Coste total = (67 x 1,00$) + (33 x 1,00$ x 10) = 67$ + 330$ = 397$

Como puede ver, el coste total es casi cuatro veces tanto como si todos los datos estuvieran bien. Piense en la diferencia como el coste de una mala calidad de los datos. La mayoría de las empresas no pueden ni deben tolerar esos costes.

Ahora que sabe que tiene un problema de datos y conoce los costes que conlleva, ¡tal vez quiera realizar algunas mejoras reales! La hoja de cálculo indica qué atributos tienen errores y, al observar esos datos, puede ver qué atributos hay que corregir primero. Calcule el número de errores de cada columna y concéntrese en dos o tres atributos que tengan los totales más altos. Encuentre y elimine sus causas fundamentales. En la mayoría de los casos, debe esperar que los responsables de crear los datos (ya sea su equipo u otro, según los datos que haya seleccionado) realicen estas mejoras como parte de su trabajo diario, con poca o ninguna inversión de capital. Pero verá que la tasa de error disminuye y los costes asociados disminuyen significativamente.

Todo el mundo debería hacer de la calidad de los datos una parte de su trabajo, y este ejercicio proporciona una forma fácil de tomar medidas para mejorar. Este proceso no pretende ser un ejercicio único, puede hacer la FAM con regularidad para evaluar la calidad de sus datos. Al pasar tiempo con la FAM, no solo puede identificar si tiene un problema de calidad de los datos, pero también sabe dónde para centrar sus esfuerzos en solucionarlo.