La automatización del análisis de datos es imprescindible para las medianas empresas

A medida que las medianas empresas crecen, desarrollan flujos de datos y lagos de datos (repositorios de datos estructurados y no estructurados) que son demasiado grandes para que una persona, o incluso un equipo, los manipule y utilice de forma eficaz. E incluso si una empresa actualmente obtiene valor de sus datos, las personas que hacen el trabajo podrían dejar atrás, lo que dejaría a la empresa con la tarea de tener que encontrar, atraer y contratar a costosos analistas de datos con prisas.

Contar con un sistema de planificación de recursos empresariales (ERP) capaz y actualizado no resolverá el problema ni aliviará la presión. La mayoría de las medianas empresas comienzan con los ERP centrados en las finanzas y acaban optando por sistemas para almacenar otros datos, como la actividad de los clientes y el rendimiento de la fabricación, una medida que es más operativa que estratégica.

En consecuencia, automatizar el análisis de datos a medida que la empresa crece es una muy buena idea. La automatización suele consistir en que los programadores escriben algoritmos que realizan tareas que antes eran manuales según las instrucciones. Hacerlo rinde dividendos rápidamente, impulsa la innovación y el crecimiento y allana el camino para la implementación de la inteligencia artificial, lo que hace que casi todo sea más fácil, eficiente y rentable. La IA está codificada para aprender a realizar una tarea y, en cierto sentido, para inventar y escribir sus propios algoritmos.

Pero los datos de las medianas empresas suelen ser confusos. Las hojas de cálculo y los archivos de texto sin formato, muchos en formatos diferentes, son difíciles, si no imposibles, de integrar. Se necesita mucho tiempo y dinero limpiarlos para que sean útiles. Los datos desintegrados y de mala calidad pueden sabotear incluso las mejores iniciativas, incluida la IA diseñada para aumentar el valor y la eficiencia.

Como dijo Joe Pucciarelli, vicepresidente de grupo y asesor ejecutivo de TI de la empresa de estudios de mercado International Data Corporation (IDC), en un seminario web reciente de Channel Company, «La mayoría de los conjuntos de datos de las organizaciones no están en perfecto estado. Hablamos de los datos y el análisis como estrategia y prioridad, pero los datos no están preparados para respaldarlos. … La mayoría de las organizaciones, cuando intentan resolver un problema, el analista que trabaja en él normalmente dedica más del 75% del tiempo a preparar los datos». 

Como puede imaginar, el ROI del tiempo dedicado a eso no es bueno. Analicemos cómo una mediana empresa aprovechó el valor de sus datos y analicemos tres medidas que los líderes de las medianas empresas pueden tomar para hacer lo mismo.

Cómo gestionó una mediana empresa sus datos

Uno de mis clientes, HdL Companies, una empresa de servicios gubernamentales con sede en Brea (California), contrata a los municipios de California, Texas y otros estados para analizar la distribución de los ingresos por impuestos sobre las ventas en sus respectivos estados y garantizar que su ciudad o pueblo reciba la parte que le corresponde. HdL busca las asignaciones erróneas y las discrepancias que los municipios puedan señalar al solicitar una reparación al estado. La esencia de este trabajo consiste en comparar diferentes bases de datos para revelar las discrepancias que afectan a quién debe recibir los ingresos por impuestos sobre las ventas. Por ejemplo, en una base de datos puede que una empresa cotice en Dublín (California), pero en otras dos bases de datos podría figurar en la vecina Pleasanton. Eso hace que sea muy probable que se produzca un error de asignación de impuestos; el trabajo de HdL es descubrirlo.

Los 40 millones de residentes de California compran productos sujetos a impuestos en 5,9 millones de revendedores autorizados, lo que creó un enorme conjunto de datos de casi 46 millones de registros de impuestos en 2020. Durante años, HdL contrató a analistas para analizar detenidamente esos datos cada trimestre, en busca de errores. El grupo de TI de HdL creó software para ayudar, pero a lo largo de los años su equipo de análisis adoptó muchas técnicas manuales idiosincrásicas y el grupo de TI tenía una larga acumulación de trabajo para seguir creando la base de código que incluyera esas técnicas. Hacer frente al atraso estaba retrasando los proyectos de automatización de HdL y el desarrollo de nuevas técnicas para detectar las discrepancias fiscales de manera más eficiente. Al mismo tiempo, el estado de California estaba introduciendo sus propias mejoras, lo que dejaba menos discrepancias que se podían encontrar con las antiguas herramientas de HDL. «Nuestro equipo siempre busca nuevas técnicas de análisis para identificar las asignaciones erróneas difíciles de encontrar», afirma Matt Hinderliter, director de servicios de auditoría de HdL. «Sin embargo, dependemos en gran medida de las exportaciones y la manipulación manuales de los datos en Excel, así como de la necesidad de que los analistas sénior revisen manualmente las hojas de cálculo que suelen superar las 70 000 u 80 000 filas de datos».

Para hacer frente a los factores de estrés externos (las mejoras de California) e internos (el sobrecargado departamento de TI de HDL y el laborioso análisis manual), HdL, una empresa mediana con un presupuesto mediano, contrató a una pasante con talento que estaba cursando su máster en análisis de datos a tiempo completo. Fue capaz de convertir algunos de los procesos analíticos que los miembros del equipo utilizaban para identificar posibles errores de asignación en algoritmos que podrían generar más oportunidades de reasignación de los ingresos fiscales en una fracción del tiempo.

Dado este aumento de eficiencia, se podría suponer que HdL estaría considerando la posibilidad de despedir. En cambio, su departamento de auditoría está contratando personal para aprovechar todas las oportunidades que ha surgido el análisis automatizado. Y HdL se ha acercado a centrarse en la implementación y el despliegue de la IA.

Mejorar la eficiencia operativa es casi siempre una de las principales prioridades de las medianas empresas. En un Encuesta de Channel Company de los líderes de TI del mercado intermedio, el 75% de cuyas empresas tienen entre 50 y 1 000 millones de dólares en ingresos, el 58% de los encuestados dijo que su principal prioridad era mejorar la eficiencia operativa. Eso superó con creces su segunda prioridad, aumentar los nuevos ingresos (un 36%). Ambos objetivos se pueden respaldar mediante la automatización del análisis de datos, como en HDL.

Primeros pasos

Las medianas empresas no pueden aprovechar todas las oportunidades. Sus presupuestos y su fuerza laboral y el ajetreo de las operaciones diarias no lo permiten. (Al fin y al cabo, no son Google). Por lo tanto, las medianas empresas deberían empezar a automatizar sus procesos de análisis de datos centrándose en las áreas en las que las operaciones críticas son ineficientes o dependen demasiado de una persona o de un puñado de personas. Antes de la automatización, en HdL 15 personas dedicaban una parte importante de su tiempo a hacer lo que hacen los algoritmos hoy en día.

HdL ya trabajaba con datos; muchas empresas (impresoras, proveedores de fontanería, etc.) no lo hacen. Pero esas empresas siguen acumulando datos y pueden beneficiarse de su uso estratégico. Es importante empezar con una base sólida. Estas son tres cosas que los líderes deben tener en cuenta a la hora de empezar a automatizar el análisis de datos.

Priorice la limpieza. Los datos en una mediana empresa suelen ser desordenados y hay que ordenarlos mucho antes de que puedan resultar útiles. Otra actividad fundamental consiste en identificar qué datos son importantes y, después, eliminarlos. Esto puede resultar lento al principio y no es barato, así que busque áreas en las que la empresa pueda recuperar la inversión durante el primer año. Eso convertirá a los escépticos en creyentes.

Contrate a las personas adecuadas. Los ejecutivos no son analistas. Carecen del tiempo, la paciencia y las habilidades para analizar datos como complemento de sus tareas diarias. Los analistas de negocios son en parte programadores y en parte empresarios. Comenzó con una pasante y la contrató como analista de negocios a tiempo completo.

Prepare los datos. Solo cuando sus datos estén bien preparados podrá empezar a pensar en la IA. La IA crea su propia lógica a partir del análisis de los patrones que descubre en los datos. Si bien la IA y el aprendizaje automático son útiles e interesantes, ambas tecnologías necesitan grandes conjuntos de datos sobre los que entrenarse, con resultados positivos y negativos confirmados. Tras una limpieza de datos suficiente y unos cuantos barridos basados en algoritmos, la mayoría de las empresas medianas dispondrán de un conjunto de datos lo suficientemente grande y útil como para entrenar un modelo de IA.

Los líderes de las medianas empresas tienen razón al entusiasmarse con las oportunidades de aprovechar el valor de los grandes conjuntos de datos. Ahora es el momento de empezar este viaje de varios años y comprometerse a contratar al talento adecuado y, al mismo tiempo, tomar medidas graduales para generar valor a partir de la automatización de datos y otros tipos de análisis avanzados.