La Inteligencia Artificial (IA) se ha convertido en una herramienta esencial para las empresas que buscan innovar y mejorar su competitividad.
Para maximizar el uso y potencial de la IA, es fundamental medir y evaluar continuamente los resultados de los proyectos e iniciativas implementados.
Este artículo aborda los aspectos clave y las métricas que toda empresa debe plantearse para garantizar que sus esfuerzos en IA sean efectivos y estén alineados con los objetivos estratégicos de la compañía.
Aspectos clave
Hay 5 temas importantes que toda empresa debe considerar al abordar proyectos e iniciativas de IA
1. Objetivos y Resultados
Analizar si los resultados que se obtienen al implementar los proyectos/soluciones de IA están ayudando a:
conseguir los objetivos estratégicos de la compañía
identificar nuevas oportunidades de negocio
tomar mejores decisiones
optimizar procedimientos internos
adoptar medidas más rápidas y eficaces
2. Experiencia de Clientes
Evaluar el impacto de la IA en los clientes considerando varias dimensiones:
Mejora de la calidad de productos y servicios ofrecidos
Agilizar la interacción y puntos de contacto con ellos
Proporcionar precios adecuados
Mejora del servicio de atención a clientes
3. Nivel de Adopción
Gestionar el grado de aceptación cultural de la IA tanto internamente en la organización, como externamente entre los clientes/colaboradores
4. Costes
Es esencial llevar una planificación y gestión de recursos eficaz que permita mantenerse dentro de los presupuestos establecidos
5. ESG – Aspectos Ambientales, Sociales y de Gobernanza
Considerar si las iniciativas de IA nos permiten mejorar la eficiencia energética, reducir los residuos, promover la igualdad/diversidad, y apoyar las prácticas éticas. Clientes e inversores priorizan cada vez más estos temas y ya han dejado de ser anecdóticos o simplemente un tema “nice to have”
Métricas
Para garantizar de forma fiable que podamos cubrir los aspectos anteriores es necesario monitorizar los avances con un conjunto de métricas e indicadores adecuados. “Sólo se puede gestionar aquello que se puede medir”.
A continuación, destacamos 6 grupos de métricas relevantes en los proyectos de IA:
1. Retorno de la inversión (ROI)
Los proyectos de IA deben generar beneficios que justifiquen el gasto. El ROI se calcula en forma de % con esta fórmula:
ROI = (Rendimiento obtenido – Inversión) ÷ Inversión x 100
2. Tasa de adopción
Porcentaje de clientes o empleados/usuarios que utilizan las herramientas de IA implementadas.
Un valor alto significa que los profesionales confían, valoran y ven utilidad enlas soluciones adoptadas.
3. Experiencia del cliente
Nivel de satisfacción, Tasa de abandono (Churn rate), NPS (Net Promote Score) y CLV (Valor medio de vida del cliente), son algunas métricas que pueden indicar el nivel de impacto de los proyectos de IA en la experiencia del cliente
4. Time-To-Value (TTV)
Mide el tiempo que transcurre desde que un profesional / cliente empieza a utilizar la solución IA, hasta que reconoce y experimenta beneficios tangibles con su uso.
Un TTV corto significa que se pueden ver rápidamente los resultados como mejoras en las operaciones, resolución de problemas, o aumento de la productividad
5. Sostenibilidad y Eficiencia operativa
Miden aspectos ambientales, sociales y de gobierno corporativo (ESG) para saber el impacto de la IA en temas como la cantidad de residuos que se crean, las horas humanas por tarea completada, las tasas de defectos del producto, y el coste de producción por unidad.
Algunos de los desafíos técnicos, regulatorios y prácticos comunes a lo largo del ciclo de vida de la IA pueden afectar a diferentes aspectos de los criterios de ESG. El siguiente gráfico de un informe de la consultora E&Y muestra perfectamente esta relación con algunas consideraciones técnicas, regulatorias y prácticas al utilizar modelos de IA
6. Eficiencia de los Modelos
Métricas técnicas que permiten medir el rendimiento de los modelos para comprobar si la IA está realizando correctamente las tareas que se pretenden. Algunos ejemplos de estas métricas son:
Exactitud - Muestra con qué frecuencia el modelo hace predicciones correctas
(Predicciones Correctas ÷ Todas las Predicciones)
Precisión- Indica el nivel de acierto de las predicciones
(Predicciones Positivas Correctas ÷ Predicciones Positivas Correctas y Falsas)
Sensibilidad (Recall) - Muestra si el modelo puede predecir todos los casos positivos de entre todos los casos reales positivos existentes en el conjunto de datos. En definitiva, permite saber si el modelo detecta todos los objetos de la clase objetivo. Predicciones Positivas ÷ Casos Reales Positivos
Veamos un ejemplo de estas 3 métricas con un modelo de predicción de correos electrónicos que son SPAM
F1-Score
Ratio que se utiliza para evaluar sistemas binarios, que clasifican ejemplos en "positivos" o "negativos". Es una forma de combinar la precisión y la sensibilidad con un solo valor, y se calcula como la media armónica de los dos valores.
F1 = 2 × (Precisión × Sensibilidad) ÷ (Precisión + Sensibilidad)
Esta métrica es de gran utilidad cuando la distribución de las clases es desigual. Un modelo perfecto tiene un F1-Score = 1
AUC - Área bajo la curva ROC
La curva ROC muestra el desempeño de un clasificador binario con diferentes umbrales de decisión. Traza la tasa de verdaderos positivos (TPR) frente a la tasa de falsos positivos (FPR).
El ratio AUC es el área que está bajo la curva ROC. Indica lo bien que un modelo puede generar scorings para discriminar entre instancias positivas o negativas en todos los umbrales de clasificación
El ratio AUC está entre 0 y 1 , donde 0,5 indica conjeturas aleatorias, y 1 indica rendimiento perfecto. Cuanto más alto y cercano a 1 es este ratio, mejor es el rendimiento
Matriz de Confusión
Es una tabla que resume el rendimiento de un modelo mostrando todas las predicciones correctas y falsas comparadas con los datos reales. Muestra el número de verdaderos positivos (TP), verdaderos negativos (TN), falsos positivos (FP) y falsos negativos (FN) de las predicciones.
El siguiente gráfico muestra la matriz de confusión para el ejemplo del modelo de predicción de spam mencionado anteriormente:
La elección de la métrica adecuada depende del tipo de problema que el modelo de IA está tratando de resolver y de la naturaleza del conjunto de datos con el que está trabajando. Por ejemplo:
en aplicaciones donde los falsos positivos son críticos, se pondrá énfasis en la precisión
en situaciones donde los falsos negativos son más perjudiciales, la sensibilidad se convierte en la métrica más relevante
Evaluación y Mejora continua
El dinamismo de los mercados y continua evolución de la tecnología hace muy recomendable que las empresas establezcan un marco de referencia para evaluar con precisión el impacto de sus iniciativas y conseguir crear una cultura corporativa de innovación y mejora continua. Es un factos clave para conseguir el éxito en estos proyectos.
En este marco de referencia hay 3 aspectos clave a tener en cuenta:
Medir continuamente los avances conseguidos y ajustar las estrategias de negocio y de IA en consecuencia. Mejorar iterativamente los modelos y procesos, a medida que evolucionan tanto la organización como el entorno y las circunstancias en las que se opera.
Evaluar continuamente nuevas tecnologías, herramientas y modelos a medida que estén disponibles con el paso del tiempo. La revolución de la IA acaba de empezar, y las herramientas disponibles mañana harán que las herramientas de hoy parezcan juguetes para niños. No olvidar medir y evaluar las ganancias de eficiencia que se pueden lograr al cambiar a herramientas nuevas y actualizadas, junto con los costes y retos que supone la actualización.
Fomentar procesos para compartir los resultados de las evaluaciones. Garantizar que todas las partes interesadas se mantengan informadas sobre los éxitos obtenidos y sobre posibles fracasos. Esta información abierta y transparente es:
- Vital para generar confianza y fomentar la aceptación.
- Muy importante para el desarrollo de la cultura corporativa de innovación que se necesita para que los proyectos arraiguen
Commentaires