La paradoja de la IA: el 97% de los usuarios corrige a los sistemas por falta de transparencia

La adopción corporativa de la Inteligencia Artificial (IA) enfrenta un nuevo desafío donde la velocidad de la tecnología choca con la necesidad de certeza.

Según el segundo informe anual Data and AI Impact Report: The New Economics of Trust, elaborado por IDC y patrocinado por SAS, el 97,2% de los usuarios anula o corrige las recomendaciones generadas por IA en al menos algunas ocasiones, principalmente debido a que las plataformas no logran explicar con claridad el origen de sus resultados.

La trampa de la falta de explicabilidad

Cuando un sistema entrega respuestas que los usuarios no logran comprender o verificar de forma directa, se activa la necesidad de revisiones manuales constantes.

Este escenario genera una paradoja operativa: herramientas que nacieron para agilizar y automatizar procesos terminan consumiendo más tiempo del esperado, restando valor a la inversión tecnológica inicial.

Para contrarrestar esta brecha, el estudio subraya que las organizaciones deben priorizar cuatro pilares fundamentales:

• Explicabilidad: Claridad en el razonamiento de los algoritmos.

• Calidad de los datos: Bases sólidas y optimizadas para alimentar los modelos.

• Gobernanza: Marcos normativos y de control claros.

• Auditabilidad: Capacidad de rastrear y evaluar las decisiones automatizadas.

El reto de la autonomía y la IA agéntica

La necesidad de supervisión cobra aún más relevancia ante la llegada de la IA agéntica, sistemas diseñados para operar con mayores cuotas de autonomía y ejecutar tareas sin una intervención humana constante.

Mientras que la confianza de los usuarios en la IA generativa tradicional se sitúa en un 76%, esta cae al 66% cuando se trata de agentes autónomos. El informe advierte que estas tecnologías avanzadas pueden registrar tasas de error superiores al 25% en tareas complejas, cifras difíciles de asumir en entornos empresariales críticos.

"Cuando la IA funciona, su impacto es extraordinario. Sin embargo, los agentes de IA más avanzados pueden tener tasas de error superiores al 25% en tareas complejas, lo cual es inaceptable en entornos críticos. Para lograr precisión, las organizaciones deben incorporar conocimiento del dominio de negocios manteniendo a los humanos en el centro de la gobernanza", destaca Bryan Harris, CTO de SAS.

El impacto en el negocio: datos, confianza y rentabilidad

Superar la barrera de la desconfianza no solo aporta tranquilidad operativa, sino que impacta directamente en la rentabilidad. De acuerdo con la investigación, las empresas que aplican prácticas consolidadas de IA confiable tienen 15 veces más probabilidades de reportar un ROI alto (alcanzando un 62%), en contraste con apenas un 4% registrado por las compañías rezagadas.

Sin embargo, el camino hacia la madurez tecnológica enfrenta un obstáculo estructural en la infraestructura de datos: solo el 17,5% de las empresas cuenta con una base de datos completamente optimizada para las exigencias de la IA agéntica. En contraste, aquellas organizaciones que sí disponen de una infraestructura de datos madura multiplican por cuatro sus expectativas de obtener un retorno de inversión elevado y exigen con mayor rigor controles de calidad y explicabilidad.

De este modo, a medida que la Inteligencia Artificial evoluciona hacia sistemas más autónomos, el desafío corporativo deja de centrarse exclusivamente en las capacidades técnicas de las herramientas para enfocarse en la construcción de ecosistemas donde la gobernanza y la supervisión humana garanticen una confianza real.