El imprescindible ‘crash test’ para el aterrizaje de la IA

La inteligencia artificial ha irrumpido como un ciclón en el corazón de las empresas con la promesa de optimizar procesos y mejorar la toma de decisiones. Sin embargo, antes de su despliegue resulta decisivo que las compañías (y especialmente las que operan en ámbitos críticos) hagan un análisis para cazar errores y resolverlos antes de que sea tarde. La urgencia por adoptar esta tecnología genera el riesgo de que no se tomen las precauciones necesarias en un momento en el que la tensión entre velocidad y control no es solo una preocupación teórica. Un reciente informe de Galtea revela que el 30,5% de las evaluaciones realizadas a 1,2 millones de sistemas de inteligencia artificial en preproducción en empresas de sectores regulados en España detecta problemas de fiabilidad, es decir, no supera, al menos, un criterio fijado, bien sea por la desprotección de datos personales, la imprecisión de las respuestas, la existencia de sesgos…Según la consultora McKinsey, el 89% de las organizaciones a nivel mundial ya utiliza IA de forma regular en al menos una función de negocio, pero los expertos advierten de una brecha entre las grandes corporaciones y las pymes en lo que respecta a la incorporación de mecanismos de vigilancia previos. El tejido empresarial español avanza a dos velocidades. «Las firmas ‘AI Native’ están a la cabeza, junto con los sectores regulados, sobre todo banca, seguros y farma, mientras que hay bastantes pymes y compañías de midmarket que, por falta de recursos técnicos o económicos, no están implementando mecanismos de evaluación, validación y medición, poniendo sistemas en producción con cierta falta de control», lamenta Jorge Palomar, cofundador y CEO de Galtea, que aclara, eso sí, que «en estos casos, como el impacto que la IA tiene en el negocio es relativamente bajo, las consecuencias son contenidas».Para Jorge Valenzuela Jiménez, director asociado del máster en Inteligencia Artificial de la Universidad Internacional de La Rioja (UNIR), en España existe conocimiento y talento de sobra para hacer las cosas bien. «El problema es que a veces con las prisas por adoptar la IA y demostrar resultados, empezamos la casa por el tejado», comenta. Se refiere al hecho de centrarse en que la tecnología funcione dejando para después «cuestiones igual de importantes como la ciberseguridad, la gobernanza o la soberanía de nuestros datos. Y con la IA, además, aparecen nuevos riesgos de seguridad que no siempre estamos acostumbrados a gestionar». Por tanto, bajo su punto de vista, no es tanto una cuestión de falta de preparación como de encontrar el equilibrio entre innovar rápido y hacerlo con garantías.De lo contrario, las consecuencias pueden ser de calado, sobre todo cuando afectan a las personas. «Y no se trata solo de errores, también es posible que aparezcan sesgos o decisiones discriminatorias que no hemos sabido detectar. Al final, que una IA tenga una precisión elevada no significa necesariamente que sea justa o fiable», indica.La realización de controles previos marca las diferencias entre una inversión satisfactoria y un fracaso absoluto, sobre todo en campos determinantes para la sociedad como los servicios financieros, la asistencia sanitaria o las telecomunicaciones, donde cualquier incidencia puede tener efectos nefastos. El informe muestra que en el sector público la tasa de fallo en las evaluaciones es del 31,6%; en salud, del 29,3%; en transporte, del 17,4%; y en servicios financieros, del 16%. «El fallo no implica necesariamente un ‘gap’ crítico de seguridad, ya que las evaluaciones consideran diversas dimensiones, desde el grado de resiliencia a ataques maliciosos hasta aspectos menos trascendentes como si interactúa con el tono adecuado», señala Palomar, que incide en que, cuanto mayor es la autonomía de los sistemas, más importante se vuelve examinar su funcionamiento de extremo a extremo. «Lo que no se mide no se puede mejorar», recuerda.Según el informe de la firma, los agentes de IA presentan la mayor tasa de fallo, con un 46%, seguidos de los sistemas RAG (Retrieval-Augmented Generation), que registran un 42%. El experto expone que los primeros razonan y ejecutan acciones de manera autónoma , mientras que los segundos mejoran las respuestas de un modelo de lenguaje LLM conectándolo a conocimientos propietarios de la compañía. Como recoge el estudio, a medida que la IA deja de limitarse a responder preguntas y empieza a recuperar información, tomar decisiones, usar herramientas y ejecutar tareas, aumentan las formas en que puede equivocarse.Nuevos riesgos«Los agentes de IA suponen un cambio relevante que abre oportunidades para automatizar procesos más complejos, mejorar la productividad y llevar la IA a actividades de mayor valor, pero al mismo tiempo, introducen nuevos desafíos», valora Jesús Cuesta, director de IA responsable en Accenture. «Concederles mayores niveles de autonomía sin reforzar en la misma proporción un control visible conduce a la desconfianza y, en último término, al fracaso», advierte. Por ello, cree que la ventaja competitiva «estará cada vez menos en ser el primero en adoptar una determinada tecnología y más en ser capaz de integrarla correctamente en el negocio y escalarla de forma fiable». En este sentido, añade que las organizaciones que incorporen desde el diseño mecanismos de evaluación, seguridad, gobierno y monitorización podrán avanzar con mayor confianza desde pilotos hacia producción, reducir incidencias y extender la IA a procesos de mayor impacto.Ese es uno de los principales desafíos que afrontan las compañías. «La fiabilidad genera confianza, y la confianza es la base del éxito continuado de muchos negocios . No se trata solo de disponer de la tecnología, sino de generar en los clientes y en los profesionales la confianza necesaria para incorporarla en procesos relevantes y ampliar su uso», concluye Cuesta.Pero no basta solo con trabajar ex ante. Desde Galtea explican que tratar la evaluación como un control puntual antes de poner un sistema en producción deja parte del riesgo sin abordar. La evidencia sugiere que la evaluación debe formar parte de todo el ciclo de vida, tanto antes del lanzamiento, para comprobar que funciona como se espera; durante su uso, para detectar posibles regresiones; y de forma continua, para mantener actualizada la evidencia sobre su fiabilidad. Jorge Valenzuela, de la UNIR, lo justifica así: «En muchos casos, sobre todo en la IA generativa , el comportamiento de los sistemas no es completamente determinista y no podemos dar por hecho que, porque hoy funcionen bien, vayan a seguir haciéndolo dentro de seis meses. Los datos cambian, los modelos evolucionan y pueden aparecer errores o situaciones que antes no habíamos detectado». Eso sí, no tiene sentido exigir lo mismo a todos los sistemas. «Cuanto mayor sea el riesgo para las personas –dice–, mayor debería ser el nivel de supervisión».CondicionantesPero, como destaca el informe de Galtea, un buen rendimiento general no garantiza que el sistema se comporte de forma fiable en una aplicación concreta. La fiabilidad depende del sistema, de sus requisitos, de su contexto y de las condiciones en las que se evalúa. Jesús Cuesta, de Accenture, indica que una barrera entre las empresas es entender la fiabilidad como un problema exclusivamente del modelo. «En realidad, cuando una solución de IA se integra en un proceso de negocio, su comportamiento depende también de los datos que utiliza, las fuentes que consulta, las aplicaciones y herramientas con las que interactúa y los permisos que tiene asignados. Esto es más relevante con la llegada de los agentes de IA», detalla.Un segundo reto es que los riesgos no son iguales para todos los sistemas ni permanecen estáticos: «Deben evaluarse en función del caso de uso y mantenerse bajo control a medida que cambian los modelos, los datos o el propio proceso. Aquí confluyen aspectos de calidad y comportamiento de la IA con otros de privacidad, seguridad y ciberseguridad». Por último, existe un reto organizativo : conseguir que negocio, tecnología, riesgos, legal y ciberseguridad trabajen bajo un modelo común de gobierno y control durante todo el ciclo de vida. «Marcos como ISO/IEC 42001 para la gestión de la IA, ISO/IEC 27001 para la seguridad de la información o el enfoque basado en riesgos del EU AI Act ayudan precisamente a estructurar ese modelo», dice.El objetivo es lograr que las empresas midan de forma adecuada y con continuidad aquello que, hasta ahora, la mayoría simplemente daban por supuesto. La inteligencia artificial ha irrumpido como un ciclón en el corazón de las empresas con la promesa de optimizar procesos y mejorar la toma de decisiones. Sin embargo, antes de su despliegue resulta decisivo que las compañías (y especialmente las que operan en ámbitos críticos) hagan un análisis para cazar errores y resolverlos antes de que sea tarde. La urgencia por adoptar esta tecnología genera el riesgo de que no se tomen las precauciones necesarias en un momento en el que la tensión entre velocidad y control no es solo una preocupación teórica. Un reciente informe de Galtea revela que el 30,5% de las evaluaciones realizadas a 1,2 millones de sistemas de inteligencia artificial en preproducción en empresas de sectores regulados en España detecta problemas de fiabilidad, es decir, no supera, al menos, un criterio fijado, bien sea por la desprotección de datos personales, la imprecisión de las respuestas, la existencia de sesgos…Según la consultora McKinsey, el 89% de las organizaciones a nivel mundial ya utiliza IA de forma regular en al menos una función de negocio, pero los expertos advierten de una brecha entre las grandes corporaciones y las pymes en lo que respecta a la incorporación de mecanismos de vigilancia previos. El tejido empresarial español avanza a dos velocidades. «Las firmas ‘AI Native’ están a la cabeza, junto con los sectores regulados, sobre todo banca, seguros y farma, mientras que hay bastantes pymes y compañías de midmarket que, por falta de recursos técnicos o económicos, no están implementando mecanismos de evaluación, validación y medición, poniendo sistemas en producción con cierta falta de control», lamenta Jorge Palomar, cofundador y CEO de Galtea, que aclara, eso sí, que «en estos casos, como el impacto que la IA tiene en el negocio es relativamente bajo, las consecuencias son contenidas».Para Jorge Valenzuela Jiménez, director asociado del máster en Inteligencia Artificial de la Universidad Internacional de La Rioja (UNIR), en España existe conocimiento y talento de sobra para hacer las cosas bien. «El problema es que a veces con las prisas por adoptar la IA y demostrar resultados, empezamos la casa por el tejado», comenta. Se refiere al hecho de centrarse en que la tecnología funcione dejando para después «cuestiones igual de importantes como la ciberseguridad, la gobernanza o la soberanía de nuestros datos. Y con la IA, además, aparecen nuevos riesgos de seguridad que no siempre estamos acostumbrados a gestionar». Por tanto, bajo su punto de vista, no es tanto una cuestión de falta de preparación como de encontrar el equilibrio entre innovar rápido y hacerlo con garantías.De lo contrario, las consecuencias pueden ser de calado, sobre todo cuando afectan a las personas. «Y no se trata solo de errores, también es posible que aparezcan sesgos o decisiones discriminatorias que no hemos sabido detectar. Al final, que una IA tenga una precisión elevada no significa necesariamente que sea justa o fiable», indica.La realización de controles previos marca las diferencias entre una inversión satisfactoria y un fracaso absoluto, sobre todo en campos determinantes para la sociedad como los servicios financieros, la asistencia sanitaria o las telecomunicaciones, donde cualquier incidencia puede tener efectos nefastos. El informe muestra que en el sector público la tasa de fallo en las evaluaciones es del 31,6%; en salud, del 29,3%; en transporte, del 17,4%; y en servicios financieros, del 16%. «El fallo no implica necesariamente un ‘gap’ crítico de seguridad, ya que las evaluaciones consideran diversas dimensiones, desde el grado de resiliencia a ataques maliciosos hasta aspectos menos trascendentes como si interactúa con el tono adecuado», señala Palomar, que incide en que, cuanto mayor es la autonomía de los sistemas, más importante se vuelve examinar su funcionamiento de extremo a extremo. «Lo que no se mide no se puede mejorar», recuerda.Según el informe de la firma, los agentes de IA presentan la mayor tasa de fallo, con un 46%, seguidos de los sistemas RAG (Retrieval-Augmented Generation), que registran un 42%. El experto expone que los primeros razonan y ejecutan acciones de manera autónoma , mientras que los segundos mejoran las respuestas de un modelo de lenguaje LLM conectándolo a conocimientos propietarios de la compañía. Como recoge el estudio, a medida que la IA deja de limitarse a responder preguntas y empieza a recuperar información, tomar decisiones, usar herramientas y ejecutar tareas, aumentan las formas en que puede equivocarse.Nuevos riesgos«Los agentes de IA suponen un cambio relevante que abre oportunidades para automatizar procesos más complejos, mejorar la productividad y llevar la IA a actividades de mayor valor, pero al mismo tiempo, introducen nuevos desafíos», valora Jesús Cuesta, director de IA responsable en Accenture. «Concederles mayores niveles de autonomía sin reforzar en la misma proporción un control visible conduce a la desconfianza y, en último término, al fracaso», advierte. Por ello, cree que la ventaja competitiva «estará cada vez menos en ser el primero en adoptar una determinada tecnología y más en ser capaz de integrarla correctamente en el negocio y escalarla de forma fiable». En este sentido, añade que las organizaciones que incorporen desde el diseño mecanismos de evaluación, seguridad, gobierno y monitorización podrán avanzar con mayor confianza desde pilotos hacia producción, reducir incidencias y extender la IA a procesos de mayor impacto.Ese es uno de los principales desafíos que afrontan las compañías. «La fiabilidad genera confianza, y la confianza es la base del éxito continuado de muchos negocios . No se trata solo de disponer de la tecnología, sino de generar en los clientes y en los profesionales la confianza necesaria para incorporarla en procesos relevantes y ampliar su uso», concluye Cuesta.Pero no basta solo con trabajar ex ante. Desde Galtea explican que tratar la evaluación como un control puntual antes de poner un sistema en producción deja parte del riesgo sin abordar. La evidencia sugiere que la evaluación debe formar parte de todo el ciclo de vida, tanto antes del lanzamiento, para comprobar que funciona como se espera; durante su uso, para detectar posibles regresiones; y de forma continua, para mantener actualizada la evidencia sobre su fiabilidad. Jorge Valenzuela, de la UNIR, lo justifica así: «En muchos casos, sobre todo en la IA generativa , el comportamiento de los sistemas no es completamente determinista y no podemos dar por hecho que, porque hoy funcionen bien, vayan a seguir haciéndolo dentro de seis meses. Los datos cambian, los modelos evolucionan y pueden aparecer errores o situaciones que antes no habíamos detectado». Eso sí, no tiene sentido exigir lo mismo a todos los sistemas. «Cuanto mayor sea el riesgo para las personas –dice–, mayor debería ser el nivel de supervisión».CondicionantesPero, como destaca el informe de Galtea, un buen rendimiento general no garantiza que el sistema se comporte de forma fiable en una aplicación concreta. La fiabilidad depende del sistema, de sus requisitos, de su contexto y de las condiciones en las que se evalúa. Jesús Cuesta, de Accenture, indica que una barrera entre las empresas es entender la fiabilidad como un problema exclusivamente del modelo. «En realidad, cuando una solución de IA se integra en un proceso de negocio, su comportamiento depende también de los datos que utiliza, las fuentes que consulta, las aplicaciones y herramientas con las que interactúa y los permisos que tiene asignados. Esto es más relevante con la llegada de los agentes de IA», detalla.Un segundo reto es que los riesgos no son iguales para todos los sistemas ni permanecen estáticos: «Deben evaluarse en función del caso de uso y mantenerse bajo control a medida que cambian los modelos, los datos o el propio proceso. Aquí confluyen aspectos de calidad y comportamiento de la IA con otros de privacidad, seguridad y ciberseguridad». Por último, existe un reto organizativo : conseguir que negocio, tecnología, riesgos, legal y ciberseguridad trabajen bajo un modelo común de gobierno y control durante todo el ciclo de vida. «Marcos como ISO/IEC 42001 para la gestión de la IA, ISO/IEC 27001 para la seguridad de la información o el enfoque basado en riesgos del EU AI Act ayudan precisamente a estructurar ese modelo», dice.El objetivo es lograr que las empresas midan de forma adecuada y con continuidad aquello que, hasta ahora, la mayoría simplemente daban por supuesto.  

La inteligencia artificial ha irrumpido como un ciclón en el corazón de las empresas con la promesa de optimizar procesos y mejorar la toma de decisiones. Sin embargo, antes de su despliegue resulta decisivo que las compañías (y especialmente las que operan en ámbitos críticos) … hagan un análisis para cazar errores y resolverlos antes de que sea tarde. La urgencia por adoptar esta tecnología genera el riesgo de que no se tomen las precauciones necesarias en un momento en el que la tensión entre velocidad y control no es solo una preocupación teórica. Un reciente informe de Galtea revela que el 30,5% de las evaluaciones realizadas a 1,2 millones de sistemas de inteligencia artificial en preproducción en empresas de sectores regulados en España detecta problemas de fiabilidad, es decir, no supera, al menos, un criterio fijado, bien sea por la desprotección de datos personales, la imprecisión de las respuestas, la existencia de sesgos…

 RSS de noticias de economia