¿Qué son las alucinaciones de la IA y qué riesgos tienen?
Una alucinación ocurre cuando un sistema de IA genera una respuesta falsa o sin fundamento y la presenta con seguridad. Puede inventar un procedimiento, cambiar una condición o atribuirle a un documento algo que no dice.
La guía de la Junta de Andalucía sobre IA generativa incluye ejemplos de plazos incorrectos y referencias normativas inexistentes. También advierte que la configuración y el ajuste no eliminan por completo el riesgo.
En una empresa, el daño depende de dónde termine la respuesta. Un borrador interno puede corregirse antes de salir. Una respuesta enviada a un cliente puede prometer un descuento inexistente; una acción automática podría registrar datos equivocados en un sistema.
Una respuesta puede sonar razonable y seguir siendo incorrecta. Por eso revisamos tanto el contenido como la fuente que debería respaldarlo. Cuando la IA consulta cifras empresariales, conviene separar este riesgo de los problemas de cálculo que explicamos en por qué la IA da números equivocados.
¿Cómo puedes reducir las alucinaciones de la IA en la empresa?
El control empieza antes de publicar el sistema. Este procedimiento permite comparar cambios sin depender de una impresión general.
- Elige los casos de mayor riesgo. Identifica las respuestas que pueden afectar dinero, condiciones comerciales o decisiones sobre personas. Define qué puede responder el sistema y qué debe pasar a revisión. Si puede ejecutar acciones, decide cuáles necesitan autorización.
- Prepara preguntas y respuestas de referencia. Reúne preguntas reales de clientes o empleados. Incluye consultas con respuesta clara, preguntas sin respuesta en las fuentes, documentos contradictorios y solicitudes ambiguas. Para cada caso, registra la respuesta esperada o la abstención esperada y la fuente aprobada.
- Mide el resultado inicial. Ejecuta las preguntas con la configuración actual y conserva las respuestas. Clasifica cada caso como respuesta correcta, error, abstención justificada o abstención innecesaria. Una respuesta incompleta o con una condición inventada cuenta como error.
- Cambia los controles y vuelve a probar. Puedes mejorar los documentos, ajustar la búsqueda o exigir que el sistema se abstenga sin respaldo. Repite la prueba con las mismas preguntas y condiciones. Reserva además preguntas que no hayas usado para ajustar el sistema, y pruébalas antes de publicarlo.
- Compara y decide. Para cada categoría, divide el número de casos por el total evaluado. Compara las cuatro medidas antes y después, y revisa por separado los casos de mayor riesgo. Define de antemano qué resultados acepta el equipo responsable y qué errores impiden publicar.
¿Cómo verificas las fuentes antes de responder?
Un sistema de generación aumentada por recuperación, conocido como RAG, busca información antes de redactar una respuesta. La documentación de Google Cloud sobre RAG propone evaluar tanto los fragmentos recuperados como el texto generado. Tener documentos disponibles no garantiza que el sistema encuentre el fragmento correcto ni que lo interprete bien.
Primero revisamos si la búsqueda encontró una fuente vigente y autorizada. Después comprobamos que cada condición de la respuesta aparezca en esa fuente. Una cita visible ayuda a revisar, pero no demuestra por sí sola que el texto citado respalde la respuesta.
La biblioteca de evaluación de Microsoft recomienda contrastar cifras, fechas, nombres y condiciones. También advierte que una frase plausible puede añadir información que el documento no respalda.
En un caso ilustrativo, un cliente pregunta por el descuento de una factura vencida. El sistema consulta la política aprobada, pero encuentra documentos con condiciones contradictorias. En vez de prometer el descuento, informa que no puede confirmarlo y deriva la consulta al equipo de cartera.
El resultado esperado es una derivación con la pregunta y los documentos encontrados, no una respuesta inventada. Si existe una política vigente y clara, el sistema puede proponer una respuesta respaldada por el fragmento correspondiente. El equipo decide si hace falta revisarla antes de enviarla.
¿Qué opción te conviene para controlar las respuestas?
La elección depende de la tarea y de los controles que puedas aplicar a la herramienta.
| Opción | Cuándo conviene | Qué revisar |
|---|---|---|
| Respuesta aprobada sin IA | Las preguntas tienen respuestas fijas. | Responsable y vigencia del contenido. |
| Función de tu herramienta | Ya consultas documentos desde la plataforma que usas. | Fuentes admitidas, citas y posibilidad de evaluar. |
| Plataforma de automatización | Necesitas conectar consultas con un flujo de revisión. | Permisos, derivación y registro de errores. |
| Desarrollo a la medida | Necesitas controles específicos o conexiones complejas. | Pruebas, mantenimiento y límites de actuación. |
El costo y el plazo dependen de la calidad de las fuentes, las conexiones necesarias y el nivel de revisión. También influyen los permisos y el trabajo de evaluación. Si una herramienta no permite probar o limitar lo que hace, considera otra opción.
¿Qué controles necesitas después de publicar?
La evaluación inicial sirve como punto de comparación. Los documentos y las preguntas cambian, así que el equipo debe seguir revisando.
- Fuentes con responsables: asigna a alguien la aprobación y actualización de cada documento. Retira las versiones vencidas de la búsqueda.
- Registro revisable: conserva la consulta, la respuesta y las fuentes usadas, con acceso limitado a quienes deban revisarlas. Evita guardar datos personales que no necesites.
- Ruta de abstención: define a qué equipo llega una pregunta sin respaldo o con fuentes contradictorias. El cliente debe saber que la respuesta quedó pendiente.
- Acciones limitadas: separa proponer una acción de ejecutarla. Para cambios sensibles, exige aprobación y verifica los datos en el sistema correspondiente.
- Pruebas periódicas: incorpora errores detectados y repite la evaluación cuando cambien el modelo, los documentos o la conexión con otros sistemas. Si el sistema falla, suspende la función afectada y vuelve a una respuesta aprobada o a revisión humana.