El problema no es solo que la IA se equivoque
Los wikis de videojuegos creados o ampliados con inteligencia artificial están llenándose de errores: personajes mal descritos, relaciones inventadas, mecánicas que no existen y datos mezclados entre entregas distintas. El resultado no es únicamente una colección de páginas de baja calidad. También se deteriora una capa de conocimiento que jugadores, creadores y comunidades utilizan para orientarse.
La lección relevante para una empresa no es que los modelos generativos cometan fallos. Eso ya es conocido. La cuestión es qué sucede cuando esos fallos adquieren una apariencia de autoridad, se replican en distintos canales y dejan de tener un responsable claro. Un texto plausible puede convertirse rápidamente en una referencia, alimentar otro sistema o entrar en un proceso operativo sin que nadie compruebe su origen.
En producción, el riesgo aparece cuando confundimos fluidez con fiabilidad. Una respuesta bien redactada no demuestra que el dato sea cierto, que esté actualizado o que sea aplicable al contexto de la empresa.
La contaminación del conocimiento es un riesgo sistémico
El contenido sintético incorrecto no permanece necesariamente en el lugar donde se generó. Puede indexarse en buscadores, incorporarse a bases de conocimiento, aparecer en resúmenes automáticos o utilizarse como contexto para un asistente interno. Cada transferencia añade una posibilidad de distorsión.
Esto crea un ciclo difícil de detectar:
- Un modelo genera una afirmación sin evidencia suficiente.
- Un usuario la publica o la incorpora a un repositorio compartido.
- Otro sistema interpreta ese repositorio como una fuente fiable.
- Las respuestas posteriores parecen consistentes porque repiten el mismo dato.
La consistencia, por tanto, tampoco equivale a verdad. Una organización puede tener múltiples aplicaciones repitiendo el mismo error y confundir esa repetición con validación. En ámbitos como soporte técnico, operaciones, legal, finanzas o salud, la consecuencia puede ser una mala decisión, una obligación incumplida o una pérdida de confianza difícil de revertir.
Qué debería significar “producción” para un sistema de IA
Poner un modelo detrás de una interfaz no es desplegar una capacidad empresarial. Un sistema de IA en producción necesita controles equivalentes a los de cualquier otro componente crítico: propietario, límites de uso, observabilidad, pruebas y un mecanismo para corregir incidentes.
Antes de automatizar una tarea basada en conocimiento, conviene clasificar las fuentes. No todas deben tener el mismo peso. Una documentación oficial vigente, una base de datos transaccional o un registro firmado no son equivalentes a una página comunitaria sin referencias. Esa jerarquía debe reflejarse técnicamente en la recuperación de información y en la respuesta final.
También hay que distinguir entre generar contenido y recuperar información. Si la aplicación responde sobre políticas internas o especificaciones de producto, el modelo debería trabajar con fuentes recuperadas, identificables y acotadas. Cuando no encuentre evidencia suficiente, debe poder decirlo. La negativa controlada es una función de calidad, no un fracaso de experiencia de usuario.
Controles concretos para reducir errores
Una empresa seria no puede revisar manualmente cada frase para siempre, pero sí puede diseñar puntos de control proporcionales al impacto:
- Proveniencia: conservar la fuente, fecha, versión y fragmento que respaldan cada afirmación relevante.
- Evaluaciones: crear conjuntos de preguntas reales, incluidos casos ambiguos y datos desactualizados, y medir precisión, cobertura y tasa de abstención.
- Revisión humana: exigir aprobación en decisiones de alto impacto o en contenido que pueda modificar contratos, operaciones o comunicaciones externas.
- Caducidad: asignar fechas de revisión a documentos y respuestas que dependan de información cambiante.
- Observabilidad: registrar consultas, fuentes utilizadas, respuestas, correcciones y patrones de fallo, respetando las obligaciones de privacidad.
- Gobierno de cambios: probar modelos, prompts, índices y conectores como cambios de software, no como ajustes invisibles.
Estas medidas no eliminan la incertidumbre. La hacen visible y gestionable. Además, permiten localizar si el problema está en los datos, en la recuperación, en las instrucciones, en el modelo o en la interfaz que presenta la respuesta.
La decisión ejecutiva: dónde no automatizar todavía
La presión por incorporar IA suele formularse como una pregunta de capacidad: qué puede hacer el modelo. La pregunta más útil es otra: qué error estamos dispuestos a aceptar y quién responderá cuando ocurra.
Para responderla, conviene empezar con casos reversibles y de bajo impacto. Un asistente que resume tickets para un agente puede tener controles distintos a uno que responde directamente a clientes o modifica registros. La autonomía debe aumentar solo cuando las métricas y los controles demuestren que el sistema se comporta de forma estable en condiciones reales, no solo en una demostración.
Los wikis contaminados por errores muestran el coste cultural de no separar popularidad de autoridad. En una empresa, ese mismo problema se convierte en deuda operativa: decisiones basadas en datos dudosos, equipos que dejan de confiar en sus herramientas y auditorías incapaces de reconstruir por qué se actuó de una determinada manera. La IA útil no es la que siempre responde. Es la que sabe cuándo responder, con qué evidencia y cuándo dejar la decisión en manos de una persona.