RAG que responde bien, y sabe cuándo callarse

RAG significa Retrieval-Augmented Generation: generación aumentada por recuperación. En vez de pedirle al modelo que responda de memoria, el sistema busca primero en la información de la empresa, selecciona los fragmentos relevantes y le pide al modelo que redacte usando solo eso. ChatGPT por su cuenta no conoce esos precios ni esas políticas: ante la pregunta responde genérico o directamente inventa. Con RAG la respuesta viene de la documentación propia y se puede verificar porque cita la fuente.

Casi siempre RAG, y la razón es práctica: la información cambia. Afinar un modelo lo enseña a hablar de cierta forma, no a memorizar datos actualizables — cuando cambian los precios habría que reentrenar. RAG separa el conocimiento del modelo, así que actualizar es reindexar. El afinado tiene sentido para tono, formato o dominios muy específicos, y a veces se combinan. Cuál corresponde queda definido en la primera llamada.

No hay un mínimo estricto, pero por debajo de unas veinte preguntas frecuentes con información que casi no cambia, un RAG es sobreingeniería: una plataforma de suscripción resuelve eso más barato. RAG empieza a rendir cuando el corpus es grande, cambia seguido, tiene muchas entidades parecidas entre sí, o cuando una respuesta equivocada tiene costo real.

PDF, Word, Excel, HTML, Markdown, texto plano, páginas web y bases de datos. También documentos escaneados mediante reconocimiento óptico. Lo que más trabajo da no es el formato sino la estructura: tablas, documentos con muchas secciones y catálogos con variantes requieren estrategias de fragmentación distintas, y eso se define mirando el corpus real, no por defecto.

Con cuatro cosas combinadas: restricciones de fundamento en el prompt de sistema, citación obligatoria del fragmento que respalda cada afirmación, negativa explícita cuando la búsqueda no devuelve nada relevante, y medición de fundamento sobre un conjunto de referencia para detectar cuándo el sistema empieza a alejarse de las fuentes. Ninguna de las cuatro sola alcanza.

Depende de qué tan rápido cambie la información. Para catálogos y precios solemos programar reindexación diaria o por evento; para políticas y documentación, semanal. Lo importante es que la ingesta sea reproducible y tenga alertas cuando una fuente lleva demasiado sin refrescarse, porque el modo de fallo más común no es que se rompa: es que quede vieja sin que nadie lo note.

Solo si el cliente lo decide. Podemos desplegar sobre Azure OpenAI o Amazon Bedrock dentro de su propia suscripción, con el almacén vectorial en su nube, de forma que la información nunca sale de ese perímetro. En cualquier configuración usamos planes empresariales donde los datos enviados por API no se usan para entrenar, y filtramos datos personales antes del envío.

El consumo del modelo más el almacén vectorial. Para una empresa mediana suele ubicarse entre 300.000 y 2.000.000 COP mensuales según volumen de consultas y tamaño del corpus. El enrutamiento de modelos —uno barato para clasificar y resumir, uno capaz para la respuesta final— y el recorte de contexto existen precisamente para mantener esa cifra predecible cuando el uso crece.