Un modelo de IA sabe mucho del mundo en general y nada de tu empresa en particular. No conoce tus precios, tus políticas de devolución, tus procedimientos internos ni los contratos de tus clientes. Si le preguntas por ellos, en el mejor caso te dirá que no sabe; en el peor, inventará una respuesta plausible.
Para que un asistente responda con tu conocimiento real hay que entregárselo. Hoy existen dos caminos principales, y elegir bien entre ellos define buena parte del costo, la calidad y el mantenimiento del proyecto.
El problema de fondo
Los modelos se entrenan con grandes volúmenes de información pública hasta una fecha de corte. Tus documentos internos no están ahí, y aunque lo estuvieran, cambian: los precios se actualizan, las políticas se corrigen, los productos se descontinúan.
La solución no es “enseñarle” al modelo de forma permanente, sino darle la información relevante en el momento en que tiene que responder. La pregunta es cómo.
Camino 1: contexto largo
La opción más directa es poner los documentos completos dentro de la solicitud al modelo, junto con la pregunta. Las ventanas de contexto (la cantidad de texto que un modelo puede considerar de una vez) han crecido enormemente: algunos modelos ya admiten hasta un millón de tokens, el equivalente a varios libros.
Ventajas:
- Es simple: no hay que construir índices ni infraestructura adicional.
- El modelo ve todo el documento, con su estructura y su contexto completo.
- Funciona muy bien para preguntas que requieren relacionar partes distantes de un mismo documento.
Límites:
- Pagas por todo, en cada pregunta. Si cargas un manual completo para responder una consulta de una línea, pagas por procesar el manual completo. La caché de prompts que ofrecen varios proveedores reduce mucho ese costo cuando el contenido se repite, pero no lo elimina.
- Más contexto no siempre es mejor. Un estudio conocido, “Lost in the Middle”, mostró que los modelos tienden a aprovechar mejor la información ubicada al principio o al final de un texto largo que la que queda en medio. La propia documentación de Anthropic advierte que, a medida que crece el contexto, la precisión puede degradarse.
- No escala a miles de documentos. Por grande que sea la ventana, tiene un límite.
- Permisos. Si todo va en el contexto, es difícil que cada usuario vea solo lo que le corresponde.
Camino 2: RAG (generación aumentada por recuperación)
RAG funciona como un buen bibliotecario. Antes de responder, el sistema busca en tu base de conocimiento los fragmentos más relevantes para esa pregunta específica y se los entrega al modelo, que responde basándose en ellos.
En la práctica: los documentos se dividen en fragmentos, se indexan (normalmente con búsqueda semántica, que entiende significado y no solo palabras exactas) y, en cada consulta, se recuperan los fragmentos más pertinentes.
Ventajas:
- Escala a volúmenes grandes de documentación.
- Cada consulta procesa solo lo necesario, por lo que el costo por respuesta es menor.
- Actualizar es simple: cambias un documento y se reindexa.
- Permite filtrar por permisos: cada usuario solo recupera lo que puede ver.
- Facilita citar fuentes, para que el usuario verifique de dónde salió la respuesta.
Límites: la calidad depende casi por completo de la recuperación. Si el sistema no encuentra el fragmento correcto, el modelo responde con información incompleta o equivocada, por muy bueno que sea.
Lo que más influye en la calidad de un RAG
- Fuentes limpias: sin versiones duplicadas ni documentos obsoletos que contradigan a los vigentes.
- Buena división de fragmentos: que cada fragmento conserve su contexto (a qué documento y sección pertenece).
- Búsqueda híbrida: combinar búsqueda semántica con búsqueda por palabras clave, útil para códigos de producto o nombres propios.
- Reordenamiento: un segundo filtro que prioriza los fragmentos realmente útiles.
- Metadatos: fecha, área, producto o tipo de cliente, para filtrar antes de buscar.
Cómo elegir entre ambos
Algunas preguntas que ordenan la decisión:
- ¿Cuánto conocimiento es? Un reglamento de 40 páginas y un archivo de diez mil documentos no se resuelven igual.
- ¿Cada cuánto cambia? Si cambia a diario, necesitas una forma ágil de actualizar.
- ¿Hay información con distintos niveles de acceso? Si la hay, RAG con filtros es casi obligatorio.
- ¿Cuántas consultas habrá? Con volúmenes altos, la diferencia de costo por consulta se vuelve importante.
- ¿Necesitas citar la fuente? RAG lo hace natural.
Como regla general: conocimiento acotado y estable, contexto largo con caché. Conocimiento extenso, cambiante o con permisos, RAG. Y muchas veces la mejor respuesta es híbrida: RAG para encontrar los documentos correctos y contexto largo para que el modelo los lea completos.
¿Y el fine-tuning?
Es una duda frecuente. El fine-tuning (reentrenar un modelo con tus ejemplos) sirve para ajustar comportamiento: un formato de salida, un estilo, una tarea de clasificación muy específica. No es una buena forma de cargar información que cambia, porque cada actualización exigiría reentrenar. Para conocimiento, RAG o contexto largo son el camino habitual.
Antes de construir: ordena tu conocimiento
La mejora más grande en un proyecto de este tipo muchas veces no es técnica. Es descubrir que existen tres versiones del mismo protocolo, que la lista de precios del PDF no coincide con la del sistema o que la respuesta a la pregunta más frecuente no está escrita en ninguna parte.
Un asistente con IA es tan bueno como el conocimiento que le entregas. Por eso, cuando construimos asistentes con el conocimiento de tu negocio o incorporamos IA integrada en tu sitio o sistema, la primera etapa es revisar y ordenar las fuentes, y recién después elegir la arquitectura.
Elegir entre RAG y contexto largo es una decisión técnica con consecuencias de negocio: costo por consulta, velocidad de actualización y confianza en las respuestas. Vale la pena tomarla con datos, probando con preguntas reales de tus clientes y tu equipo.
