Lecciones al diseñar RAG privado

Versiones y permisos antes que vectores

Relaciona cada fragmento con el documento, versión y reglas de acceso de origen. Diseña cómo se actualiza o elimina sin dejar copias accesibles.

Probar estrategias con preguntas reales

La búsqueda semántica, léxica o híbrida puede rendir distinto según nombres propios, códigos y lenguaje técnico. Compara métodos con un conjunto autorizado de preguntas y fuentes esperadas.

Citas, abstención y errores

Evalúa si la respuesta cita material suficiente, si se abstiene cuando falta evidencia y si respeta perfiles de acceso. Mide tiempo y coste con la carga prevista, no con una sola consulta.

Qué anotar en una comparación

Prepara un conjunto de preguntas que incluya nombres exactos, términos con varias acepciones y cambios de versión. Para cada método de búsqueda, conserva el identificador de los fragmentos recuperados y compara si aparece la fuente correcta antes de evaluar el texto generado. Así puedes separar un fallo de recuperación de un fallo de redacción del modelo.

Repite la prueba con usuarios que tengan permisos distintos y con un documento retirado. Observa si el índice conserva copias accesibles o resultados de caché. Un buen resultado global puede ocultar un solo fallo de acceso grave; no reduzcas esa decisión a una media de respuestas correctas.

Despliegue y capacidad

Si la recuperación y el modelo generativo se ejecutan en un entorno propio, dimensiona ambos por separado. Una prueba con un usuario no muestra qué ocurre cuando varias personas hacen preguntas largas a la vez. Observa memoria, colas, tiempo de respuesta y tamaño del índice; define copias y restauración de documentos y metadatos. Separar servicios puede facilitar cambios de modelo o de índice, pero añade operación. La decisión depende del volumen y del equipo que mantendrá el sistema.

Registro de selección, no lista de proveedores

Para comparar una base de búsqueda o un modelo de embeddings, registra el mismo corpus autorizado, las mismas preguntas y la misma configuración de acceso. Anota para cada alternativa: documentos correctos entre los primeros resultados, rendimiento en nombres exactos, tamaño del índice, tiempo de actualización y borrado, coste de operación y método de copia/restauración. No cambies varios componentes a la vez si necesitas atribuir una mejora. La guía de recuperación de Microsoft muestra por qué conviene evaluar la búsqueda antes de juzgar la respuesta final.

Un documento recuperado también puede contener instrucciones maliciosas dirigidas al asistente. En una prueba controlada, coloca una instrucción ficticia dentro de una fuente de menor confianza y comprueba que el sistema la trata como dato, no como una orden de revelar documentos o ejecutar acciones. Esta es una amenaza distinta del fallo de relevancia; OWASP documenta la inyección de instrucciones en aplicaciones con LLM. La prueba no demuestra seguridad completa: delimita un comportamiento que debe volver a comprobarse tras cambios.

La guía de arquitectura RAG desarrolla la preparación de fuentes y una matriz de aceptación sintética. Esta pieza se centra en cómo seleccionar y operar componentes una vez que ya existe un caso documental definido.