Guía para diseñar RAG local-first

Preparar documentos con trazabilidad

Inventaría formatos, versiones, propietarios y permisos. Mantén identificadores que permitan citar una sección y retirar un documento sin ambigüedad.

Comparar métodos, no asumir uno

Prueba fragmentación, búsqueda léxica y semántica sobre preguntas representativas. Conserva el contexto suficiente para interpretar una respuesta y aplica filtros de acceso antes de presentarla.

Definir cuándo debe abstenerse

Incluye preguntas con respuesta, sin respuesta y con documentos restringidos. Comprueba citas, vigencia, abstención y fallos por rol. Repite tras cambios en modelo, índice o fuentes.

Una prueba pequeña antes de ampliar

Usa documentos sintéticos o autorizados. Prepara una política pública para todo el equipo, una nota reservada para un rol y una pregunta cuya respuesta no figure en ninguna fuente. Escribe de antemano qué fragmento debería recuperarse y qué respuesta sería aceptable. Ejecuta las mismas preguntas con identidades distintas: la prueba falla si el rol sin permiso ve el texto reservado, aunque la respuesta final lo parafrasee en lugar de citarlo.

Registra versión de los documentos, configuración de recuperación, modelo y fecha. Si cambias la fragmentación o los embeddings, repite el conjunto; una mejora en una pregunta puede empeorar otra. El objetivo no es demostrar que el asistente «sabe» la documentación, sino conocer dónde acierta, se abstiene y rompe límites de acceso.

Fragmentación y búsqueda

Compara fragmentos por sección o párrafo con tamaños fijos sobre las mismas preguntas. Conserva título, versión y posición del texto; sin ese contexto una cita puede resultar imposible de verificar. Para identificadores exactos, nombres de proyecto o códigos, prueba búsqueda léxica además de la semántica. Si combinas ambas, ajusta pesos con el conjunto de evaluación, no con un número recomendado de forma universal.

Matriz ilustrativa de aceptación

Este ejemplo es sintético y no se ha ejecutado. Supón dos fuentes: P-1, política de viajes accesible a toda la plantilla, y R-2, nota de presupuesto visible sólo a finanzas. P-0 designa una política que no existe. La aplicación reconoce dos roles, plantilla y finanzas. Antes de probar, define qué fuente debe recuperar cada pregunta y qué salida se considera fallo.

Después, retira R-2 y repite: índice, caché y citas deben reflejar el cambio. Guarda por separado fuentes recuperadas, respuesta final y decisión de acceso; así se puede localizar si falla la búsqueda, la autorización o la generación. La guía de Microsoft sobre evaluación de recuperación y evaluación de respuestas distingue esas capas. Los umbrales concretos deben acordarse para la tarea, no heredarse de este ejemplo.