Qué debe entregar una auditoría técnica de IA

Definir qué decisión debe permitir

Acordar el sistema, usuarios, datos y escenarios que se revisarán. Un piloto documental y un agente que ejecuta acciones exigen pruebas diferentes.

Separar resultados de suposiciones

Registrar los casos probados, las fuentes, los permisos y los errores observados. Indicar cómo se preparó la muestra y qué quedó fuera.

Si no se ha probado el comportamiento con carga o datos reales, esa limitación debe verse en el informe.

Priorizar el siguiente paso

Una conclusión accionable distingue problemas que impiden continuar, mejoras convenientes y decisiones pendientes del responsable. Puede recomendar seguir, acotar o detener el trabajo; no tiene por qué vender una reconstrucción.

Un índice de informe que se puede revisar

Un informe técnico debería permitir a otra persona reconstruir la lógica de la conclusión: objetivo y alcance; datos y versiones usados; criterios acordados; pruebas ejecutadas con resultados; fallos observados y severidad justificada; limitaciones; opciones de remediación; y decisión recomendada con condiciones. Si faltó acceso a producción o a usuarios reales, debe aparecer como límite, no esconderse en una nota al pie.

Por ejemplo, para un asistente interno, una muestra puede incluir respuestas correctas con cita, preguntas sin fuente y cruces de permisos entre roles. No hacen falta números decorativos: interesan ejemplos reproducibles y el impacto de cada fallo en la tarea. La empresa responsable conserva la decisión de aceptar o no el riesgo.

Empezar por decisiones, no por un catálogo de herramientas

Enumera los procesos candidatos, quién responde por cada uno y qué ocurre si la salida es incorrecta. Ordénalos por valor esperado, preparación de los datos y riesgo operativo. Deja por escrito por qué se aplaza un caso atractivo. Un taller que acaba con veinte ideas, pero sin prioridad ni criterio para detenerse, aún no ha reducido la incertidumbre.

Dibujar las restricciones antes de elegir arquitectura

La revisión debe identificar categorías de datos, personas autorizadas, lugares de tratamiento permitidos, integraciones, condiciones de contratación y equipo que operaría un piloto. Compara unas pocas opciones viables —API externa, flujo híbrido o entorno propio— con la misma tarea y frontera de datos. El informe debe explicar qué requisito descarta una opción y qué supuesto queda por confirmar con especialistas. Un diagrama por sí solo no resuelve esas preguntas.

Definir un piloto que otro equipo pueda valorar

Un encargo comprobable indica usuarios, colecciones documentales, acciones permitidas y un conjunto pequeño de pruebas representativas. Aclara qué sería éxito o fallo para esa tarea, qué debe revisar una persona y qué condición detendría o acotaría el piloto. Para un asistente documental, incluye una pregunta con respuesta y fuente, otra sin respuesta respaldada y otra cuya fuente no debe ver un rol distinto. Son categorías de prueba ilustrativas, no resultados de un trabajo de Hesperia.

Examinar la evidencia de la recomendación

Comprueba que el informe separa resultados observados de hipótesis, versiones y datos de prueba; que los fallos se pueden reproducir; y que el responsable podría repetir las comprobaciones decisivas. La conclusión puede ser seguir, reparar una fuente, hacer un experimento más pequeño o parar. Cada opción debe indicar qué información cambiaría la decisión. Si no se probó carga parecida a producción, requisitos legales o uso con personas reales, la conclusión no puede insinuarlo.

Compara el servicio de auditoría técnica con el checklist de preparación para IA privada: el primero revisa un sistema existente; el segundo ayuda a decidir si un caso está listo para probarse.