Evals, explicados para Aseguramiento de la Calidad
¿Cómo probar que un cambio en la IA no empeoró el dosier? Como un ensayo de CC: patrón de referencia, criterio previo y resultado registrado.
Quien trabaja en Aseguramiento de la Calidad tiene una pregunta lista para cualquier sistema que toque un proceso regulado: ¿cómo sabes que sigue funcionando después de un cambio? Para un método analítico, la respuesta es conocida. Para un sistema de inteligencia artificial, la respuesta suele ser vaga: "lo probamos", "parece mejor", "a los usuarios les gustó".
En Bloom, la respuesta tiene nombre: eval.
Qué es un eval
Un eval es la evaluación sistemática y repetible del resultado de un sistema contra un resultado esperado. La lógica es la de un ensayo de control de calidad:
- hay un patrón de referencia;
- hay un criterio de aceptación, definido antes del ensayo;
- el resultado queda registrado.
Si esa estructura te resulta familiar, es porque es la misma que tu área exige de un proceso validado.
Contra qué se compara el resultado
Una sección redactada por la plataforma se compara con tres tipos de referencia:
- Dosieres ya aprobados. Casos reales que pasaron por la Anvisa, con desenlace regulatorio conocido. Es la referencia más exigente disponible.
- Respuestas modelo de especialistas. Respuestas correctas construidas a mano para casos de prueba, incluidos los difíciles y las trampas conocidas de cada sección.
- Criterios por sección. Campos obligatorios presentes, formato exigido respetado, la fuente citada en cada afirmación.
Quien juzga no redactó
La evaluación la hace un segundo agente, que recibe la sección producida, los documentos de origen y los criterios de esa sección, y responde preguntas objetivas:
- ¿Cada afirmación está sustentada por el fragmento citado?
- ¿Están completos los campos obligatorios?
- ¿La sección contradice otra parte del mismo dosier?
- ¿El formato y la terminología siguen lo que exige la Anvisa?
- ¿Unidades, fechas e identificadores son consistentes?
- ¿Lo marcado como no aplicable tiene justificación?
Separar a quien redacta de quien juzga es deliberado. Un mismo agente tiende a aceptar su propio razonamiento, igual que nadie revisa bien su propio informe.
Control de cambios
Esta es la parte que más le interesa a Calidad. El conjunto de referencia es fijo y crece con cada caso nuevo. Cuando algo cambia en la plataforma, sea un modelo, una instrucción o una regla, todo el conjunto se reprocesa y los resultados se comparan con los aprobados.
Si una sección que venía correcta empieza a divergir, el cambio queda retenido hasta entender la causa. Ningún cambio entra en producción porque pareció mejor en un caso aislado.
Es la diferencia entre "el nuevo modelo parece bueno" y "el nuevo modelo se reprocesó contra todo el conjunto de referencia y ninguna sección aprobada retrocedió".
Y después del eval
El eval no reemplaza a la persona. Existe para que el especialista regulatorio reciba un material ya consistente y dedique su tiempo a lo que exige criterio. El dictamen de cada agente evaluador queda registrado junto a la sección, y ningún dosier se entrega sin la aprobación y la firma de un especialista.
Si tu área quiere conocer el método en detalle, o necesita enviar un cuestionario de calificación de proveedor, escribe a nuestro equipo. La descripción completa está en la página Validación y exactitud de los dosieres.