Suíte de avaliação explicada para a Qualidade

Como provar que uma mudança na IA não piorou o dossiê? Como num ensaio de CQ: padrão de referência, critério de aceitação prévio e resultado registrado.

Quem trabalha com Garantia da Qualidade tem uma pergunta pronta para qualquer sistema que toque um processo regulado: como você sabe que ele continua funcionando depois de uma mudança? Para um método analítico, a resposta é conhecida. Para um sistema de inteligência artificial, a resposta costuma ser vaga: "testamos", "parece melhor", "os usuários gostaram".

Na Bloom, a resposta tem nome: suíte de avaliação.

O que é uma suíte de avaliação

Uma suíte de avaliação compara a saída de um sistema, de forma sistemática e repetível, com um resultado esperado. A lógica é a de um ensaio de controle de qualidade:

existe um padrão de referência;
existe um critério de aceitação, definido antes do ensaio;
o resultado fica registrado.

Se essa estrutura soa familiar, é porque é a mesma que a sua área exige de um processo validado.

Contra o que a saída é comparada

Uma seção redigida pela plataforma é comparada com três tipos de referência:

Dossiês já aprovados. Casos reais que passaram pela Anvisa, com desfecho regulatório conhecido. É a referência mais exigente disponível.
Gabaritos de especialistas. Respostas corretas construídas à mão para casos de teste, incluindo os difíceis e as armadilhas conhecidas de cada seção.
Critérios por seção. Campos obrigatórios presentes, formato exigido respeitado, citação da fonte em cada afirmação.

Quem julga não redigiu

A avaliação é feita por um segundo agente, que recebe a seção produzida, os documentos de origem e os critérios daquela seção, e responde a perguntas objetivas:

Cada afirmação está sustentada pelo trecho citado?
Os campos obrigatórios foram preenchidos?
A seção contradiz outra parte do mesmo dossiê?
O formato e a terminologia seguem o exigido pela Anvisa?
Unidades, datas e identificadores estão consistentes?
O que foi marcado como não aplicável tem justificativa?

A separação entre quem redige e quem julga é deliberada. Um mesmo agente tende a aceitar o próprio raciocínio, do mesmo jeito que ninguém revisa bem o próprio relatório.

Controle de mudanças

Aqui está a parte que mais interessa à Qualidade. O conjunto de referência é fixo e cresce a cada caso novo. Quando algo muda na plataforma, seja um modelo, uma instrução ou uma regra, o conjunto inteiro é reprocessado e as saídas são comparadas com as aprovadas.

Se uma seção que vinha correta passa a divergir, a mudança fica retida até a causa ser entendida. Nenhuma mudança entra em produção porque pareceu melhor em um caso isolado.

É a diferença entre "o novo modelo parece bom" e "o novo modelo foi reprocessado contra todo o conjunto de referência e nenhuma seção aprovada regrediu".

E depois da suíte de avaliação

A suíte de avaliação não substitui a pessoa. Ela existe para que o especialista regulatório receba um material já consistente e gaste o tempo dele no que exige julgamento. O parecer de cada agente avaliador fica registrado ao lado da seção, e nenhum dossiê é entregue sem a aprovação e a assinatura de um especialista.

Se a sua área quiser conhecer o método em detalhe, ou precisar enviar um questionário de qualificação de fornecedor, escreva para a nossa equipe. A descrição completa está na página Validação e exatidão dos dossiês.