How AI evaluates controls

Quando a IA é acionada

A IA entra no processo de avaliação em dois momentos específicos: quando o respondente marca um controle como PARCIAL e quando marca como NA (Não Aplicável). Respostas SIM e NÃO não requerem validação — são aceitas diretamente. PARCIAL e NA obrigam o preenchimento de um comentário justificando a escolha, e esse comentário é submetido à validação do modelo de IA antes de ser aceito.

O papel do Claude Haiku

O modelo utilizado para validação de respostas é o Claude Haiku — escolhido por sua velocidade e baixo custo em operações de classificação. A validação é uma tarefa simples: o modelo recebe o identificador do controle, sua descrição, o tipo de resposta (PARCIAL ou NA) e o comentário do respondente, e deve determinar se o comentário é coerente e suficientemente justificado para aquele controle específico.

O contexto de contratação é incluído no prompt — o modelo considera o perfil do fornecedor (P1/P2/P3) e o setor da organização contratante para calibrar a avaliação. Um comentário de NA para um controle de threat intelligence é muito mais aceitável para um fornecedor P1 de baixa criticidade do que para um fornecedor P3 de infraestrutura crítica.

Resultado da validação

A validação retorna dois resultados possíveis. Se aprovada, a resposta é salva com ai_validation_status = 'approved' e o peso correspondente é aplicado no scoring: PARCIAL aprovado recebe score_weight = 0,5; NA aprovado é excluído do denominador. Se rejeitada, a resposta é bloqueada — o respondente vê o motivo da rejeição e precisa revisar o comentário ou alterar a resposta para SIM ou NÃO.

Não existe conversão automática de PARCIAL rejeitado para NÃO. A decisão pertence ao respondente, que deve reescrever a justificativa ou reconhecer que a implementação não atende ao controle. Esse design evita que respostas ambíguas sejam sistematicamente sub-avaliadas sem intervenção humana.

O que torna um comentário válido

Para PARCIAL: o comentário deve descrever qual parte do controle está implementada e qual está em lacuna ou em andamento. Justificativas genéricas como ‘estamos trabalhando nisso’ sem detalhes tendem a ser rejeitadas. Para NA: o comentário deve explicar por que o controle não se aplica ao contexto específico do fornecedor (ex: ‘Somos fornecedor de software SaaS e não operamos sistemas OT/ICS’). Justificativas que contradigam o escopo do contrato ou o perfil declarado são rejeitadas.

Geração de relatórios com IA

Além da validação de respostas, a IA também é responsável pela geração do relatório narrativo ao final de cada avaliação. Neste caso, um modelo mais capaz (Claude) é acionado para analisar os scores calculados e produzir um relatório com resumo executivo, análise dos pontos críticos, interpretação das 10 categorias de risco e recomendações priorizadas. A geração de relatórios consome significativamente mais tokens do que as validações individuais.