Orange AI Lab

Gestão e tecnologia · Para quem já usa IA

Atualizou a IA da empresa? Confira se ela continua acertando

Aprenda a comparar versões de uma IA com os mesmos exemplos e critérios, para identificar regressões antes de mudar o atendimento da sua PME.

Dois conjuntos de respostas de IA comparados com os mesmos cartões de teste, com uma omissão destacada em laranja.

Você ajusta a instrução da IA para deixar as respostas mais curtas. Na demonstração, tudo parece melhor. Mas ela continua explicando as condições importantes? Para uma PME que já usa IA, cada mudança precisa de uma comparação com o que funcionava antes. Este guia propõe um roteiro para identificar regressões: situações em que uma atualização faz o sistema perder um comportamento que a equipe precisava preservar.

01

A pergunta depois da atualização

A Anthropic distingue avaliações de capacidade, que investigam o que um agente consegue fazer, de avaliações de regressão, que verificam se ele continua resolvendo tarefas que já resolvia. Essa distinção ajuda a formular a pergunta certa quando mudam o modelo, as instruções ou a integração.

Neste roteiro da Orange, o foco é uma IA que prepara rascunhos de atendimento para revisão. Se a versão nova escreve melhor, mas esquece uma condição comercial, há uma perda que a boa aparência do texto pode esconder. O responsável pelo processo precisa enxergar essa troca antes de liberar a mudança.

02

Congele uma pequena base de comparação

Nossa proposta é criar uma pasta de exemplos fictícios que representem dúvidas frequentes da empresa. Use apenas informações aprovadas para o teste. Guarde a pergunta, a referência correta, o comportamento esperado e o motivo de cada caso existir. Uma planilha pode organizar esse material; nesta etapa, o trabalho principal é explicitar os critérios.

Inclua uma solicitação comum, outra com informação faltante e uma que a IA deva encaminhar ao responsável. Preserve essa primeira versão da amostra. Se você trocar as perguntas ao mesmo tempo que troca o sistema, perderá a referência para comparar. A quantidade inicial depende do processo; uma amostra pequena ajuda a começar, mas não comprova confiabilidade geral.

03

Exemplo ilustrativo: uma resposta curta que omite a condição

Imagine uma assistência técnica fictícia cuja regra diz que o orçamento depende da análise do equipamento. A pergunta de teste é se o cliente já pode autorizar o reparo. O rascunho precisa explicar a análise prévia e evitar confirmar um serviço ainda não aprovado. Não há valor nem prazo a preencher por suposição.

Antes de avaliar, escreva três verificações: mencionou a análise, preservou a necessidade de orçamento e evitou confirmar o reparo? Uma versão mais curta que omite a segunda condição deve reprovar esse caso. Esse cenário é uma proposta editorial, sem relação com cliente ou resultado medido pela Orange.

04

Compare versões nas mesmas condições

A documentação do Google Cloud destaca a avaliação em tarefas e critérios próprios, incluindo comparações entre modelos e melhorias nas instruções. O roteiro descrito pelo fornecedor reúne dados de avaliação, métricas, respostas e análise dos resultados. Isso oferece uma referência de método, sem exigir que a PME contrate esse serviço.

Como aplicação prática, mantenha iguais a base de conhecimento e as perguntas, alterando um componente por rodada. Identifique a versão anterior e a candidata. Registre a resposta completa de cada uma e a decisão do revisor por critério. Se as respostas variarem entre tentativas, conserve também essa variação; escolher apenas a melhor resposta esconderia parte do comportamento.

  • Anote o que mudou: instrução, modelo, documentos ou integração.
  • Compare cada resposta com a referência, além de comparar uma versão com a outra.
  • Registre os casos que melhoraram e os que pioraram separadamente.
  • Meça o tempo de revisão quando a mudança tiver esse objetivo.
05

Olhe para as falhas antes da média

Sugerimos separar omissões, invenções e encaminhamentos incorretos dos problemas de estilo. Combine antes quais falhas impedem a liberação naquele processo. Uma média melhor pode esconder a perda de uma condição essencial; por isso, mantenha visível o resultado de cada pergunta e sua justificativa.

Se houver ferramentas conectadas, confira também o registro e o estado final no ambiente de teste. A Anthropic ressalta a diferença entre o relato do agente e o resultado efetivo: dizer que uma reserva foi feita não equivale a existir uma reserva. No roteiro aqui proposto, use ferramentas simuladas, sem mensagens ou compromissos reais.

06

Decida e preserve o que aprendeu

Ao terminar, documente a decisão: adotar a candidata, ajustar e repetir ou manter a versão anterior. Associe a decisão às respostas observadas. Quando descobrir uma falha nova, acrescente um caso à próxima versão da amostra e registre a alteração, preservando a comparação anterior.

Esse esforço faz sentido para um fluxo recorrente que muda com frequência. Para uma consulta pontual, a conferência direta pode bastar. Uma rodada aprovada também não substitui o acompanhamento da operação. Comece escolhendo uma atualização que sua equipe pretende fazer e torne verificável o que ela precisa preservar.

A Orange pode ajudar a avaliar o fluxo e seus critérios de aceite. Conteúdo preparado com apoio de IA e checagem de fontes oficiais em 22 de outubro de 2026. As referências fundamentam o método; os exemplos e o roteiro são propostas da Orange, sem demonstração de produto ou revisão humana individual alegada.

Fontes e referências

Consulte os materiais que apoiam este conteúdo. Produtos, preços e recursos podem mudar; confirme as condições do fornecedor antes de contratar.

  1. Anthropic — Demystifying evals for AI agents (9 de janeiro de 2026) — abre em nova abaConsultado em 22 de outubro de 2026
  2. Google Cloud — Gen AI evaluation service overview — abre em nova abaConsultado em 22 de outubro de 2026
Todos os artigos

Uma boa ideia merece uma conversa

Leve esta leitura para a sua rotina. Em 1 minuto, o Teste ORANGE diz se faz sentido conversar.

Conversar com a Orange