Como testar se uma IA do WhatsApp entendeu o áudio, a imagem ou o documento do paciente

Resposta rápida: para testar se uma IA realmente entendeu uma mensagem que mistura texto, áudio, imagem ou documento, envie exemplos fáceis, ambíguos e incompletos e exija três saídas observáveis: confirmação específica do que foi entendido, recusa explícita quando não houver segurança e encaminhamento para uma pessoa quando pedir texto não resolver. Uma resposta fluente, sozinha, não comprova entendimento.

O paciente não manda apenas texto. Uma IA do WhatsApp precisa lidar com o áudio gravado no carro, a solicitação fotografada, o PDF encaminhado, a foto da tela do celular ou a imagem enviada sem explicação sobre o que ele espera da clínica.

Para a equipe, tudo isso aparece na mesma conversa. Para um sistema automatizado, não necessariamente. Cada formato tem um caminho diferente entre receber a mensagem e transformar aquilo em uma resposta. Se esse caminho não for claro, a clínica pode confundir uma resposta bem escrita com uma leitura correta do conteúdo.

Esse é o ponto que costuma desaparecer na demonstração comercial. A pergunta não é só se a ferramenta “aceita” áudio, imagem ou arquivo. A pergunta é: o que acontece quando ela não consegue afirmar o que recebeu?

Em termos práticos, uma IA no WhatsApp só passou no teste quando a clínica consegue responder três perguntas: o sistema confirmou o conteúdo recebido? declarou o que não pôde interpretar? encaminhou a conversa sem fabricar uma resposta? Esse critério vale para áudio, imagem e documento e evita tratar a capacidade de abrir um anexo como prova de compreensão.

A Organização Mundial da Saúde alerta que sistemas capazes de lidar com mais de um formato, como texto, áudio e imagem, podem produzir respostas falsas, imprecisas, enviesadas ou incompletas. Também chama atenção para o viés de automação: a tendência de aceitar uma saída do sistema sem perceber um erro que seria identificado por uma pessoa. No atendimento, esse risco começa antes de qualquer decisão clínica. Começa quando a mensagem do paciente é tratada como texto confiável.

Uma resposta educada não prova que a mensagem foi entendida.

O teste não começa pela resposta

Um teste fraco envia um áudio simples e verifica se a IA respondeu alguma coisa. Se respondeu com naturalidade, a equipe conclui que “funciona”.

O teste que interessa verifica o caminho inteiro:

1. Recebimento: o sistema identifica que chegou um áudio, uma imagem ou um documento?
2. Entendimento: ele consegue repetir, em linguagem clara, o que considera ter recebido?
3. Limite: ele separa o que está explícito do que está apenas sendo presumido?
4. Próximo passo: ele pede texto, faz uma pergunta objetiva ou encaminha para uma pessoa?
5. Registro: a equipe consegue saber que houve uma mensagem com anexo e qual foi a resposta dada?

Se a resposta só parece boa, você testou a fluência da ferramenta, enquanto a segurança do atendimento continuou sem teste. Ninguém consegue avaliar segurança sem verificar o que foi entendido.

Se ninguém consegue verificar o que foi entendido, você não testou a segurança do atendimento.

Áudio: peça confirmação, não uma paráfrase bonita

Áudio é o formato mais fácil de superestimar. A voz transmite intenção, contexto e urgência, mas também pode ter ruído, fala rápida, interrupção, termos incompletos e informação que depende de uma imagem ou de uma conversa anterior.

Faça pelo menos quatro variações:

• áudio curto, com um pedido direto;
• áudio longo, com duas solicitações misturadas;
• áudio com ruído, fala baixa ou interrupções;
• áudio que menciona um anexo, mas não explica o que há nele.

Em cada caso, peça ao sistema para responder primeiro com uma confirmação objetiva. Algo como: “Entendi que você quer confirmar o horário da avaliação. É isso?”. O valor do teste está justamente na possibilidade de o paciente corrigir o entendimento antes de a conversa seguir.

Não basta o sistema dizer “certo” e continuar. A confirmação precisa trazer o conteúdo que orienta o próximo passo. Se o áudio contiver uma informação que a clínica não pode validar automaticamente, a resposta deve separar as coisas: “Consigo ajudar com o agendamento, mas não consigo interpretar esse relato por aqui. Vou encaminhar sua mensagem para a equipe”.

Esse tipo de resposta pode parecer menos impressionante. Na prática, é mais honesto. A recusa correta protege mais a clínica do que uma interpretação inventada com tom de certeza.

Imagem: não confunda arquivo recebido com conteúdo compreendido

Uma imagem pode ser um comprovante, uma captura de tela, uma solicitação, uma foto de um produto ou algo sem relação com o pedido escrito pelo paciente. Receber o arquivo não mostra o que há nele nem se a clínica pode agir a partir daquela imagem.

Monte testes em camadas:

Camada 1: imagem sem contexto

Envie a imagem sem nenhuma legenda. O sistema deve dizer que recebeu uma imagem e pedir ao paciente que explique o que precisa. Responder com uma conclusão específica, sem contexto, é um sinal de alerta.

Camada 2: imagem com pedido explícito

Envie a mesma imagem acompanhada de uma pergunta objetiva. Veja se a resposta fica restrita ao que o sistema pode confirmar. O objetivo é verificar se ele evita acrescentar informação que não está disponível, em vez de tentar adivinhar o conteúdo.

Camada 3: imagem difícil de ler

Use uma foto cortada, desfocada, inclinada ou com reflexo. O comportamento esperado não é uma resposta criativa. É reconhecer a limitação e pedir uma nova foto, uma mensagem digitada ou o encaminhamento para uma pessoa.

Camada 4: imagem que pede interpretação sensível

Se o paciente mandar uma foto relacionada a uma queixa ou a uma situação que exige avaliação profissional, a automação não deve transformar a imagem em conclusão. A clínica precisa estabelecer previamente qual mensagem orienta o paciente e como a conversa chega à equipe responsável.

A pergunta para o fornecedor é direta: o sistema diferencia “não consegui ler” de “li e entendi”? Se os dois casos geram a mesma resposta, você não tem um limite operacional visível.

Documento: valide o fluxo antes de validar o texto

Documentos têm um risco adicional: podem conter mais informação do que o paciente pretendia compartilhar. Um PDF pode reunir páginas, nomes, datas, resultados, dados de terceiros e observações que não têm relação com a solicitação feita no WhatsApp.

Por isso, o teste precisa olhar para o fluxo, não apenas para a frase final. Pergunte:

• O sistema identifica que recebeu um documento sem fingir que leu tudo?
• Ele informa quando o arquivo está ilegível, incompleto ou protegido?
• Ele responde somente ao pedido feito pelo paciente?
• Ele evita repetir dados que não são necessários para continuar o atendimento?
• Ele sabe parar e transferir a conversa quando o conteúdo sai do escopo administrativo?

O princípio é minimização: processar e repetir apenas o que é necessário para o próximo passo. A ferramenta continua sujeita a erro, mas uma regra operacional permite que a equipe audite o que foi processado.

Também vale testar documentos com nomes diferentes, páginas fora de ordem e anexos que não correspondem ao que foi escrito. O objetivo é descobrir se o sistema pede esclarecimento ou monta uma história plausível para preencher as lacunas.

A OMS recomenda que aplicações capazes de lidar com vários formatos tenham tarefas bem definidas, precisão e confiabilidade adequadas ao uso. O AI Risk Management Framework do NIST, uma referência para gestão de risco em inteligência artificial, também trata a identificação e a comunicação de limitações como parte do trabalho, não como detalhe de apresentação.

Não aceite uma promessa de entendimento sem saber qual é o limite da leitura. Para a clínica, a tradução é simples: não aceite a frase “a IA entende documentos” sem saber quais documentos, para qual finalidade, com qual limite e com qual saída quando a leitura falha.

O protocolo dos três comportamentos

Para cada tipo de mensagem, crie três testes obrigatórios. Eles ajudam a verificar até onde a automação pode seguir sozinha.

1. Confirmar

O sistema deve demonstrar o que entendeu antes de agir sobre a mensagem. A confirmação deve ser específica, curta e corrigível pelo paciente.

Exemplo: “Você enviou uma foto e quer saber se ela serve para confirmar seu agendamento. É isso?”.

Evite confirmações genéricas como “Entendi, vou verificar”. Elas tranquilizam a conversa, mas não mostram o entendimento.

2. Recusar

Quando não houver base suficiente para interpretar, o sistema deve dizer isso sem tentar completar a informação. Recusar significa explicar o limite e oferecer um próximo passo seguro, sem abandonar o paciente.

Exemplo: “Não consigo confirmar o conteúdo dessa imagem com segurança. Você pode descrever em texto o que precisa ou aguardar o atendimento da equipe?”.

A recusa deve ser testada com mensagens ambíguas, incompletas e de baixa qualidade. Se ela só aparece quando o arquivo está totalmente ilegível, o limite está estreito demais.

3. Encaminhar

Há casos em que pedir texto resolve. Há outros em que a própria natureza da mensagem exige uma pessoa. A clínica precisa definir essa diferença antes de ativar a automação.

Encaminhe quando:

• o paciente pede uma interpretação que depende de avaliação profissional;
• há contradição entre o texto e o anexo;
• o sistema não consegue identificar o conteúdo depois de uma tentativa de esclarecimento;
• o paciente demonstra urgência, medo ou confusão;
• a conversa sai do escopo administrativo definido para o atendimento automatizado.

O encaminhamento precisa ser visível para a equipe. Não adianta prometer “vou transferir” se a mensagem fica perdida em uma fila que ninguém acompanha.

O que o sistema deve responder quando não consegue interpretar com segurança? Deve dizer qual é o limite, evitar concluir o conteúdo e oferecer um próximo passo proporcional: pedir que o paciente descreva a necessidade em texto quando isso for suficiente ou transferir para uma pessoa quando houver ambiguidade, urgência, contradição ou possível avaliação profissional. A frase precisa ser verificável pela equipe e não pode soar como confirmação do anexo.

Automação madura não tenta ganhar todas as conversas. Ela sabe quando sair da frente.

Como montar uma bateria de testes em uma tarde

Comece com um conjunto pequeno. Escolha mensagens reais, anonimizadas e representativas do que chega à clínica. Separe os exemplos por formato e por dificuldade.

Para cada mensagem, preencha uma ficha com cinco campos:

Depois, peça que duas pessoas da clínica avaliem as respostas sem saber qual foi a expectativa da outra. Se elas discordarem sobre o que o sistema entendeu, o teste revelou uma ambiguidade que precisa ser tratada.

Não dê nota apenas para “respondeu” ou “não respondeu”. Avalie se a saída foi verificável, se respeitou o pedido e se deixou claro o próximo passo. Uma resposta que não resolve, mas encaminha corretamente, pode ser melhor do que uma resposta completa e errada.

Perguntas para fazer ao fornecedor

Antes de contratar ou ativar uma automação, leve estas perguntas para a conversa:

• Como o sistema informa que recebeu áudio, imagem ou documento?
• Ele consegue declarar o que entendeu antes de responder?
• Quais sinais fazem a automação pedir texto?
• Quais sinais fazem a conversa ser encaminhada para uma pessoa?
• O fornecedor consegue mostrar exemplos de falha, não apenas demonstrações perfeitas?
• A equipe consegue revisar a mensagem original e a resposta automática?
• O que acontece quando o anexo contradiz a mensagem escrita?
• Quais dados são necessários para cumprir o próximo passo?
• Como a clínica altera a regra quando percebe um padrão de erro?

Desconfie de respostas que falam apenas em quantidade de formatos aceitos. “Aceita áudio” descreve uma entrada. Não descreve entendimento, limite, responsabilidade nem continuidade do atendimento.

Também desconfie do oposto: uma promessa tão cautelosa que ninguém consegue dizer o que o sistema faz em cada situação. O fornecedor precisa apresentar fronteiras operacionais compreensíveis, não só uma lista de possibilidades.

Perguntas frequentes

Como testar se uma IA realmente entendeu um áudio, uma imagem ou um documento?

Envie mensagens de formatos e dificuldades diferentes e peça uma confirmação específica antes de qualquer ação. Compare a confirmação com o conteúdo original e registre se o sistema separou o que viu ou ouviu do que apenas presumiu. O teste precisa incluir ruído, falta de contexto, anexos contraditórios e conteúdo ilegível.

O que a IA deve responder quando não consegue interpretar uma mensagem com segurança?

Ela deve declarar o limite sem inventar uma leitura, explicar o próximo passo e, quando necessário, encaminhar a conversa para uma pessoa. Pedir uma descrição em texto pode resolver uma dúvida administrativa; não substitui o encaminhamento quando há urgência, contradição ou pedido de avaliação profissional.

Quando a clínica deve exigir texto digitado ou transferir para uma pessoa?

Exija texto quando a mensagem multimodal não tiver contexto suficiente e o pedido puder ser esclarecido sem avaliação profissional. Transfira para uma pessoa quando o sistema continuar sem identificar o conteúdo, quando o anexo contradisser a mensagem escrita ou quando o paciente demonstrar medo, urgência ou confusão.

Quais perguntas fazer ao fornecedor sobre recusa e encaminhamento?

Pergunte quais sinais fazem a automação pedir texto, quais fazem a conversa ser transferida e como a equipe revisa a mensagem original junto da resposta. Peça exemplos de falha, não apenas demonstrações perfeitas, e confirme onde o encaminhamento aparece para a equipe.

Se você está revisando o atendimento da sua clínica e quer enxergar onde a automação realmente ajuda, conheça a Triagi. A decisão começa por entender o processo antes de ativar a tecnologia mais chamativa.

O que muda na rotina da clínica

Depois dos testes, transforme os resultados em uma política simples para a equipe:

• Texto claro e pedido administrativo: a automação pode seguir o fluxo definido.
• Áudio, imagem ou documento sem contexto: confirmar o que foi recebido e pedir esclarecimento.
• Conteúdo ilegível ou contraditório: recusar interpretação e orientar o próximo passo.
• Pedido que exige avaliação profissional: não concluir automaticamente e encaminhar.
• Paciente em situação de urgência ou confusão: priorizar a pessoa da equipe conforme o protocolo da clínica.

Essa política evita que cada atendente invente uma regra no meio da conversa. Também ajuda a revisar o fornecedor com base em situações concretas, em vez de comparar apenas telas bonitas e respostas simpáticas.

A tecnologia pode ser rápida. A responsabilidade continua precisando de uma fronteira clara.

Conclusão: teste o limite antes de celebrar a capacidade

O atendimento automatizado pode ser útil sem interpretar tudo. Para isso, precisa reconhecer o próprio escopo, deixar o paciente corrigir um entendimento e sair da conversa quando não houver segurança para continuar.

Para áudio, imagem e documento, o teste mínimo é sempre o mesmo: confirmar, recusar e encaminhar.

O teste mínimo é confirmar, recusar e encaminhar. Faça isso com mensagens fáceis, ambíguas, incompletas e sensíveis. O teste serve para descobrir, antes do paciente descobrir, como a IA se comporta quando não sabe.

Se a sua clínica está avaliando automação para organizar o atendimento no WhatsApp, veja como a Triagi pode entrar nessa conversa com mais clareza e menos promessa vazia.

Fontes consultadas

• Organização Mundial da Saúde. “WHO releases AI ethics and governance guidance for large multi-modal models”, 18 de janeiro de 2024.
• Organização Mundial da Saúde. “Ethics and governance of artificial intelligence for health”, 2021.
• National Institute of Standards and Technology. “Artificial Intelligence Risk Management Framework (AI RMF 1.0)”, 2023.