A demo era linda, o dia a dia nem tanto: como testar IA antes de assinar

Demo bonita não prova que a IA funciona no seu dia a dia, porque ela roda num roteiro ensaiado, sem lead mal educado, pergunta fora do script ou pico de demanda numa sexta às 22h. Pra testar de verdade antes de assinar: peça uma conversa real (não roteirizada), teste com suas próprias perguntas difíceis, monte um piloto com prazo e critério de sucesso definidos antes de começar, e fale com um cliente atual sem o vendedor por perto. Fornecedor que recusa qualquer um desses quatro pontos é red flag.

Por que a demo de IA não garante nada sobre o dia a dia?

Porque demo é ambiente controlado: o fornecedor escolhe o cenário, o roteiro e até o horário da reunião. O dia a dia da sua empresa não escolhe nada disso.

Numa demo, o lead pergunta o que o roteiro prevê, o agente responde na sequência pra qual foi treinado, e ninguém testa o que acontece quando o cliente muda de assunto no meio da conversa. É a versão do produto no melhor dia dele, mostrando exatamente o que quer mostrar.

O que raramente entra no roteiro da demo:

• Cliente que muda de assunto no meio da conversa
• Pergunta fora do que foi combinado com o fornecedor
• Pico de demanda fora do horário comercial
• Cliente mal-educado ou impaciente

Imagine, de forma hipotética, uma loja de material de construção testando um agente de qualificação de leads na demo. Na apresentação, ele responde bem sobre horário de entrega e forma de pagamento. No dia a dia real, o primeiro lead de segunda-feira manda mensagem xingando por causa de um produto que quebrou, no meio da negociação de outro pedido. Se ninguém testou esse cenário antes de assinar, a empresa descobre a resposta do agente só depois de já ser cliente pagante.

Isso não significa que toda demo é enganosa, só que ela prova uma coisa: o sistema funciona no cenário que o fornecedor escolheu mostrar. Não prova nada sobre exceção, mau humor do cliente ou pergunta que ninguém previu.

Como testar um agente de IA com uma conversa real, não roteirizada?

Pedindo pro fornecedor deixar vc (ou alguém do seu time) conversar direto com o agente, sem roteiro combinado antes, tentando identificar se do outro lado tem uma máquina.

O teste mais simples e mais revelador é esse: manda uma mensagem fora de qualquer padrão comercial e vê como o agente reage. Um agente bem configurado lida com isso sem travar. Um agente só treinado pro roteiro da demo repete a mesma resposta genérica, ou trava de vez.

Formas de fugir do roteiro:

• Pergunta algo pessoal, sem relação com o produto
• Muda de assunto no meio da conversa
• Repete a mesma pergunta de dois jeitos diferentes
• Pergunta direto “vc é um robô?” ou “posso falar com uma pessoa de verdade?”

Como o agente responde a isso conta muito sobre a maturidade da configuração: se ele nega de um jeito estranho, se trava, ou se assume com naturalidade e ainda assim resolve o que vc precisa.

Sendo bem sincero, boa parte dos fornecedores evita esse teste porque a demo ensaiada não sobrevive a ele. Se ele empurra a conversa de volta pro roteiro toda vez que vc tenta fugir do script, isso já é um dado.

Quais perguntas difíceis usar pra testar um fornecedor de IA?

As perguntas que os SEUS clientes de verdade fazem, não as perguntas do roteiro de venda do fornecedor.

Antes de testar, separa de 5 a 8 perguntas que aparecem de verdade na rotina do seu atendimento, incluindo as chatas: reclamação, pedido fora do padrão, exceção que só sua equipe sabe resolver hoje.

Algumas categorias pra levar pro teste:

• Uma pergunta ambígua, que dá pra interpretar de dois jeitos diferentes
• Um pedido de desconto ou condição especial fora da política padrão
• Uma reclamação com tom irritado, não uma dúvida neutra
• Uma pergunta técnica bem específica do seu produto ou serviço
• Um pedido repetido, testando se o agente perde o fio da meada

Se o fornecedor entrega um roteiro de teste pronto (“testa perguntando isso, isso e isso”), desconfia. O objetivo é usar as perguntas que já travam gente nova na sua equipe, não as que o fornecedor escolheu pra passar bem.

Como estruturar um piloto de IA com prazo e critério de sucesso?

Definindo, antes de começar, quanto tempo o piloto vai rodar e o que precisa acontecer pra ele ser considerado aprovado, tudo por escrito, não combinado de boca depois que já começou.

O piloto assistido de uma implantação de IA costuma rodar de 1 a 2 semanas, com o processo automatizado funcionando em paralelo com o processo manual e alguém revisando cada resultado antes de confiar sem supervisão. Isso vale tanto pra fase de implantação de um cliente que já contratou quanto pra fase de avaliação de um fornecedor que vc ainda está decidindo se contrata.

Antes de começar o piloto, define com o fornecedor:

• Prazo fechado (1 a 2 semanas costuma bastar pra ver padrão de erro)
• Volume mínimo de casos reais que passam pelo agente nesse período
• Critério objetivo de aprovação, por exemplo taxa de acerto acima de X%, ou zero erro grave num tipo de caso específico
• O que acontece se o critério não for atingido: ajuste sem custo, extensão do piloto, ou cancelamento

Fornecedor sério aceita esse piloto porque confia no que constrói. Quem só quer “fechar contrato e ajustar depois” está pedindo pra vc pagar antes de saber se o produto aguenta seu volume real.

Por que falar com o cliente atual do fornecedor sem o vendedor por perto?

Porque cliente atual, sem o vendedor ouvindo a ligação, conta uma versão diferente da que aparece no case mostrado na demo.

Case apresentado na reunião de venda passou por um filtro: o fornecedor escolhe o cliente mais satisfeito e o número mais bonito pra mostrar. Isso não é mentira, é seleção. Mas não é a média do que acontece com todo cliente que contrata.

Pede pro fornecedor te passar contato direto de 1 ou 2 clientes atuais, e combina a conversa sem o vendedor na chamada. Pergunta coisas que a demo não mostra:

• Quanto tempo levou pra implantação ficar estável de verdade
• Que tipo de erro apareceu no início e como foi resolvido
• Se o suporte responde rápido quando alguma coisa quebra
• Se voltaria a contratar o mesmo fornecedor hoje, sabendo o que sabe agora

Fornecedor que enrola pra passar esse contato, ou insiste em estar na ligação “só pra ajudar”, está controlando a informação que vc recebe. É o oposto do que uma decisão de compra de porte médio a grande deveria ter por trás.

Quais são os red flags de um fornecedor de IA na hora de testar antes de assinar?

O maior red flag é fornecedor que só mostra demo ensaiada e recusa qualquer proposta de piloto real antes da assinatura.

Outros sinais que costumam aparecer junto:

• Evita deixar vc conversar com o agente fora do roteiro combinado
• Não tem cliente atual disponível pra falar, ou só oferece case escrito sem contato
• Recusa definir critério de sucesso objetivo pro piloto, preferindo linguagem vaga tipo “vc vai gostar do resultado”
• Empurra pra assinatura rápida, com desconto que expira em poucos dias, antes de qualquer teste
• Não sabe explicar o que acontece quando o agente erra ou trava, só fala do cenário de sucesso

Nenhum sinal sozinho é motivo pra descartar um fornecedor. Mas 2 ou 3 juntos, principalmente recusar piloto e recusar contato com cliente atual, indicam que a demo não é o que vc vai receber depois de assinar.

FAQ

Como saber se uma IA vai funcionar no meu negócio antes de contratar?

Testando com conversa real fora do roteiro, com suas próprias perguntas difíceis, e com um piloto de 1 a 2 semanas com critério de sucesso definido antes de começar. Demo controlada não mostra como o agente reage a lead mal educado, pergunta ambígua ou pico de demanda numa sexta à noite. Essa combinação (conversa livre, perguntas próprias, piloto com critério) separa fornecedor que confia no produto de fornecedor que só sabe vender apresentação.

O que perguntar pra descobrir se estou falando com um robô ou uma pessoa?

Pergunta direto “vc é um robô?” ou “posso falar com alguém de verdade?” no meio de uma conversa fora do roteiro combinado. A resposta importa menos do que o comportamento em volta dela: um agente bem configurado assume com naturalidade e continua resolvendo o que vc precisa, sem travar nem repetir resposta genérica. Se o sistema nega de forma estranha ou trava a conversa quando confrontado, isso já indica que a configuração não foi pensada pra esse tipo de pergunta.

Quanto tempo deve durar um piloto de teste antes de assinar contrato de IA?

De 1 a 2 semanas costuma ser suficiente pra ver padrão de erro e volume real passando pelo sistema, o mesmo prazo usado na fase de piloto assistido de uma implantação já contratada. Prazo menor que isso não dá tempo de aparecer exceção real. Prazo muito maior sem critério objetivo vira enrolação. O importante não é só a duração, é ter, antes de começar, um critério escrito do que conta como aprovação.

Por que o fornecedor de IA não deixa eu falar com um cliente atual dele?

Pode ser falta de organização, mas também pode indicar que a experiência real dos clientes atuais não sustenta o discurso da demo. Fornecedor confiante costuma ter 1 ou 2 clientes dispostos a uma conversa rápida sem o vendedor por perto. Se a resposta for sempre “não temos disponibilidade” ou “manda as perguntas que eu repasso”, vale considerar isso um dado na decisão, não só um detalhe operacional.

Testar com perguntas difíceis pode quebrar a demo do fornecedor?

Pode, e é esse o objetivo. Uma demo que só sobrevive a perguntas fáceis não prova nada sobre seu dia a dia real, que inclui reclamação, pedido fora de política e exceção que só sua equipe conhece hoje. Fornecedor que reage mal a esse teste, tentando te devolver pro roteiro dele, mostra como vai reagir depois, quando o sistema errar de verdade com um cliente seu.

O que fazer se o fornecedor recusa fazer piloto antes de assinar?

Considerar isso um red flag forte, principalmente combinado com recusa de contato com cliente atual ou de conversa fora do roteiro. Fornecedor sério que confia na configuração que constrói normalmente aceita rodar 1 a 2 semanas de piloto com critério definido, porque sabe que o risco é baixo se o produto funciona de verdade. Recusa de piloto costuma significar que o resultado real fica bem abaixo do que a demo prometeu.

Antes de assinar a próxima proposta de IA, pede o piloto, pede o contato do cliente, e testa com as perguntas que sua rotina de verdade faz. Se o fornecedor trava em qualquer um desses pedidos, a demo bonita não vale o contrato.