Medindo o ROI de chatbots: as métricas que importam

Painéis de chatbot são feitos para fazer chatbots parecerem bons. Isso não é conspiração, é decisão de produto: o fornecedor sabe quais números geram renovações. A contenção sobe para a direita, a resolução automática é expressa em porcentagem, e aparece um número de economia que ninguém no financeiro aceitaria.

As métricas que dizem se o bot está de fato funcionando são menos lisonjeiras e consideravelmente mais úteis. Eis o que acompanhar e — igualmente importante — o que cada número consegue esconder.

Contenção, e como ela mente

Contenção é a parcela de conversas que o bot atendeu sem escalar para uma pessoa. É o número em destaque em todo painel, e pode ser melhorado instantaneamente dificultando o acesso a um humano.

Qualquer métrica que melhora quando você piora a vida do cliente é uma métrica que você nunca deve otimizar isoladamente.

Contenção é um diagnóstico, não uma meta. Ela só tem significado quando lida ao lado de dois outros números: abandono e taxa de reabertura. Contenção subindo e abandono subindo significa que as pessoas estão desistindo, não sendo atendidas. Contenção subindo e reabertura subindo significa que o bot está encerrando conversas em vez de resolvê-las.

Abandono — o número que ninguém reporta

Abandono é a parcela de clientes que inicia uma conversa com o bot e simplesmente para de responder. Sem escalonamento, sem resolução, sem reclamação. Eles apenas vão embora.

É o sinal mais honesto que você tem, e não aparece em quase nenhum painel de fornecedor, porque é o número que faz os bots parecerem ruins. Instrumente você mesmo se for preciso: toda conversa em que o bot enviou a última mensagem e o cliente nunca voltou é candidata.

Taxa de reabertura

Uma conversa que o bot marcou como resolvida e que o cliente reabre dias depois não foi resolvida. Foi adiada, e agora vai custar uma pessoa de qualquer forma — mais a boa vontade que você gastou fazendo o cliente perguntar duas vezes.

A taxa de reabertura é o teste de honestidade da contenção. Um bot com 60% de contenção e 5% de reabertura está fazendo trabalho de verdade. Um bot com 80% de contenção e 30% de reabertura é um jeito muito eficiente de irritar pessoas.

Tempo de primeira resposta, separado por caminho

Reporte o tempo de primeira resposta duas vezes: uma para as conversas respondidas pelo bot, outra para as que chegaram a uma pessoa. Reportar como uma única média permite que uma resposta instantânea do bot esconda uma fila humana de duas horas por trás.

Na prática, a média combinada é o número com maior probabilidade de deixar uma equipe acomodada. Cada conversa que o bot responde na hora puxa a média para baixo, e os clientes esperando duas horas pelo escalonamento — os que têm problemas de verdade — desaparecem dentro dela.

Custo por conversa resolvida

Este é o número que o financeiro de fato aceita, e é o que os fornecedores menos gostam de calcular, porque exige reconhecer o custo do próprio bot.

1. 1Pegue o custo total da automação: licença, tempo de construção e a manutenção contínua que ninguém orça.
2. 2Some as tarifas de conversa da plataforma.
3. 3Divida pelas conversas genuinamente resolvidas — excluindo as abandonadas e as que foram reabertas depois.
4. 4Compare com a mesma cifra para conversas atendidas por pessoas.

A maioria dos bots se sai bem nisso quando estabilizam. O objetivo não é provar que o bot é caro — é que um número calculado assim não pode ser manipulado apertando a saída de emergência, e é exatamente por isso que vale reportá-lo para cima.

Receita por conversa, para os bots que vendem

Se o bot qualifica leads ou recupera carrinhos, ele pertence ao lado da receita do balanço, não ao lado do custo, e a aritmética muda completamente.

• Atribua receita às conversas em que o bot tocou, com uma janela definida — trinta dias é um padrão razoável.
• Reserve um grupo de controle que não recebe automação, para você ver o que teria convertido de qualquer forma.
• Acompanhe a receita por conversa, não a receita total, para que o crescimento em volume não disfarce uma queda de qualidade.

O grupo de controle é o que torna isso crível. Sem ele, todo bot da história já reivindicou crédito por receita que ia chegar de qualquer jeito, e todo mundo na sala sabe disso.

CSAT, medido separadamente

Peça uma avaliação ao fim de cada conversa e reporte separadamente as atendidas por bot e por pessoas. Um CSAT combinado é quase inútil, porque permite que uma equipe humana forte carregue um bot fraco por meses.

O padrão a vigiar é um CSAT de bot aceitável na média mas bimodal por baixo — muitos cincos de pessoas cuja pergunta ele respondeu e muitos uns de pessoas que ele prendeu. A média parece boa. Os uns são a sua evasão de clientes.

O painel de indicadores

Seis números, reportados juntos, nenhum deles sozinho.

• Contenção — quanto ele atendeu.
• Abandono — quantos ele perdeu.
• Taxa de reabertura — quanto ele apenas pareceu resolver.
• Tempo de primeira resposta, separado entre bot e pessoa.
• Custo por conversa genuinamente resolvida.
• CSAT, separado entre bot e pessoa.

Lidos juntos, são quase impossíveis de manipular. Lidos isoladamente — e a contenção em particular — permitem que um bot que está silenciosamente danificando suas relações com clientes pareça o melhor investimento do ano.

Reporte os seis. Se o bot for bom, ele sobrevive ao escrutínio com facilidade. Se não sobreviver, você aprendeu algo consideravelmente mais valioso que uma porcentagem lisonjeira.

Construindo o business case, antes de comprar

A maioria dos business cases de chatbot é escrita de trás para frente: alguém já decidiu comprar o bot, e a planilha é montada para justificar. Os números são sempre enormes e sempre construídos sobre uma porcentagem de resolução automática fornecida pelo próprio fornecedor.

Um case defensável começa pela sua própria caixa de entrada, e leva uma tarde para ser montado.

1. 1Conte as conversas por mês e classifique-as por tipo de pergunta.
2. 2Pegue os três tipos principais e pergunte com honestidade quais são genuinamente automatizáveis — factuais, respondíveis com dados que você tem, sem ambiguidade.
3. 3Multiplique esse volume pelo seu custo real por conversa humana, incluindo salário, ferramentas e custo de gestão. Não apenas o salário.
4. 4Aplique um desconto. Suponha que o bot dê conta de talvez dois terços do que você acha que ele consegue, porque é o que vai acontecer.
5. 5Agora subtraia o custo da plataforma, da construção e — a linha que todo mundo esquece — da manutenção contínua.

O número que sobra normalmente ainda é bom. É simplesmente um terço do que está na apresentação do fornecedor, e vai sobreviver a uma conversa com o seu financeiro, coisa que o número do fornecedor não vai.

Os retornos intangíveis, que são reais mas difíceis de contabilizar

Nem tudo que um bot faz bem aparece em um modelo de custo, e vale nomear essas coisas separadamente em vez de contrabandeá-las para dentro do número de ROI como valores inventados.

• Cobertura em horários sem equipe. Um bot respondendo às 2h não está evitando um ticket — está capturando um cliente que, de outra forma, teria ido para outro lugar até de manhã.
• Consistência. Todo cliente recebe a mesma resposta precisa, algo que nenhuma equipe humana pode afirmar com honestidade numa sexta-feira à tarde.
• Retenção de atendentes. Remover o terço mais repetitivo do trabalho é uma melhoria genuína, e rotatividade é cara.
• Dados. Toda conversa automatizada é estruturada por natureza, o que significa que você finalmente sabe o que as pessoas de fato perguntam.

Reporte isso como benefícios, não como números. No momento em que você atribui um valor monetário a "consistência melhorada", escreveu um business case em que ninguém sênior vai acreditar — e minou as partes que eram sólidas.

Quando a resposta honesta é desligar

Às vezes os números voltam e o bot não está funcionando. Esse é um desfecho legítimo e vale se planejar para ele, porque as organizações são extraordinariamente ruins em matar coisas pelas quais já pagaram.

O custo afundado da construção não é motivo para manter um bot que está fazendo você perder clientes. É simplesmente o preço de descobrir.

Os sinais de que chegou a hora: abandono subindo enquanto a contenção sobe. Taxa de reabertura acima de mais ou menos um quinto. CSAT do bot materialmente abaixo do CSAT humano e sem melhorar após duas rodadas de correções. Atendentes descrevendo as transferências como algo que dificulta, e não facilita, o trabalho deles.

Se você vir isso, não escale, não adicione recursos e não encomende um redesenho. Estreite. Volte à única pergunta que ele atende bem, desligue todo o resto e deixe que ele reconquiste o escopo uma tarefa por vez. Um bot que faz uma coisa perfeitamente é um ativo genuíno. Um bot que faz oito coisas razoavelmente é um passivo com um painel muito bonito.

Apresentando isso a um conselho

As seis métricas acima são as certas internamente. Não são as certas para uma reunião de conselho, onde você tem quatro minutos e uma plateia que vai lembrar de exatamente um número.

Comece pelo custo por conversa resolvida, comparado com o equivalente humano e com o custo de manutenção incluído. É o número que não pode ser manipulado, e é aquele com o qual um diretor financeiro vai se engajar em vez de apenas tolerar.

• Um slide, três colunas: antes, depois e a diferença. Não uma captura de tela de painel.
• Mostre o CSAT separado — bot e pessoa, lado a lado. Oferecer espontaneamente o número desconfortável compra credibilidade para o número lisonjeiro.
• Nomeie o risco com honestidade: o bot se degrada se ninguém o mantiver, e esta é a pessoa que mantém.
• Não projete economias a partir de uma resolução automática que você ainda não alcançou. Reporte o que aconteceu, não o que o fornecedor diz que vai acontecer.

A mentalidade de medição que de fato se sustenta

Toda métrica deste artigo pode ser manipulada, e a maioria será, normalmente sem ninguém pretender isso. A contenção sobe porque alguém escondeu a saída de emergência. O CSAT sobe porque a pesquisa só chega a quem recebeu resposta. O custo por conversa cai porque a definição de "resolvida" afrouxou silenciosamente.

A defesa não é uma métrica melhor. É o hábito de ler conversas reais.

Vinte transcrições por mês vão dizer mais sobre a qualidade do seu bot que qualquer painel já construído. Ninguém quer ouvir isso, porque painéis escalam e leitura não.

Então faça as duas coisas. Acompanhe os seis números, apresente o que sobrevive ao escrutínio e leia as transcrições mesmo assim — porque, no momento em que a automação começa a falhar, isso aparece nas conversas semanas antes de aparecer no gráfico. E quando o gráfico se mexe, algumas centenas de clientes já decidiram, silenciosa e permanentemente, que lidar com você dá mais trabalho do que vale a pena.