NPS Predictor

O resultado traz a probabilidade de cada classe de NPS (Detrator, Neutro, Promotor) e se o corte de 19% recomenda ação de retenção. A classe mais provável pode não bater com a decisão de agir: o corte usa só a probabilidade de detrator, porque esse é o erro que custa mais caro para o negócio.

As métricas comparam quantos detratores existem no volume mensal, quantos o modelo pega no recall configurado e quantas ações seriam disparadas sem necessidade real (falso positivo). A tabela de sensibilidade varia LTV e retenção pós-ação juntos: o ROI muda bastante dependendo dessas duas premissas, e nenhuma delas foi medida neste projeto.

Como ler esta demo

Triagem, não sentença

O ranking abaixo mostra quais sinais o modelo mais usa para separar as classes de NPS. Importância alta não significa causa: é só o quanto aquele sinal ajuda a árvore a decidir, medido sobre o dado de treino.

Dados sintéticos, demonstração de método. Nenhum número aqui é resultado real do cupom.

1. O termômetro de risco estava calibrado?

Antes de usar "40% de risco de virar detrator" para decidir qualquer coisa, precisamos saber se esse número bate com a realidade. No dado real da Fase 1, o modelo original errava para menos em toda a faixa: dizia, por exemplo, 40% quando o risco de verdade era maior. Corrigimos essa distorção (recalibração isotônica) e o erro médio caiu de 10 pontos percentuais para 1,3. Achado real, medido no dado da Fase 1, não sintético. Sem esse ajuste, qualquer conta feita em cima da probabilidade estaria em cima de um número torto.

2. A régua de medir passou no teste antes de valer

Antes de confiar na fórmula que vai dizer "o cupom funcionou ou não", testamos essa fórmula em 60 cenários onde já sabíamos a resposta certa de antemão (nós mesmos plantamos o efeito). Resultado: a fórmula acerta o valor certo, em média, e quando ela diz "95% de confiança" ela realmente acerta perto de 95% das vezes. Se esse teste falhasse, nenhum número dos passos seguintes seria confiável.

3. O método acha o efeito certo, grupo por grupo

Simulamos um A/B de verdade: sorteamos clientes entre "recebe cupom" e "não recebe", separados em três grupos por nível de risco. Plantamos um efeito diferente em cada grupo de propósito, maior no detrator ainda recuperável, quase nulo no detrator quase certo, para ver se o método enxerga essa diferença. Ele enxerga: em todos os grupos, o que o método mediu bate com o efeito real que plantamos, dentro da margem de erro esperada.

4. A pergunta que decide tudo: vale a pena escalar?

Cada linha do gráfico é um grupo de risco; o eixo horizontal é o número que ainda não medimos, quanto vale reter um cliente (a faixa laranja, entre R$ 105 se contarmos só a margem e R$ 350 se contarmos a receita cheia). Abaixo da linha zero é prejuízo, o cupom custou mais do que trouxe; acima é lucro. Repare que a linha "total" cruza de prejuízo para lucro bem no meio da faixa laranja: com os dados que temos hoje, não dá para afirmar se o cupom se paga ou não. Essa incerteza não é falha do método, é a informação real que falta. Decidir escalar sem medir o valor do cliente no CRM seria apostar, não decidir.

5. Quanto tempo levaria para ter certeza

Rodar esse teste com clientes reais não é instantâneo. Quanto menos clientes recompram sozinhos, sem nenhuma ação, mais tempo o teste precisa rodar para separar sinal de ruído, porque o efeito do cupom fica mais difícil de distinguir da variação normal. Por isso travamos um teto de 6 meses: se depois desse prazo o resultado ainda não for claro, a conclusão honesta é "o efeito, se existe, é pequeno demais para valer a pena no volume atual", não "vamos continuar testando para sempre".

Desenho completo: ADR-0002 e spec. Débito de engenharia resolvido: ADR-0003. Protótipo completo: notebook.