O placar de risco ainda vale?
Um banco usa um placar de risco, um número entre 0 e 1, para estimar quem tem maior chance de não pagar. O modelo aprendeu essa relação com dados do passado. A pergunta aqui é outra: quando chegam novas propostas, meses depois, o placar continua representando o risco ou envelheceu como um mapa que ainda não mostra as ruas novas do bairro?
O modelo ainda ordena o risco certo?
Antes de avaliar o valor exato do score, é preciso verificar a ordem: as propostas de maior risco recebem notas mais altas do que as de menor risco?
Escolha ao acaso duas propostas: uma adimplente e outra inadimplente. A AUC é a probabilidade de o modelo atribuir uma nota de risco maior à proposta inadimplente. 0,50 equivale a ordenar ao acaso. 1,00 representa uma ordenação perfeita.
A AUC mede a ordenação do risco. O Brier mede a qualidade das probabilidades: previsões próximas de 5% correspondem a taxas observadas próximas de 5%? Um modelo pode ordenar bem e, ainda assim, produzir probabilidades pouco confiáveis. É isso que o próximo ato verifica.
A probabilidade prevista bate com a realidade?
As propostas foram divididas em 10 faixas de score, da menor para a maior chance de não pagar. Role a página: o gráfico ao lado fica parado e a leitura avança um passo por vez.
Dez faixas, do menor para o maior risco
Cada faixa reúne cerca de um décimo das propostas, ordenadas pelo score do modelo. A faixa 1 contém as propostas consideradas mais seguras; a faixa 10, as consideradas mais arriscadas.
O eixo vertical mostra a taxa de inadimplência, isto é, a parcela que de fato não pagou.
O que o modelo previu
A linha verde-petróleo tracejada mostra a probabilidade média de inadimplência prevista em cada faixa.
Ela sobe da esquerda para a direita, como se espera de um score que separa propostas de menor e maior risco.
O que foi observado
A linha cobre mostra a taxa de inadimplência observada em cada faixa.
Quanta confiança essa medida merece
A área sombreada representa o intervalo de confiança de 95% da taxa observada. Quanto mais estreita, maior é a precisão da estimativa.
Por isso, uma proporção não deve aparecer sozinha: 5,35% em uma amostra de 13 mil casos oferece uma evidência diferente de 5,35% em apenas 30 casos.
A faixa que decide o resultado
É justamente nessa faixa que a instituição mais precisa confiar no número. Negar crédito a quem pagaria reduz receita. Conceder a quem não paga aumenta a perda.
| Faixa | Amostra (n) | Não pagaram | Previsto | Observado | IC95% inferior | IC95% superior | Diferença (p.p.) | Estado |
|---|
As novas propostas mudaram demais?
Um modelo aprende com um retrato do passado. Se o perfil das novas propostas muda, esse retrato pode envelhecer. Aqui comparamos a distribuição de cada variável no treino e na safra selecionada.
O KS mede a distância entre a distribuição de uma variável no treino e na nova safra. Valores próximos de zero indicam distribuições semelhantes; valores maiores indicam mais mudança. A variação de dados ausentes, expressa em pontos percentuais, mostra se a variável passou a faltar com mais ou menos frequência. Nenhuma das duas medidas prova que o modelo piorou. Elas indicam onde investigar.
Um jeito de descobrir se um placar de crédito envelheceu antes que o prejuízo apareça.
Instituições treinam um modelo de risco e podem continuar usando-o sem verificar se as novas propostas ainda se parecem com as que serviram de base. Quando o modelo envelhece em silêncio, decisões continuam apoiadas em um número que já pode não refletir a realidade.
Sem esse monitoramento, a equipe pode manter o modelo por inércia ou interrompê-lo por precaução. O painel reúne três sinais para orientar a análise: capacidade de ordenação, qualidade das probabilidades e mudanças no perfil dos dados. As proporções são apresentadas com tamanho de amostra e intervalo de confiança.