Lição 5: o modelo acerta? Testamos com 13 campeonatos

Qualquer site pode publicar porcentagens. A pergunta que importa é: elas batem com a realidade? Nesta lição a gente coloca o modelo do Errei de Novo à prova, com o que ele teria dito no passado, usando só o que se sabia em cada momento.

Como testar um modelo de forma honesta

A regra de ouro: o modelo não pode ver o futuro. Para cada jogo, calculamos a previsão com as notas de força que existiam antes daquele jogo. Só depois olhamos o resultado e atualizamos as notas. É assim que ele funciona no site, rodada a rodada.

Fizemos isso com todos os jogos da Série A de 2019 até outubro de 2026, quase 3 mil partidas.

Teste 1: as porcentagens batem?

Juntamos todas as previsões (vitória do mandante, empate e vitória do visitante) e separamos por faixa. Se o modelo é bom, quando ele diz "cerca de 30%", a coisa tem que acontecer em cerca de 30% das vezes.

Repare como a coluna da direita acompanha a da esquerda. Isso se chama calibração, e é a primeira coisa a exigir de qualquer previsão. Nas faixas mais altas o modelo é um pouco otimista demais com o favorito (diz 73%, acontece 69%), uma diferença pequena, que acompanhamos.

Teste 2: ele erra menos que o "chute inteligente"?

Calibração não basta: um modelo que sempre dissesse "mandante 48%, empate 27%, visitante 25%" também seria calibrado, mas não ajudaria em nada. Por isso usamos uma nota de erro, o RPS (explicado na lição 3). Quanto menor, melhor:

O modelo fica muito mais perto do mercado (milhares de pessoas e especialistas olhando cada jogo, até minutos antes do apito) do que do chute. E o modelo usa o mercado só como dado estatístico para ajustar a força dos times: o site não tem nenhuma relação com apostas.

Teste 3: o campeonato inteiro

O teste que mais interessa ao torcedor: na metade do campeonato (190 jogos disputados), quem o modelo apontava como favorito ao título?

10 acertos em 13 anos. E os três erros são justamente os campeonatos que viraram história: a arrancada do Palmeiras em 2018, a queda do Botafogo em 2023 e a virada do próprio Botafogo em 2024.

Um modelo que dá 69% e "erra" não está quebrado. 69% quer dizer que, em cerca de 3 de cada 10 campeonatos parecidos, o favorito não é campeão. Se ele nunca errasse com 69%, aí sim estaria mal calibrado.

E no rebaixamento? Na rodada 30, dos 52 times que acabaram caindo entre 2013 e 2025, 39 já tinham mais de 50% de chance de cair segundo o modelo.

O que o modelo não sabe

• Lesões, troca de técnico, venda de jogador: o modelo só percebe pelo resultado dos jogos e pelo mercado, com algum atraso.
• Tabela de pontos fora de campo: punições do tribunal não entram na simulação até acontecerem.
• Motivação: time já classificado ou já rebaixado no fim do ano joga diferente, e o modelo não sabe disso.

Exercício

Na tabela acima, o favorito tinha em média 62% de chance na metade do campeonato. Quantos acertos você esperaria em 13 anos?

Resposta: 13 × 0,62 ≈ 8. Ele acertou 10, um pouco acima do esperado, mas dentro do normal para uma amostra pequena. Bom sinal: nem otimista, nem pessimista demais.