Há poucos dias, passamos por mais uma eleição em que o erro das pesquisas chamou a atenção do público. Aliados do presidente Jair Bolsonaro (PL) comemoraram a “derrota” das empresas de pesquisa, e comentaristas políticos de todas as estirpes ideológicas também levantaram a necessidade dos institutos “se reinventarem” e “fazerem uma autocrítica”.
No entanto, nenhum desses comentaristas fez uma investigação objetiva do desempenho das pesquisas eleitorais nesta eleição — e é isto que o Pindograma traz para você. A partir de uma análise de dezenas de pesquisas publicadas à véspera da eleição, tiramos algumas lições que ficam para o segundo turno de 2022 e para as eleições por vir:
- O desempenho das pesquisas eleitorais em 2022 não diverge radicalmente do padrão histórico. Isso mostra que está na hora da imprensa começar a comunicar melhor a incerteza que as pesquisas eleitorais carregam.
- Ipec e Datafolha não devem ser mais tratados como padrão ouro das pesquisas eleitorais no Brasil.
- Agregadores de pesquisa geralmente produzem prognósticos melhores do que institutos de pesquisa individualmente e, por isso, devem ser mais valorizados na cobertura eleitoral.
- O desempenho passado dos institutos não está correlacionado com desempenho futuro, mas Rankings de Institutos, como o do Pindograma, ainda são recursos importantes para interpretar o cenário eleitoral.
A seguir, mostramos com dados por que tiramos cada uma dessas conclusões. Mas, antes disso, fica um aviso: neste artigo, não investigamos as causas dos erros das pesquisas em 2022. Nos próximos dias, o Pindograma voltará ao assunto. Por ora, apenas assumimos que os erros existem e discutimos como devemos lidar melhor com eles.
I.
Para começar, vale comparar o desempenho das pesquisas em 2022 com o desempenho em anos anteriores. Nosso principal indicador de desempenho é o erro percentual médio de cada pesquisa — a média simples das diferenças absolutas, para cada candidato, entre intenção de voto estimada e votos válidos oficiais —, que vamos chamar apenas de “erro da pesquisa” daqui em diante.
| Média de erro das últimas pesquisas, em pontos percentuais | |||
| Presidente Nacional | Presidente Estadual | Governadores | |
|---|---|---|---|
| 2014 | 3,17 | 4,34 | 3,07 |
| 2018 | 2,46 | 2,25 | 3,65 |
| 2022 | 2,53 | 2,53 | 3,53 |
| Fonte: Pindograma. Foram incluídas na análise as últimas pesquisas de cada instituto em cada pleito desde que tenham sido publicadas a uma semana ou menos da eleição. | |||
Em primeiro lugar, a tabela mostra que as pesquisas para presidente de 2022 não foram particularmente piores do que as de anos anteriores. Mesmo as pesquisas que recebem mais atenção da imprensa — Ipec/Ibope e Datafolha — foram mais precisas em 2022 que em 2014, embora tenham sido levemente piores que em 2018.
Já o desempenho das pesquisas para governador em 2022 reproduziu o mau desempenho de 2018, quando as vitórias de Wilson Witzel no Rio de Janeiro e de Romeu Zema em Minas Gerais surpreenderam o país. Para quem achava que 2018 tinha sido apenas um deslize anormal no desempenho das pesquisas, 2022 foi um balde de água fria. Ao que tudo indica, erros médios maiores vieram para ficar nas eleições estaduais brasileiras.
Em geral, o desempenho das pesquisas em 2022 foi ruim, mas não foi excepcionalmente pior do que era no passado. Infelizmente, os índices históricos de erro das pesquisas — que permitiriam ao eleitor saber melhor o que esperar das pesquisas — são pouco divulgados na cobertura das eleições. A imprensa insiste nas margens de erro dos institutos que, como já descrevemos em 2020, não capturam a incerteza das pesquisas de maneira adequada.
Por isso, repetimos a lição que já havíamos tirado dos erros das pesquisas na eleição de 2020: “A imprensa precisa aceitar as incertezas [das pesquisas], transmitindo de forma mais realista e honesta o grau de precisão que podemos realmente esperar das pesquisas eleitorais. Em 2024, se virmos uma pesquisa na última semana do pleito dando 53% dos votos para uma candidata e 47% para outra, uma virada deveria ser tratada como um evento quase tão provável quanto uma vitória da líder — não como uma possibilidade remota ‘no limite’, ou fora, da ‘margem de erro’.”
Em outras palavras, o Pindograma acredita que deveria ser praxe da imprensa divulgar, junto com as pesquisas presidenciais, que erros em torno de 2,5 pontos percentuais por candidato são resultados esperados e não anomalias. Nas pesquisas para governador, esse índice está mais próximo de 3,5pp. Erros ainda maiores também são relativamente frequentes, e a chance deles ocorrerem deveria ser comunicada de forma mais clara para o eleitor.
II.
O Pindograma sempre insistiu em analisar os resultados de todos os institutos de pesquisa em vez de dar ênfase excessiva às empresas mais antigas como Ipec/Ibope e Datafolha. Os dois eram e continuam sendo bons institutos, mas, com base no histórico de acertos entre 2012 e 2020, já não havia razão para acreditar que eles eram muito melhores do que outros institutos com bom histórico, como Quaest, Futura, MDA, entre outros.
Este ano, está ainda mais claro que Ipec/Ibope e Datafolha se diferenciaram pouco da concorrência:
| Média de erro das últimas pesquisas, em pontos percentuais | |||
| Concorrência | Ipec / Ibope / Datafolha | Vantagem Ipec / Ibope / Datafolha | |
|---|---|---|---|
| Presidente Nac. 2014 | 3,71 | 2,36 | 1,35 |
| Governadores 2014 | 3,40 | 2,77 | 0,63 |
| Presidente Nac. 2018 | 2,59 | 2,00 | 0,59 |
| Governadores 2018 | 3,99 | 3,11 | 0,88 |
| Presidente Nac. 2022 | 2,56 | 2,37 | 0,19 |
| Governadores 2022 | 3,50 | 3,31 | 0,19 |
| Fonte: Pindograma. Foram incluídas na análise as últimas pesquisas de cada instituto em cada pleito desde que tenham sido publicadas a uma semana ou menos da eleição. | |||
Novamente, não se trata de defender que veículos de imprensa deixem de contratar e divulgar pesquisas desses dois institutos. Mas não há razão, além de conservadorismo, para que esses dois institutos continuem recebendo o grau excepcional de destaque e deferência que têm nos grandes meios de comunicação brasileiros.
III.
A defesa que o Pindograma faz de analisar todos os institutos de pesquisa implica na criação de um agregador de pesquisas que permita aos leitores visualizar simultaneamente vários levantamentos. Em 2020, o Pindograma criou um agregador de pesquisas próprio. Já em 2022, fechamos uma parceria com a AtlasIntel para desenvolvermos juntos o PollsterGraph, um agregador de pesquisas muito mais versátil que o anterior.
Em 2022, acompanhar as eleições por este agregador de pesquisa se provou mais certeiro, no geral, do que acompanhar apenas pesquisas de institutos selecionados. Comparemos, por exemplo, o desempenho do agregador com o desempenho do Ipec, AtlasIntel, Paraná Pesquisas e Real Time Big Data — os institutos que fizeram pesquisas eleitorais em 8 estados ou mais na semana anterior à eleição.
Em termos do erro percentual médio, o agregador chegou mais perto do resultado da eleição que todas as pesquisas do Real Time Big Data na base do Pindograma. O Paraná Pesquisas só superou o desempenho do agregador no próprio Paraná. Já o Ipec superou o agregador em apenas 3 de 22 estados: Rio de Janeiro, Rio Grande do Norte e Maranhão. (Em todas essas análises, o Sergipe foi excluído, devido à situação excepcional do candidato Valmir de Francisquinho.)
As pesquisas AtlasIntel competem melhor com o agregador: foram mais precisas que a agregação em 7 dos 10 estados que cobriram. No entanto, o agregador superou as pesquisas Atlas no Paraná, no Rio de Janeiro e no pleito mais importante: a eleição presidencial. Ou seja, mesmo em casos como o do Atlas, o Pindograma continua acreditando que acompanhar as tendências em um agregador de pesquisas, em vez de um único instituto, é o método mais seguro para apurar as tendências da opinião pública antes de uma eleição.
IV.
O Ranking do Pindograma sofreu várias críticas durante esta eleição, principalmente por colocar institutos “tradicionais” como Datafolha no mesmo nível de institutos tidos pela grande imprensa como menos rigorosos, como o Paraná Pesquisas. Naturalmente, nossa resposta era sempre apontar para os critérios objetivos que usamos para dar notas aos institutos. Também sempre deixamos claro que qualquer instituto que venha a errar mais no futuro cairá no ranking.
A seguir, no entanto, o Pindograma dá de bandeja aos nossos críticos a munição mais poderosa contra o nosso Ranking:
Como mostra o gráfico, a nota dos institutos com base em dados de 2012-2020 não foi um indicador muito bom do desempenho dos institutos em 2022 (correlação 0,03). Isto não é novidade — desde a criação do Ranking antes da eleição de 2020, fomos transparentes sobre este fato.
À época, levantamos três hipóteses de por que isso poderia ocorrer. A primeira era que o número de eleições incluídas no Ranking era muito pequeno. Duas eleições depois, o problema continua acontecendo na mesma escala, indicando que a causa dele provavelmente está em outro lugar.
A segunda hipótese era de que o Ranking do Pindograma fosse simplesmente mal feito. Neste caso, convidávamos nossos leitores a fazerem seus próprios rankings para tentar obter um desempenho melhor. Pois bem: logo antes da eleição de 2022, a AtlasIntel fez exatamente isso. Contudo, a despeito de usar critérios de classificação diferentes dos nossos, o Ranking AtlasIntel também não conseguiu prever muito bem o desempenho dos institutos em 2022. (O Pindograma compartilhará mais detalhes desta análise em texto futuro, que acompanhará a atualização do nosso Ranking de Institutos.)
Resta a hipótese de que, no Brasil, o desempenho passado de um dado instituto simplesmente não prevê seu desempenho futuro. Mas se este for o caso, qual é a utilidade de um ranking de institutos? No Pindograma, vemos três funções importantes neste produto:
- O Ranking ainda nos ajuda a identificar institutos que erram significativamente mais que a média nacional (notas C ou D) e que, portanto, merecem ser vistos com alguma desconfiança pelos nossos leitores.
- Acreditamos que, contra notícias falsas sobre pesquisas e tentativas de criminalizar as pesquisas eleitorais, o melhor jeito de defender a credibilidade dos institutos de pesquisa é com informação, e não com argumentos de autoridade. O Ranking revela que, embora errem mais do que as “margens de erro” oficiais, as pesquisas dos principais institutos ainda trazem informações importantes para o eleitor e para analistas políticos.
- O Ranking de Institutos qualifica o debate sobre o desempenho das pesquisas eleitorais. Ele nos obriga, por exemplo, a enfrentar o fato de que certos institutos tidos como “controversos” têm um bom histórico de acertos. Passa a ser inviável argumentar, sem dados, que “Instituto X é ruim porque errou muito no passado”. A crítica a essas empresas passa a depender de inferências mais concretas e menos impressionistas.
Por essas razões, o Pindograma irá atualizar o Ranking de Institutos nos próximos dias com dados de 2022, e pretende continuar mantendo-o nos próximos anos.
Dados utilizados na matéria: Resultados de Pesquisas Eleitorais (Pindograma, Poder360); Resultados das Eleições (TSE).
Contribuíram com dados: João Gado F. Costa, Pedro Siemsen, Pedro Fonseca.
Os dados e o código utilizados para gerar esta matéria podem ser encontrados aqui.
[Gostou do nosso conteúdo? Siga-nos no Twitter, no Facebook e no Instagram.]
