Busca por relatórios “direto da fonte”

Usando dados do TSE, localizamos todos os institutos de pesquisa que registraram mais de 15 pesquisas entre 2012 e 2018. Em seguida, procuramos os sites de todas essas empresas, e quando disponíveis, baixamos todos seus relatórios de pesquisa disponíveis na Internet. São poucos os institutos que disponibilizam essas informações – mas os que o fazem geralmente são os que mais publicam pesquisas. Só do Ibope, por exemplo, coletamos 928 PDFs relativos às últimas quatro eleições.

Para a maior parte desses relatórios, escrevemos um programa para extrair as suas informações de forma automática. Com isso, a transcrição manual de resultados só foi necessária com uma minoria de PDFs irregulares. No total, agregamos 1.835 pesquisas dessa forma.

Inicialmente, esperávamos receber mais relatórios entrando em contato com os institutos que não os disponibilizavam pela Internet. Mas mesmo depois de um mês pedindo esses documentos por telefone para mais de cem institutos, só dois enviaram essas informações ao Pindograma. Com isso, nos restou buscar notícias na Internet que continham os resultados de pesquisas dessas empresas.

Busca por notícias que contêm resultados de pesquisa

Para garantir o levantamento mais completo possível de pesquisas eleitorais publicadas na Internet, aproveitamos o registro de pesquisas do TSE. Segundo a lei brasileira, toda pesquisa para divulgação no Brasil tem que ser registrada junto à Justiça Eleitoral. Com o registro, cada pesquisa recebe um número de identificação, e a lei exige que esse número seja divulgado sempre que os resultados da pesquisa são mencionados.

Alguns meios de comunicação publicam pesquisas sem número; outros publicam esse número de forma pouco ortodoxa. Quase sempre, porém, pesquisas que foram divulgadas na Internet são localizáveis através de uma busca seu número em um search engine.

O Pindograma usou a API do Bing (o Google não tem API de busca) para automatizar a busca pelas 20.771 pesquisas registradas no TSE entre 2012 e 2018. Em seguida, veio a etapa mais trabalhosa do processo todo: transcrever os resultados. Toda a equipe do Pindograma, aliada por sete colaboradores, “preencheu planilhas” durante três meses para consolidar o levantmento de pesquisas eleitorais do período de 2012-2018 mais completo até hoje.

Desse processo, saíram 3.367 pesquisas eleitorais – o que pode parecer pouco, comparado com as 20 mil pesquisas registradas junto ao TSE. No entanto, essa diferença faz sentido, e deve-se a alguns fatores:

• Uma parte considerável do jornalismo local no Brasil não se digitalizou. Isso faz com que muitas pesquisas para prefeito não sejam localizáveis pelo Bing. (Isso também explica, parcialmente, por que a base do Poder360 contém cerca de mil pesquisas que o Pindograma não conseguiu levantar).

• O Bing tem suas limitações, e não indexa todos os sites relevantes que possam ter publicado resultados de pesquisas eleitorais.

• Acima de tudo, boa parte das pesquisas registradas para divulgação no Brasil simplesmente não é publicada. São sondagens que se encaixam em vários cenários: podem ter sido contratadas por candidatos a quem não interessava a publicação do resultado; podem ter sido encomendadas, mas canceladas por falta de pagamento; ou podem até mesmo ter sido registradas para burlar o controle da Justiça Eleitoral sobre pesquisas fraudulentas, como já mostrou o Pindograma. O ponto é: institutos não têm nada a perder registrando pesquisas em excesso no sistema do TSE.

De toda forma, o Pindograma pretende continuar alimentando sua base com pesquisas que for encontrando. E você pode nos ajudar com isso! Caso você saiba de uma pesquisa que não está aparecendo nosso banco de dados, mande um email para nós em pesquisas@pindograma.com.br.

Pós-processamento dos dados

Para garantir a qualidade desses dados, o Pindograma fez uma série de verificações. Corrigimos pesquisas cujo total somava mais de 100%, sondagens que estavam associadas às cidades erradas, e outras coisas do gênero. Em seguida, cruzamos todas as pesquisas que encontramos com a relação de candidatos divulgada pelo TSE.

Combinação com base do Poder360

Como mencionamos anteriormente, as limitações do conjunto de pesquisas do Poder360 levaram o Pindograma a montar sua própria base de pesquisas eleitorais. No entanto, não vimos problema em complementar nosso levantamento com dados do Poder360, quando necessário.

Pois bem: entre 2012 e 2018, o Poder360 acumulou 2.854 pesquisas “utilizáveis” – isto é, pesquisas que restaram após o tratamento dos dados e a remoção de sondagens que não tinham um número do TSE. Destas, 871 não foram localizadas no levantamento do Pindograma.

Há algumas razões possíveis para o Pindograma não ter encontrado essas pesquisas, como falhas no Bing e a ausência de digitalização de algumas sondagens. Além disso, o Poder360 parece ter sido o único veículo que acumulou certas pesquisas. Por isso, decidimos incorporar essas pesquisas ao nosso banco de dados, levando nossa base a 6.062 pesquisas:

Verificação dos resultados de pesquisa

Depois disso, faltou apenas verificar a integridade dos nossos dados. Como saber se a quantidade de erros de preenchimento na nossa base era aceitável? A solução que encontramos foi comparar as 1.983 pesquisas que tanto o Pindograma quanto o Poder360 haviam acumulado independentemente.

O resultado foi que 97% das entradas comuns aos dois bancos bateram, o que indica um alto índice de confiabilidade das duas bases. Já entre as poucas entradas que não bateram, o Pindograma acertou cerca de dois terços; e o Poder360 acertou o outro terço.

Dessa forma, pudemos usar esses dados com a consciência tranquila, sabendo que eram de alta qualidade.

1) Seleção

Para calcular o desempenho de cada instituto, o Pindograma não usou todas as pesquisas disponíveis na base. Em vez disso, selecionamos as sondagens que entram no cálculo a partir dos seguintes critérios:

• Pleitos majoritários. Foram excluídas pesquisas para deputado estadual, deputado federal, e senador.

• Âmbito da pesquisa. O Pindograma incluiu na análise as pesquisas nacionais para presidente; estaduais para presidente; estaduais para governador; e municipais para prefeito. Não incluímos pesquisas para presidente ou governador no âmbito municipal. Também excluímos pesquisas cujo âmbito é uma região específica, como pesquisas para governador em cidades do litoral de São Paulo. (O âmbito de cada pesquisa foi manualmente determinado pelo Pindograma através de dados do TSE).

• Proximidade da eleição. Não faz sentido avaliar pesquisas feitas longe da eleição, ainda mais em pleitos voláteis. Por isso, selecionamos somente pesquisas feitas a três semanas ou menos do primeiro turno; ou a duas semanas ou menos do segundo turno.

• Completude da pesquisa. O Pindograma excluiu pesquisas que tinham somente uma lista parcial de candidatos. Listas parciais ocorrem quando há uma falha no cruzamento com a base de candidatos do TSE; ou quando o site do qual tiramos a pesquisa não lista todos os candidatos. (A pesquisa foi considerada incompleta quando os candidatos listados pela pesquisa não somaram 90% ou mais dos votos válidos no dia da eleição).

• Preferência por pesquisas estimuladas. Pesquisas eleitorais no Brasil geralmente fazem duas perguntas para aferir intenções de voto: em quem o entrevistado votaria; e quem o entrevistado escolheria de uma lista de candidatos. A primeira pergunta é uma sondagem espontânea; e a segunda pergunta é uma sondagem estimulada. O Pindograma selecionou as respostas estimuladas para análise sempre que pôde; mas quando não havia uma resposta estimulada para selecionar, incluímos os resultados da espontânea. (Nas últimas semanas antes da eleição, a diferença entre as pesquisas estimuladas e espontâneas são relativamente pequenas. Por isso, a comparação não fica prejudicada).

• Descarte de cenários alheios ao pleito mais próximo. Não incluímos na análise pesquisas que perguntaram, no primeiro turno, em quem o eleitor votaria no segundo turno. Também foram descartadas pesquisas que deram mais de um cenário de candidatos para o eleitor (por exemplo, uma pesquisa que incluiu um cenário com Lula e outro com Haddad). Afinal, esse tipo de pergunta é raro (e inadequado) a somente três semanas da eleição.

• Descarte de pesquisas para as quais não sabemos os votos totais. É importante para o Ranking saber quantos votos brancos e nulos uma pesquisa teve. Quando não tínhamos essa informação, a pesquisa foi retirada da análise.

2) Erro Médio Ajustado

Selecionadas as pesquisas, o Pindograma comparou seus resultados com o veredito das urnas.

A medida mais comum para essa comparação no Brasil tem sido a média simples das diferenças absolutas, para cada candidato, entre intenção de voto estimada e votos válidos oficiais. Esse critério, utilizado pelo estatístico Neale El-Dash e pelos cientistas políticos Marcus Figueiredo e Wladimir Gramacho, é exemplificado a seguir:

Esse exemplo foi escolhido de propósito, pois revela as limitações desse método para calcular o erro médio das pesquisas. O instituto pode cometer um erro crasso no que tange a alguns candidatos, mas esse erro acaba sendo diluído pelos “acertos” no que tange aos outros.

Para resolver esse problema, o Pindograma calculou o erro de cada pesquisa usando o desvio padrão das diferenças com sinal, para cada candidato, entre intenção de voto estimada e votos válidos oficiais, como mostra o exemplo:

Com esse desvio padrão – que passamos a chamar de erro médio ajustado, conseguimos quantificar melhor os erros das pesquisas eleitorais no contexto brasileiro.

3) Índice de Desempenho I

De todo modo, o erro médio ajustado ainda não é um bom número por si só para avaliar as pesquisas eleitorais. Não é justo comparar o erro médio ajustado de duas pesquisas se elas tiverem sido feitas em momentos muito diferentes; assim como não faz sentido comparar o erro médio ajustado de sondagens para prefeito com o de sondagens para presidente – afinal, pesquisas para presidente tendem a acertar muito mais.

Para resolver esse problema, o Pindograma calculou um índice de desempenho de cada instituto que leva em conta todos esses fatores, e mais alguns. Para isso, montamos uma regressão linear que calcula o efeito das seguintes variáveis sobre o erro médio ajustado de toda pesquisa:

• Tipo e âmbito da pesquisa (nacional para presidente; estadual para presidente; estadual para governador; estadual para prefeito);

• Se a pesquisa foi feita para o primeiro ou segundo turno;

• Quantos dias faltavam para a eleição;

• Quantas pessoas foram entrevistadas pela pesquisa;

• A unidade federativa em que foi realizada a pesquisa (ou se ela foi uma pesquisa nacional);

• O percentual de votos brancos ou nulos da pesquisa.

Em seguida, tiramos a diferença entre o erro médio ajustado de cada pesquisa com o erro médio ajustado que teria sido esperado dessa pesquisa, dadas as características especificadas acima. E chamamos esse número de Índice de Desempenho I.

Por exemplo: no caso de uma pesquisa nacional para presidente a 5 dias do primeiro turno com 2.000 entrevistados, a regressão nos diz que um erro médio ajustado de 4,7 pontos percentuais seria esperado. Por isso, caso uma pesquisa com essas especificações tivesse um erro médio ajustado de 6 pontos, ela receberia um índice de desempenho de 1,3. Já se ela tivesse um erro médio ajustado de 3 pontos, o índice seria de -1,7. Note que quanto menor esse índice, melhor é o desempenho da pesquisa.

4) Índice de Desempenho II

O Índice de Desempenho I permite uma comparação mais justa entre todas as pesquisas na nossa base. Mas, em alguns casos, esse índice ainda pode ser melhorado.

Imagine, por exemplo, duas eleições para prefeito no interior de São Paulo. Na cidade A, não houve nenhum grande evento, e as pesquisas feitas a uma semana do pleito conseguiram prever relativamente bem os resultados da corrida. Na cidade B, porém, um evento de última hora conseguiu mudar o curso da eleição – e com isso, todas pesquisas realizadas a uma semana da votação acabaram errando bastante.

Pelo Índice de Desempenho I, o desempenho das pesquisas nas cidades A e B seriam medidas pela mesma régua: os erros de ambas seriam comparados com o erro médio esperado para pesquisas municipais feitas a uma semana da eleição no estado de São Paulo. No entanto, essa comparação pode ser injusta com as empresas que fizeram pesquisas na cidade B. Afinal, institutos de pesquisa não deveriam ser penalizados por terem feito pesquisas em cidades onde os resultados são mais difíceis de estimar.

A solução óbvia para esse problema é comparar cada pesquisa somente com outras sondagens no mesmo pleito (por exemplo, o segundo turno da eleição para prefeito de Curitiba em 2016). Essa estratégia funciona bem no caso de institutos que cobrem pleitos “populares”, como eleições para presidente ou para prefeito de grandes capitais. Nessas corridas, o número de pesquisas é grande, e a comparação com outras sondagens é possível. Mas esse não é o caso na grande maioria das eleições: em média, são divulgadas apenas 2,5 pesquisas por pleito a três semanas ou menos da eleição.

Com o Índice de Desempenho II, tentamos equilibrar essa comparação intra-pleito com o Índice de Desempenho I. Caso a pesquisa tenha sido feita em uma eleição onde houve muitos outros institutos presentes, o desempenho é calculado com maior peso na comparação intra-pleito. E caso tenha havido poucos institutos presentes, mais ênfase é dada ao Índice de Desempenho I.

Há apenas um último detalhe sobre o Índice de Desempenho II. Para evitar comparações injustas entre pesquisas conduzidas em espaços de tempo diferentes, o Pindograma não faz uma comparação intra-pleito stricto sensu. As pesquisas de cada eleição são divididas em dois grupos: aquelas feitas a uma semana ou menos da votação; e aquelas feitas a mais de uma semana do pleito. A fórmula é aplicada dentro de cada grupo.

Em termos concretos, o cálculo desse índice é simples, e pode ser descrito pela seguinte fórmula:

\[ indice_2 = \frac{n * (x - m) + 3 * indice_1}{n + 3} \]

Aqui, \(n\) é o número de institutos que fizeram sondagens no pleito pesquisado; \(m\) é a média dos erros médios ajustados das pesquisas no pleito pesquisado; \(x\) é o erro médio ajustado da pesquisa em questão; e \(indice_1\) é o Índice de Desempenho I da pesquisa em questão. Vale notar que, assim como o índice anterior, quanto menor o valor, melhor o desempenho da pesquisa.

5) Índice Final

O passo seguinte é calcular uma média simples do Índice de Desempenho II para todas as pesquisas de cada instituto. Com isso, obtemos nossa primeira medida de desempenho para cada empresa de pesquisa. Por exemplo:

Mais uma vez, trata-se de um exemplo escolhido para demonstrar um problema. Os desempenhos desses quatro institutos são parecidos pela média do Índice de Desempenho II, embora haja uma assimetria entre o número de pesquisas analisadas para essas quatro empresas.

Com apenas doze pesquisas analisadas, não é certo que o índice de -0,613 represente, de fato, o desempenho do Instituto A. Por um lado, o instituto pode simplesmente ter dado sorte nas pesquisas que o Pindograma analisou, e seu desempenho real pode ser menor que a indicada pelo índice. Por outro lado, o Instituto A pode ter tido azar nesses levantamentos, e a qualidade das suas pesquisas pode ser ainda maior do que é indicado pelo índice. Já com o Instituto B, esse problema não existe. Com 848 pesquisas analisadas, é bem mais plausível de se supor que o índice de -0,578 realmente represente o desempenho do instituto como um todo.

O Pindograma lidou com essa diferença de confiabilidade através de uma regressão à média. Para calcular o Índice Final de Desempenho de cada instituto, nós adicionamos 30 pesquisas “neutras” ao histórico de cada empresa. Em seguida, recalculamos a média do Índice de Desempenho II para cada instituto – levando em conta as pesquisas “neutras”. Com isso, empresas com mais pesquisas tendem a manter sua posição no ranking; enquanto pesquisas com menos pesquisas tendem mais à média.

Dito isso, há dois tipos de pesquisas “neutras” que aplicamos ao Ranking de Pesquisas. Para institutos de pesquisa credenciados em Conselhos Regionais de Estatística (CONREs) ou na Associação Brasileira de Empresas de Pesquisa (ABEP), a pesquisa neutra tem um Índice de Desempenho II de -0,07. Para os não-filiados, esse índice é de 0,74. Em outras palavras, caso um instituto tenha poucas pesquisas disponíveis para análise, ele recebe um bônus no Ranking por estar filiado à ABEP ou aos CONREs. Já os institutos com mais pesquisas são pouco afetados pela filiação.

O Pindograma não tem nenhuma relação com a ABEP ou com os CONREs, e não ganha nenhuma vantagem para aplicar esse critério. (Alguns CONREs, inclusive, se recusaram a responder pedidos do Pindograma por listas de empresas credenciadas). Mas o fato é que pesquisas feitas por institutos-membros tendem a errar consideravelmente menos do que as feitas por institutos não-membros. Nós supomos que isso ocorra porque institutos fraudulentos não se filiam a essas organizações; ou porque empresas mais comprometidas com boas práticas façam mais questão de se filiarem a essas entidades.

Com isso, obtivemos o Índice Final de Desempenho de cada instituto de pesquisa. A última etapa foi dividir os institutos avaliados em seis grupos: A, B+, B, B-, C e D (esse número de grupos foi escolhido com a Regra de Sturges). E assim, concluímos o cálculo do nosso Ranking.