Joana Monteiro é doutora em economia pela PUC-Rio e professora da FGV no Rio. De 2015 a 2018, dirigiu o Instituto de Segurança Pública do Rio de Janeiro (ISP-RJ), órgão responsável pela consolidação de estatísticas de criminalidade no estado. Entre 2019 e março de 2021, ela dirigiu o Centro de Pesquisas do Ministério Público do Rio (CENPE/MPRJ).
Em janeiro de 2021, Monteiro e sua equipe publicaram o relatório do Projeto Farol, que revelou os desafios do sistema de justiça criminal do Rio de Janeiro. Os dados que embasaram o relatório também foram disponibilizados, o que permitiu que o Pindograma destrinchasse a eficiência das promotorias fluminenses.
Em conversa com o Pindograma, Monteiro falou sobre a receptividade da polícia e do MP a políticas públicas baseadas em evidências; sobre o processo político dentro do sistema de justiça criminal; e criticou o modo como a academia brasileira se relaciona com o governo. Também falou sobre como dados vêm guiando mudanças no Ministério Público do Rio.
Pindograma: Qual é a sua estatística favorita?
A estatística que eu mais gosto é a concentração de crimes: 50% dos roubos estão em só 3,5% do território do Rio de Janeiro. E isso tá dentro da lei de concentração de crimes, algo que foi cunhado pelo [criminologista] David Weisburd. Todo mundo fala: “O Rio de Janeiro é muito diferente, é muito diferente de tudo”, mas tá dentro dos padrões de concentração de crimes [do resto do mundo].
Pindograma: Você vinha organizando dados sobre o sistema de justiça criminal, mas não adianta nada se as pessoas que trabalham com isso não os entendem. Como que as pessoas reagem normalmente ao serem apresentadas com esses dados?
Joana Monteiro: Eu acho que a capacidade das pessoas de entendimento de um dado é muito, muito inferior do que a gente imagina. Tipicamente, eu acho que um leitor médio consegue absorver apenas 1 ou 2 estatísticas. Mas tipicamente, o acadêmico, o pesquisador, ele faz um relatório que tem um zilhão de dados, de informações. Aquilo ali é inconsumível pras pessoas, pra quem está executando políticas públicas. É muito mais útil, na minha opinião, você pegar uma única estatística e ficar martelando ela.
A gente precisa escolher algumas estatísticas para obter a atenção das pessoas. Tem que ser uma coisa que não é óbvia para elas, mas também não pode ser algo que é completamente irreal. Quando eu começava a falar para as pessoas sobre estatísticas de concentração de crimes, elas respondiam: “Nenhuma chance de ser verdade isso”. Eu respondia: “Mas é assim, eu não to inventando nada não”.
Eu trabalhei por seis anos no governo. Fiquei quatro anos no Instituto de Segurança Pública e dois no Ministério Público. Nessas posições, eu tinha meu diálogo com tomadores de decisão, mas que não têm expertise em dados. O que eu mais aprendi a comunicar foi a partir da reação das pessoas, do tipo: “A cara da pessoa tá mostrando que ela não entendeu nada do que eu disse”. Eu brinco que eu virei uma leitora de body language pra saber quem tá entendendo e quem não tá. Você testa várias vezes diferentes o jeito de falar e alguma hora você começa a ver: “Agora foi”.
Uma coisa que eu falo muito e acho que é muito pouco usada no Brasil é que a responsabilidade de ser entendido é de quem fala e não de quem escuta. A reação mais comum quando alguém não entende alguma coisa é de que a pessoa pede desculpa, mas não, a responsabilidade de se fazer compreender é de quem explica.
Pindograma: A reação da polícia aos dados que você apresentava era muito diferente da reação no Ministério Público?
Joana Monteiro: Não tem um policial médio nem um promotor médio. O que eu te diria é que a capacidade de compreensão é muito inferior do que a gente imaginaria, vendo de fora. As pessoas são muito pouco treinadas, a matemática é muito menos presente na vida das pessoas do que a gente imagina, mesmo entre pessoas que têm mestrado ou doutorado. Tem gente que vê número e apavora, tem o trauma da escola.
Uma coisa que é muito pouco sabida é que compreensão de gráfico é uma coisa que pouquíssimas pessoas têm. Por exemplo, scatterplot [gráfico de dispersão] é uma coisa que poucas pessoas entendem.
Eu trocava eles por gráficos simplérrimos que perdiam conteúdo. Porque é preferível que as pessoas entendam [alguma coisa] do que usar aqueles gráficos tipo os da [revista] The Economist que tem três informações no mesmo gráfico. Aquilo ali é impossível.
A Polícia Militar tem pessoas que trabalham com análise criminal no seu dia-a-dia, então eles têm mais noção dos números. Mas é muito raro encontrar uma pessoa assim.
Mesmo no jornalismo, eu tenho uma história que uma vez um jornalista fez uma reportagem que eu tinha dito tudo em termos relativos e percentuais e aí o jornalista trocou tudo para termos absolutos. Aí eu falava em porcentual e ele falava “eu quero números, eu quero um milhão”. Um milhão não quer dizer nada. A mensagem da reportagem saiu totalmente errada no final.
Pindograma: Você falou sobre como é importante martelar um único número na cabeça das pessoas. No relatório sobre as atividades do MP, vocês tiveram que escolher entre vários índices de desempenho do sistema de justiça criminal. Como foi essa decisão?
Joana Monteiro: Essa é uma coisa que, pra falar a verdade, ainda me incomoda muito. Porque foi uma decisão que foi técnica, mas que não pode ser só técnica. O indicador precisa primeiro de uma definição de qual é a prioridade institucional, o que é uma decisão política. Depois, tomando a decisão política, sabendo qual é a prioridade, aí os analistas vão se virar para ver qual é a melhor forma de indicar isso. O MP ainda tá num processo de discussão.
Acabamos decidindo [o indicador] falando com os promotores que trabalham com a gente. Definimos a taxa de finalização [como o principal índice de desempenho do Ministério Público] porque os promotores explicaram que o que se espera deles é que eles finalizem o seu caso, seja arquivando ou denunciando. [A taxa de finalização é a porcentagem de inquéritos policiais denunciados ou arquivados pelo Ministério Público.]
Se você perguntasse pra mim, eu diria que [o indicador deveria ser a] taxa de denúncia, porque eu quero é ter um processo pra frente desse crime. Mas eu falei: “Vamos colocar a finalização e depois vamos olhar as denúncias”. O que eu espero é que haja no futuro uma discussão institucional do que é importante ver.
Pindograma: O que levou à reorganização das promotorias de investigação penal do MPRJ no começo de 2020?
Joana Monteiro: A primeira demanda era que a gente precisava ajudar a rebalancear os inquéritos, porque os inputs estavam diferentes. A gente tinha algumas promotorias com um volume de inquéritos de entrada muito grandes e outras com um volume muito pequeno. Aí as pessoas falavam que precisavam da nossa ajuda pra responder o “tira de quem, dá pra quem’’.
A outra demanda a partir daí era fazer um monitoramento ativo [do desempenho de cada promotoria]. A gente começou a fazer alguns exercícios, calculando a taxa de finalização e outros indicadores [de cada promotor]. Mas quando eu mostrava para as pessoas, a reação era que eu não podia comparar algumas promotorias com outras: “Esse número não quer dizer nada, eu sou totalmente diferente do fulano e você pode falar tantas vezes que eu tô melhor, pior que eu não vou me importar”. As primeiras três reações foram desse jeito.
Realmente, não tinha como comparar isso. E isso é um problema insolúvel do ponto de vista dos dados. Já tinham sido feitos alguns esforços por estatísticos de uma outra equipe, de fazer cluster de promotorias [agrupamentos estatísticos de promotorias com características parecidas, para torná-las comparáveis entre si]. Mas aí você acabava com 15 clusters de promotorias e você virava e falava pras pessoas: “Ah, você é do cluster 11 e você do 2”, e ninguém entendia nada. Se a pessoa não entende o que tá ali, aquilo não serve muito.
Nós começamos a puxar isso e falamos, vamos criar regras de alocação geográfica. Quem tava liderando o projeto do lado dos promotores entendeu isso e fomos discutindo como viabilizar isso politicamente, porque não era trivial porque, dado o modelo do MPRJ, os promotores têm que concordar com as mudanças, cada um. Então, politicamente é uma costura nada trivial. Eles foram muito hábeis em construir essa costura e no final das contas foram redesenhados 55 órgãos, sendo que quando a gente começou falavam que se a gente redesenhasse 5 era lucro.
Mas foi um processo que foi importante ter um trabalho de visualização de dados muito bom para ajudar todo esse convencimento. Não é só o gráfico ser bonito, mas a argumentação também, de por que isso é importante, a que isso vai levar etc.
Pindograma: Agora que o MP tem essas áreas de atuação onde os inquéritos são distribuídos aleatoriamente entre as promotorias nas áreas, você acha que agora é possível comparar as taxas de finalização nas mesmas áreas, ou outros indicadores no mesmo sentido?
Joana Monteiro: Dá. Agora, o grande desafio que a gente tem é que só esse relatório não vai fazer muita coisa. O que eu defendo é que a gente precisa ter algum programa de engajamento, de como fazer o uso ativo daquela informação. Existem várias formas de fazer isso. Uma forma é a transparência pública, a mídia vai fazer reportagem e aí as pessoas vão mexer. Mas, se a mídia e o cidadão comum não entenderem o que faz um promotor, o jornalista vai deixar de escrever sobre aquilo porque ninguém tá entendendo nada. Então ele não é um mecanismo por si só que resolva todos os problemas.
Eu acho absolutamente fundamental você ter dentro da chefia institucional — e isso vale para qualquer área do governo — que queira tomar decisões com base nessas informações, queira usar aquela informação pra prestar contas, pra perguntar o que tá acontecendo e aquilo ser um objeto de consulta mandatório e algo que paute reuniões. Aí eu acho que muda tudo.
É o passo zero o líder já ter identificado aquele problema e ter tomado uma decisão: “Eu quero fazer algo sobre esse problema”. Essa parece uma decisão trivial, mas ela é muito rara. Por exemplo: “Eu quero aumentar o desempenho das promotorias, aí vamos fazer uma proposta, fazer uma reunião”. Isso tem custos políticos, não é todo mundo que gosta. A pessoa [na liderança] precisa considerar que [o objetivo é] importante, para tocar a coisa dessa forma.
Pindograma: Você e a sua equipe chegaram a pensar em alguma intervenção em termos de política pública baseado nisso?
Joana Monteiro: Depende do que a liderança [do MPRJ] definir.
A graça de estar dentro do governo para fazer essas coisas é que você tá mais próximo de quem tá decidindo. Mas mesmo assim, é muito difícil. A Esther Duflo, que ganhou o Nobel dois anos atrás, deu uma palestra onde ela fala isso. Ela diz: “Gente, são 100 propostas e 2 sucessos!” Tem que tentar muito, não é trivial.
Pindograma: Você passou um tempo fazendo pesquisa no exterior. O tempo que você passou fora mudou a maneira com que você pensa políticas públicas no Brasil?
Joana Monteiro: Bastante, totalmente. Experiência no exterior é life-changing. Eu estava lá analisando dados do Brasil, mas o grande diferencial de você estudar fora é ter acesso a um ambiente acadêmico de ponta, onde há muita troca. É um ambiente infinitamente mais rico e rigoroso do que a gente tem aqui no Brasil.
As pessoas ficam super irritadas quando eu falo isso, porque elas assumem que eu tô falando que tudo no Brasil é ruim, mas não é assim. O que foi um divisor de águas na minha vida é o rigor, como que as coisas são feitas. O rigor que você exige do que se fala. Se você fala de um gráfico que “o gráfico me diz isso” e ele não diz, um monte de gente levanta a mão e responde que você tá errado. Não há qualquer medo e constrangimento em falar que alguém está errado. No Brasil, é o contrário. Você tem um constrangimento gigantesco e o grande problema de um ambiente sem crítica é que as coisas não evoluem.
Eu fiz mestrado e doutorado no Brasil e nós tínhamos esse ambiente de crítica lá na PUC-Rio, na economia. Mas mesmo assim você tem mais volume lá fora. Nos EUA eu também aprendi a falar diretamente, ir direto ao ponto. Uma coisa que os americanos falam é que você não faz surpresas, você não mantém um suspense até o final. dá a sua conclusão de cara e depois você explica como chegou. Isso é uma técnica que, no fundo, é pra dar mais clareza e objetividade pro que você tá falando.
Isso fez uma diferença enorme pra mim no governo, porque quando você fala com quem toma a decisão, ele não tem tempo pra nada, ele tem 5 minutos pra você. Mesmo que ele sente meia-hora, você tem 5 minutos na prática porque depois o WhatsApp dele começa a bombar.
Quando eu estava estudando lá, tinha algo parecido. A maioria dos professores separava tempo para fazer office-hours, um momento onde qualquer pessoa podia conversar com eles para fazer perguntas e coisas do tipo. Era bem democrático no sentido que todos tinham 15 minutos e era isso, depois disso eles levantavam e abriam a porta para outra pessoa entrar. 15 minutos você não pode se apresentar, você não pode fazer nenhuma brincadeira sobre o mundo. Você senta na cadeira e fala “quero saber sobre isso”, o professor vai responder e já acabaram os 15 minutos.
Isso te dá uma objetividade enorme, que eu acho que foi fundamental. Eu ficava de fora da sala treinando o que eu ia falar e isso, no momento que você precisa falar com secretário de segurança, de procurador-geral e pessoas assim, dá uma grande vantagem, porque essas pessoas sentam com um monte de gente que não tem objetividade nenhuma e só tão gastando o tempo delas. Se você consegue ser mais objetivo você vai ganhando espaço por causa disso.
Pindograma: Como você vê a relação dos órgãos de governo que você trabalhou e a academia?
Joana Monteiro: Olha, na média ele quase não existe. Eu acho que é um problema de comunicação: as pessoas não falam a mesma língua. O que eu tento fazer, tanto quando tava no ISP e no MP, é fazer filtro. Quando eu sento com um pesquisador eu consigo filtrar o que ele quer e pensar se vale a pena produzir ou não; quando eu sento com um tomador de decisão eu também to filtrando o que ele quer. Então esse filtro parece simples mas ele não é trivial.
Quando eu tava no ISP fazia muito isso, pois tinha inúmeros amigos pesquisadores. Então, fizemos um monte de convênio. Mas essa é uma relação muito difícil de dar certo, porque perguntas importantes que são tipicamente feitas por acadêmicos não são as mesmas perguntas que são importantes em termos práticos.
As perguntas do tomador de decisão são perguntas simples, que já não têm nenhuma grande curiosidade acadêmica. É muito mais um “como que eu faço isso acontecer” do que um “como que o mundo funciona”. Então botar esses dois mundos na mesma página, para além da linguagem, é muito difícil.
Definir os problemas também é muito difícil. As pessoas menosprezam esse processo, de depurar qual é o problema, de que ambos os lados estejam interessados naquilo, ser específico o suficiente para você conseguir avançar. É zero trivial.
Eu acho que tem uma questão importante também. Na média, o que os acadêmicos entregam é muito ruim. É muito ruim, por exemplo, são relatórios de 150 páginas. Ninguém lê relatório de 150 páginas no governo! Lê no máximo 5. Aí você fala, resume para 5 e a pessoa responde “tudo que eu escrevi é muito importante”. Tudo bem, então não vai ser lido.
Não há preocupação de forma, de objetividade, começa com metodologia em vez de objetivo. A pessoa tá preocupada no que ela quer dizer, não no que os outros querem ouvir.
A comunicação é pro governo compreender, depois você faz seu paper acadêmico e publica do jeito que quiser, mas são coisas diferentes. E tipicamente, as pessoas não querem trabalhar e só entregam aqueles super mega relatórios dizendo que tá tudo é incrível, que tudo que eles escreveram é inédito e fantástico. Mas ninguém tá entendo nada, ninguém tem coragem de dizer que não tá entendendo nada, porque tem medo de ser considerada burra, de dizer “não entendi”. Assim, fica uma pesquisa que não serviu pra nada e voltamos à estaca zero.
Pindograma: Vocês chegaram a fazer algum estudo pra mostrar como as suas iniciativas no ISP afetaram, de fato, o policiamento?
Joana Monteiro: Quando eu entrei no ISP, esse era meu sonho. Minha formação empírica é fazer avaliação de impacto. A gente chegou a fazer uma avaliação de um programa piloto, chamado Companhia Integrada de Polícia de Proximidade, que teve em 2015. Só que eu peguei um período muito duro: peguei Olímpiadas e depois uma crise fiscal enorme.
Eu passei meus dois últimos anos no ISP ouvindo das pessoas que não tinha carro, que não tinha policiamento. Foi o período do auge da crise, da greve [da Polícia Civil]. Então você não conseguia discutir a política pública, não conseguia discutir propostas porque tava todo mundo resolvendo crise.
No mundo acadêmico, eu cheguei a fazer avaliação de impacto da UPP. Fiz depois também com colegas acadêmicos uma avaliação do sistema de metas. Mas acaba que eu tô convencida de que esses trabalhos não são para ser feitos dentro do governo, são trabalhos para ser feitos no meio universitário.
O papel de quem tá no governo, num órgão como o ISP é facilitar e fomentar esse tipo de trabalho. Facilitar dando acesso aos dados, explicando e colocando no site as informações institucionais, explicando o que que é. Mas eu acho que avaliar impacto cabe a academia, não a órgão de governo.
Pindograma: Você conhece outras iniciativas parecidas com o que você está fazendo no MP?
Joana Monteiro: Nos Tribunais de Justiça existe o Justiça em Números — eles tão começando a medir isso. Você vê que são dados mais detalhados. Mas fazer transparência ativa não existe. Nem as taxas de denúncias de homicídios são acessíveis. O [Instituto] Sou da Paz fez um relatório sobre isso e eles só conseguiram informação de 15 estados. Os outros não conseguem nem calcular a sua taxa.
As pessoas acham que isso é um esforço menor do que é na verdade. Pegar um banco de dados administrativos e dar um caráter estatístico pra ele, que é o que o [Projeto] Farol faz, isso é menos trivial do que parece. Você tem que entender o que tem ali, os bancos de dados, as tabelas, o que você quer medir. Precisa ter acesso aos códigos, que tipicamente não existe nenhum dicionário de variáveis, você tem que sentar com alguém e ficar perguntando “o que que é essa variável”.
Isso é custoso e precisa de tempo e de uma equipe dedicada a isso. Acima de tudo, a gente conseguiu fazer isso no MPRJ porque o Eduardo Gussem, procurador-geral [até janeiro de 2021] decidiu fazer isso. Ele alocou uma equipe e foi fazer. Mas não faz parte da cultura.
Pindograma: Por que o Procurador-Geral quis fazer isso?
Joana Monteiro: Ele falava: “Eu quero que você replique o que vocês fizeram no ISP. Eu quero que a instituição tenha métricas”.
O mandato era esse, pra mim. Então a gente fez. Mas eu acho que é um trabalho que tende a crescer, a vantagem de fazer isso é que os outros MPs veem isso. Eu to com a impressão de que o processo de replicação entre MPs é mais fácil do que entre polícias. Já teve outros MPs procurando, querendo saber como é. Eu nunca vi esse processo muito forte nas polícias, eu acho que elas são mais isoladas entre si.
Essa coisa de usar dados e tal tá muito mais forte nos MPs do que na polícia. Já temos uns MPs com umas iniciativas bem legais de pegar casos de improbidade administrativa via base de dados. Você usa a base de dados de contrato do governo e aí você vai calcular: “Esse município comprou 10x o número de remédios que ele precisaria, pela população”. Você vai usando os dados de compra para identificar padrões e pegar esses casos.
Eu vi uma apresentação muito boa sobre isso do MP da Paraíba. Isso é uma das coisas que têm sido feitas que mostram valor na parte da investigação do financeiro. O próprio MP do Rio tem umas coisas legais de cruzamento de dados que mostraram coisas interessantes. Eu acho que ninguém tá cobrindo esses cases.
Créditos da imagem: Divulgação/Ministério Público do Rio de Janeiro.
[Gostou do nosso conteúdo? Siga-nos no Twitter, no Facebook e no Instagram.]
