Pedro Magalhães

Margens de Erro

Lisboa. CESOP, 28 Junho-4 Julho, N=716, Tel.

Posted July 6th, 2009 at 11:13 am4 Comments

O relatório-síntese pode ser descarregado aqui.

by Pedro Magalhães

Outro planeta

Posted July 3rd, 2009 at 11:55 am4 Comments

Passei esta semana em Braga, na Universidade do Minho, num Curso de Verão organizado pelo Núcleo de Investigação em Politicas Económicas, onde trabalha o meu amigo LA-C. O curso foi leccionado por Joshua Angrist, do MIT, um economista americano muito conhecido que falou sobre um conjunto de técnicas econométricas destinadas a estimar rigorosamente efeitos causais recorrendo a dados observacionais ou a corrigir problemas ocorridos em estudos experimentais onde, apesar da aleatorização dos sujeitos, não se consegue evitar que os grupos de controlo e de tratamento se seleccionem, em parte, a si próprios. Parte significativa da matemática utilizada para provar teoremas, confesso, passou-me por cima. Mas as técnicas e a sua aplicação não são especialmente complicadas e a coisa toda foi muito bem feita, bem organizada e muito estimulante.

Se falo nisto é apenas para assinalar que muitos dos trabalhos de Angrist têm como objectivo estimar as consequências de variações institucionais e de intervenções concretas nas politicas públicas. Que tipos de escolas produzem melhores resultados nos exames dos alunos? Qual o efeito da dimensão das turmas? Vale a pena avaliar os professores, e como? Que impacto têm as políticas laborais activas? Quais os efeitos do serviço militar obrigatório nos rendimentos futuros dos recrutados? E do prolongamento da escolaridade obrigatória? Etc, etc, etc. Aquilo que mais me impressionou no contacto com esta bibliografia é a compreensão da distância abissal entre a natureza do debate sobre as politicas públicas em Portugal e nos Estados Unidos. Nos EUA, a preocupação com medir os efeitos das politicas vai ao ponto de os organismos públicos organizarem frequentemente experiências. Um dos exemplos dados por Angrist foi uma experiência em Minneapolis, onde, para os casos de violência doméstica, os polícias tinham instruções para lidar com eles de formas diferentes mas aleatorizadas, de forma a que a comparação entre os efeitos das diferentes abordagens (medidos como a necessidade de regressar à mesma casa nos 6 meses seguintes) pudesse ser feita sem necessidade de excessiva preocupação com todos os outros factores que podem afectar esses efeitos. E como estas experiências há centenas.

E Portugal? Posso estar enganado. E se me dessem exemplos de uma (1) medida legislativa que tivesse sido precedida por estudos deste género eu ficava contente por me ter enganado. Mas estamos, creio, noutro planeta.

by Pedro Magalhães

Legislativas. Eurosondagem, 25-30 Junho, N=1024, Tel.

Posted July 3rd, 2009 at 10:27 am4 Comments

PS: 35,1%
PSD: 33,0%
CDU: 9,7%
BE: 9,6%
CDS-PP: 7,4%
OBN: 5,2%

Aqui. Uma frase intrigante na notícia: "Registe-se ainda que neste barómetro os indecisos situam-se nos 19,5% e a taxa dos que não sabem e não respondem atinge os 16,7%."

by Pedro Magalhães

Porto. CESOP, 22-28 Junho, N=684, Tel.

Posted July 1st, 2009 at 5:52 pm4 Comments

Podem descarregar aqui uma síntese dos resultados. É um bocadinho mais pesado que o costume porque tem gráficos.

by Pedro Magalhães

Legislativas. Marktest, 16-20 Junho, N=800, Tel.

Posted June 26th, 2009 at 11:37 pm4 Comments

PSD: 35,8%
PS: 34,5%
BE: 13,1%
CDU: 7,7%
CDS: 4,4%
OBN: 4,5%


Aqui.

Actualização: agora que os resultados estão no site da Marktest, é possível corrigir a própria notícia da TSF linkada acima, que atribui 9,4% à CDU. Na verdade, são 7,7%. Mas ao contrário do que é sugerido num comentário muito infeliz a este post, o CDS-PP tem mesmo 4,4%. Já tinha na notícia da TSF, e continua a ter na ficha técnica da sondagem da Marktest.

by Pedro Magalhães

Outlier: os "politólogos"

Posted June 24th, 2009 at 10:27 am4 Comments

Não creio que faça sentido defender que, numa democracia, o único discurso possível e desejável sobre a política seja feito por indivíduos que "não separam a análise política da sua posição política particular". Desejar isto significa desejar que o único discurso possível sobre a política seja ideológico, partidário e, em si mesmo, "político". Será assim tão desejável que a única coisa que haja para transmitir sobre a política sejam "opiniões" e "posições", em vez de afirmações que, à luz do que sabe e investigou na base de métodos - dentro dos limites possíveis - científicos, se julga serem apoiadas pelos factos? O debate recente sobre as sondagens mostra bem o que sucede quando a "análise dos factos" é completamente dominada por aqueles que "não separam a análise política da sua posição política particular": a degradação total da qualidade do debate.


Dito isto, com respeito pelos meus colegas e uma dose razoável de mea culpa, receio que haja também uma crescente degradação do papel desempenhado pelos "politólogos" no debate político em Portugal. Originalmente, "pundit"

by Pedro Magalhães

Consensos e outros não tanto

Posted June 20th, 2009 at 11:17 am4 Comments

"Estudos sobre o sector", mais "difusão de informação", publicação no site da ERC das fichas técnicas e iniciativa da ERC em reunir as empresas são coisas boas e foram consensuais. Mas a minha posição (e creio não estar sozinho) continua a mesma: há hipóteses em cima da mesa para explicar o que se passou; a abstenção não é a única das possíveis explicações; sem estudos, essas hipóteses nunca passarão disso mesmo.

by Pedro Magalhães

"Freguesias-tipo"?

Posted June 19th, 2009 at 2:03 pm4 Comments

O único conhecimento que tenho deste assunto é pela notícia de jornal. Mas a confirmar-se a argumentação, a única coisa que posso fazer é sugerir a leitura do seguinte excerto:

"Because it is so important that the sample for an opinion poll is a true reflection of the country as a whole, the sample of constituencies for an opinion poll is checked for political balance. This is done in much the same way, by calculating the share of the votes at the last general election just in those constituencies sampled, and comparing it with the national result."

in Nick Moon. 1999. Opinion polls: history, theory and practice. Manchester: Manchester University Press, pp. 51-52 (itálicos meus, a ver se se percebe a utilização do plural).

by Pedro Magalhães

Auditar ou proibir?

Posted June 16th, 2009 at 11:11 pm4 Comments

Por estar ligado à temática deste blogue, reproduzo também aqui o artigo de ontem no Público:

Em 1992, as últimas sondagens realizadas no Reino Unido apontavam para uma eleição renhida, mas com uma curta vantagem dos Trabalhistas. Contados os votos, os Conservadores tinham ganho a eleição com 7,6 pontos de vantagem, subestimada pelas sondagens em cerca de 9 pontos percentuais. Seguiu-se uma controvérsia sobre a fiabilidade das sondagens e a Market Research Society reuniu um painel de peritos para investigar o assunto. O relatório final listava as possíveis causas para o fracasso das sondagens: a inadequação das variáveis utilizadas para definir quotas ou para ponderar os resultados de amostras aleatórias, levando a uma sub-representação de eleitores Conservadores; a desactualização dos dados das estatísticas nacionais utilizados; taxas de recusa diferenciais entre eleitores Trabalhistas e Conservadores (os “shy Tories”), levando a que os segundos estivessem ainda mais sub-representados nas amostras; e opções inadequadas quer para a redistribuição de indecisos quer para tratamento de “abstencionistas declarados”. Este relatório* teve consequências importantes na forma como se passaram a fazer sondagens no Reino Unido, seja na amostragem seja na forma como se passou a lidar com os eleitores que se afirmam “indecisos” ou “abstencionistas” nas sondagens.

À luz do recente fracasso das sondagens para as eleições europeias, por que não promover uma “auditoria” semelhante em Portugal após esta e futuras eleições? As fichas técnicas divulgadas na imprensa, ou mesmo as depositadas na Entidade Reguladora para a Comunicação Social (ERC), estão longe de fornecerem toda a informação necessária para apreciar a enorme quantidade de opções técnicas e práticas adoptadas pelos diferentes institutos. Uma investigação por um painel de peritos independentes poderia abordar em detalhe, por exemplo, as opções de amostragem, a construção dos questionários, a formação dos inquiridores ou o trabalho de campo. Com os dados brutos em seu poder, esse painel poderia apreciar as consequências de opções alternativas no tratamento dos dados, nomeadamente das “não respostas” e dos “indecisos”, assim como os desvios das amostras em relação a características conhecidas da população e as maneiras de os corrigir. Não faltariam pessoas capazes de fazer este tipo de auditoria. Se porventura se considerar que a ERC não é a entidade apropriada para a promover, ou que a APODEMO (a associação representativa das empresas do sector) está demasiado próxima dos interesses das empresas, certamente que na Associação Portuguesa de Sociologia, na Associação Portuguesa de Ciência Política ou na Sociedade Portuguesa de Matemática se encontrarão especialistas para formar semelhante painel. E é sempre possível convocar peritos estrangeiros, sem qualquer ligação aos interesses corporativos, económicos ou políticos em jogo.

Creio que quase todos teriam a ganhar com isto. Para o grande público, a noção de que o trabalho das empresas seria pública e regularmente escrutinado constituiria uma garantia adicional de que as empresas teriam ainda mais incentivos do que têm hoje para fazerem o melhor que está ao seu alcance dentro dos constrangimentos existentes. E haveria também benefícios para as próprias empresas. A realização destes estudos após cada eleição poderia contribuir para levar o batalhão de comentadores que, usando regular e sistematicamente as sondagens para fazer valer os seus argumentos e preferências políticas entre eleições, se mostram logo dispostos após as eleições a declarar a “incompetência” (após os fracassos) ou a “competência” (após os sucessos) das empresas de sondagens, a proferirem as suas sentenças com um pouco mais de informação. Para quem trabalha no ramo, isto seria também uma ocasião para aprender, repensar opções metodológicas e melhorar a qualidade do trabalho. “Segredos”? Há limites para o tipo de “segredos” que pode haver numa actividade com esta importância e potencial (apesar de raramente demonstrado) impacto político. É verdade que isto não garante que as coisas iriam sempre correr bem. Em várias eleições britânicas desde 1992, os desvios das sondagens foram ainda consideráveis. Em França, depois da catástrofe de 1997, onde as sondagens foram incapazes de antecipar a derrota da direita, os vários estudos realizados não impediram um segundo fracasso em 2002, com a subestimação da votação em Le Pen. Outros exemplos destas persistentes dificuldades poderiam ser avançados. Mas até a forma como esse fracassos são lidos e interpretados poderia ser um pouco mais tranquila e racional se fossem sempre seguidos de uma abordagem transparente do que se terá passado.

A alternativa que tem sido avançada a tudo isto é a de proibir a realização e divulgação de sondagens durante a campanha. Não seríamos caso único. Mas podemos, por isso mesmo, apreciar melhor as consequências de semelhante proibição. Na verdade, seria uma medida com a qual quer os partidos quer algumas empresas do sector poderiam concordar facilmente. Muitas continuariam a poder conduzir a maior parte do trabalho que já fazem hoje nestas áreas, ou seja – especialmente em véspera de autárquicas – trabalhos para os partidos políticos. E não seria a proibição da divulgação de sondagens nas últimas duas, três ou quatro semanas antes de uma eleição que impediria alguns partidos de fazerem aquilo que já fazem hoje. Por exemplo, comparar sondagens realizadas a um mês ou mais das eleições com os resultados finais, em eleições actuais ou passadas, sempre que isso lhes for útil para a sua argumentação política. Nem os impediria de anunciar, durante a campanha, a existência de “sondagens” realizadas por si ou para si próprios, cujos resultados e métodos permaneceriam completamente opacos e inverificáveis para os eleitores.

Nunca estive seguro de que as sondagens de intenções de voto divulgadas ao longo da campanha dessem uma grande contribuição para a nossa democracia. Elas alimentam a ilusão de que os resultados podem ser sempre infalivelmente previstos e ocupam porventura excessivo espaço na cobertura das eleições, transformando-as numa “corrida de cavalos” que talvez nos afaste do essencial que deveria ser discutido numa campanha. E já perdi as derradeiras ilusões sobre a capacidade do que escrevi acima para persuadir aqueles que preferem sempre ver nas sondagens um esforço deliberado para manipular a opinião pública. No que proponho, esses verão provavelmente um esforço adicional de manipulação, disfarçando sob uma discussão técnica aquilo que julgam ser um ânimo político das sondagens contra estes ou aqueles partidos. Seja. Não se pode discutir racionalmente com quem tem interesse em, precisamente, afastar a racionalidade da discussão. Contudo, aos restantes, mesmo que sejam uma minoria, sugiro que ponderem as consequências da proibição: mais desinformação, mais opacidade e mais (em vez de menos) manipulação política da opinião pública.

*Resumido aqui, e um estudo adicional aqui.

by Pedro Magalhães

Estudar e proibir

Posted June 8th, 2009 at 7:31 pm4 Comments

Nas eleições presidenciais de 1948 nos Estados Unidos, as sondagens deram resultados que sugeriam a vitória de Thomas E. Dewey. Eis o vencedor, Harry S. Truman, claro:



Um dos resultados desse fiasco foi uma comissão, liderada por Frederick Mosteller (sim, é esse), encarregada de estudar as razões do fracasso das sondagens. O resultado foi um relatório famoso que ajudou a definir os critérios que são ainda hoje usados para medir a precisão das sondagens e a clarificar as diferentes dimensões da metodologia das sondagens que merecem análise.

Em 1992, as sondagens pré-eleitorais no Reino Unido sugeriam uma eleição muito renhida, com possibilidade de os Trabalhistas ganharem (apesar da sua vantagem ter diminuído ao longo da campanha), tendo cerca de um ponto de vantagem em média nas últimas sondagens. No dia da eleição, os Conservadores ganharam com quase 8 pontos de vantagem. Seguiu-se um estudo e um relatório elaborados por um painel independente da Market Research Society, divulgado em Julho de 1994. O relatório revelou problemas na composição das amostras (causados por má qualidade das fontes usadas para construir quotas ou ponderadores), falta de meios adequados para vencer a resistência dos Conservadores a admitirem o seu voto em sondagens, dificuldades em detectar um late shift em favor dos Conservadores ou potenciais problemas na redistribuição dos indecisos. O relatório também foi crítico da forma como as sondagens foram apresentadas na imprensa, da falta de informação e transparência sobre os resultados e sobre a criação de uma expectativa excessiva sobre a capacidades preditivas de uma sondagem (um resumo das principais conclusões aqui). Em 1997, as coisas melhoraram (não muito, mas um pouco).

Não nos fazia mal nenhum que um painel independente de especialistas, desde que não ligados aos institutos de sondagens, procedesse em Portugal a um estudo deste género. Um fiasco é um bom pretexto. Ficaríamos a saber mais sobre as metodologias utilizadas ....


by Pedro Magalhães