Pedro Magalhães

Margens de Erro

Os efeitos das sondagens

Posted October 12th, 2005 at 2:22 pm4 Comments

De outro e-mail:

"Sei que deve ser complicado, mas deve haver alguma maneira de se poder medir o grau de Auto-Regressividade que as sondagens pré-eleitorais contêm. Penso que no Porto as Sondagens pré-eleitorais foram decisivas para a Maioria do Rui Rio no Porto, foi factor de mobilização. E penso que as sondagens em Braga , ( duas com resultados largamente favoráveis ao incumbente , outro com resultados em empate técnico) foram factor de desmobilização."

Complicado é pouco. Em 2001 foi apresentado um paper na conferência da World Association of Public Opinion Research, em Roma, intitulado "Towards a Systematic Assessment of the Impact of Polls on Voters: A Meta-analytical Overview and Theoretical Framework" escrito por dois investigadores da Universidade de Zurique (Sibylle Hardmeier e Hubert Roth) onde, com paciência e meticulosidade suíças, se fazia uma "meta-análise" dos efeitos das sondagens no comportamento eleitoral. Proceder a uma "meta-análise", uma metodologia comum nas ciências biomédicas, significa, para abreviar, procurar detectar relações entre fenómenos usando não observações empíricas directas mas sim os resultados de outros estudos publicados. Por outras palavras, uma "super-recensão".

Depois de analisarem 74 estudos publicados em revistas peer-reviewed em todo o mundo, os autores concluíram o seguinte:

1. Nunca se detectaram efeitos significativos e robustos das sondagens na abstenção/participação eleitoral;

2. A maioria dos estudos que detectam efeitos na escolha de voto detectam efeitos bandwagon (sondagens que apontam um vencedor tendem a aumentar a probabilidade de que os eleitore votem nesse vencedor), se bem que também existe um número significativo de estudos que apontam efeitos underdog (favorecendo o "perdedor" nas sondagens);

3. Os resultados são claramente contrastantes consoante a metodologia usada: estudos na área da psicologia social, utilizando desenhos experimentais, tendem a encontrar efeitos bandwagon; estudos usando inquéritos de opinião produzem resultados mais variados.

Em resumo, os autores concluem que as sondagens produzem quase certamente efeitos, mas não é evidente em quem, como, em que direcção e em que circunstâncias. Certo certo é que, em resposta à sugestão do leitor, nunca se encontraram efeitos das sondagens na mobilização ou desmobilização eleitoral, mas apenas na intenção ou escolha de voto, e mesmo assim em direcções contraditórias. Isto quer dizer que não existem? Não. Quer dizer que estamos à espera que alguém prove que eles existem. E não é por falta de tentativas...

O problema é este: como saber se as expectativas que as pessoas formam sobre os resultados das eleições resultam directamente das sondagens em si mesmas ou de outra coisa qualquer? A verdade é que, quando questionados, antes das eleições, sobre o que esperam que venham a ser os resultados, os indivíduos que estiveram expostos a sondagens tendem a dar palpites muito aproximados aos daqueles que não estiveram expostos a elas. E se estar "exposto" directamente é apenas uma pequena parte dos efeitos gerais que as sondagens podem ter nas expectativas dos eleitores (porque podem condicionar indirectamente essas expectativas ao afectaram a cobertura mediática e o discurso político), como se demonstram esses efeitos indirectos? E se há sondagens contraditórias num mesmo momento, quais delas têm efeitos em quem, e como? Complicado, deveras.

O leitor relata ainda um episódio interessante destas eleições (mais um):

Chamo a sua atenção para o que se passou em Braga. No dia seguinte à publicação de uma sondagem em que se dava conta de um empate técnico num jornal diário, num outro, fortemente identificado com o poder local, dava-se uma sondagem com diferença de 17 % entre os dois maiores candidatos (ver http://www.marktest.com/wap/a/p/conc~Braga/id~cd.aspx) No entanto esta sondagem, a última a ser apresentada , foi realizada duas semanas antes da outra, e três semanas antes da sua publicação! É errado pressupor que houve manipulação do timing da sondagem? É normal congelarem sondagens durante 3 semanas?

"Pressupor" parece-me errado, mas normal não será, concerteza.

by Pedro Magalhães

Presidenciais (com atraso)

Posted October 12th, 2005 at 11:31 am4 Comments

Intercampus, 3-6-Outubro 2005, N=1004

1ª volta, cenário 1 (indecisos redistribuidos);
Cavaco Silva: 53%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 6%
Jerónimo de Sousa: 4%

1ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 50%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 7%
Jerónimo de Sousa: 4%
Paulo Portas: 2%

2ª volta, cenário 1 (indecisos redistribuidos):
Cavaco Silva: 66%
Mário Soares: 34%

2ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 63%
Manuel Alegre: 37%

by Pedro Magalhães

De um e-mail

Posted October 11th, 2005 at 12:17 pm4 Comments

Há cerca de 15 anos tive como actividade profissional os estudos de mercado. Posso dizer com propriedade que conheci bastante bem a realidade do meio na componente da recolha de dados, em algumas das mais relevantes empresas da época. Fiz muitas entrevistas, muito trabalho de supervisão, algum de codificação e, acima de tudo, de coordenação do trabalho de campo, num período de cerca de 3 anos.

À época era para mim um mistério o simples facto de as sondagens políticas terem o mínimo de aderência à realidade. Posso afirmar, sem rodeios, que a maior parte do trabalho de campo não era, pura e simplesmente, credível. Divulgavam-se taxas de supervisão falsas ou empoladas e muitas vezes a própria supervisão era, também ela, fraudulenta. Esta foi a realidade que conheci. O valor comercial dos estudos apenas permitia suportar um trabalho de campo feito por pessoas não profissionais, e qualquer tentativa de elevar a fasquia da qualidade, por exemplo apostando numa supervisão efectiva e com consequências, traduzia-se na inviabilidade económica do trabalho. Esta realidade pode ter mudado, hoje em dia já não estou em contacto com esse meio, por isso as minhas reflexões devem ser entendidas à luz de uma experiência datada.

(...)
Quando se questiona um eleitor sobre o quais as suas expectativas em relação ao resultado de uma votação em que ele também participará, obtêm-se números que, não podendo ser usados como indicadores de voto, correspondem no entanto à percepção comum sobre o sentido de voto, e portanto é natural que não se afastem muito do voto real. As pessoas que respondem estão inseridas num contexto em que comunicam entre si e a comunicação social traduz e amplifica tendências. É com esta perspectiva que respondo à minha própria pergunta de há 15 anos: o universo dos entrevistadores é ele próprio uma amostra (involuntária e sem qualquer critério claro...) do universo em estudo. Se, por absurdo, todos os questionários de uma determinada sondagem fossem respondidos integralmente pelos entrevistadores, obteríamos mesmo assim resultados com alguma correspondência com a realidade. Algures entre este cenário absurdo e a utopia de um trabalho de campo impoluto está a realidade e portanto, hoje, não me surpreende rigorosamente nada o nível de adesão à realidade de alguns estudos com problemas gravíssimos na recolha de dados.
(...)
Ontem a quente, e hoje confirmado nos quadros resumo que publica, parece tudo ser ao contrário... De facto, à excepção da sondagem da Católica no Porto, das 15 pré-eleitorais analisadas nos seus quadros as telefónicas, pelo método 5, apresentam menores desvios face ao voto real. Com menor expressão, mas no mesmo sentido análise pelo método 3. Ora o que me ocorreu, ainda antes destes números, é que talvez possam existir de facto desvantagens nas telefónicas, e isso pode influenciar os resultados, mas será que as questões (e lembro-me da realidade negra que conheci...) de controle sobre o trabalho de campo, muito mais relevantes nas presenciais, não terão um efeito ainda mais nocivo.


Pois é. Só não sei se concordo com a ideia de que, em situações limite de "fraude" (que, garanto, tem sido raríssimas nos trabalhos em que me tenho envolvido, mas nunca se sabe...), os resultados das sondagens acabem por reflectir a realidade devido ao facto de reflectirem as preferências dos inquiridores ou a sua percepção da relação de forças no universo. Por um lado - e isso joga especialmente nas autárquicas - os inquiridores são frequentemente deslocados para contextos com os quais não têm mínima familiaridade política. Por outro lado, pressupô-los atentos ao que se vai passando nos variados contextos locais onde se deslocam é pressupor demais sobre o seu grau de atenção política.

Mas concordo com tudo o resto, especialmente no que respeita à potencial má qualidade no trabalho de campo. E isso é mais importante neste tipo de sondagens pré-eleitorais onde, ao contrário de outros trabalhos, a verificação e o controlo são inevitavelmente menos rigorosos, por força da urgência em pôr resultados cá fora. Sobre a sondagem à boca das urnas, para além das inestimáveis vantagens dos grandes números e de se medirem comportamentos declarados de votantes (em vez de intenções declaradas de eleitores), o leitor tem razão: o controlo é, de facto, muito mais apertado, até pelas circunstâncias concretas em que o trabalho tem lugar (contacto quase permanente com a coordenação central, localização estável ao longo do dia, etc.).

by Pedro Magalhães

Eleições de segunda ordem

Posted October 10th, 2005 at 4:06 pm4 Comments

Há na Ciência Política uma teoria que sugere que as eleições se distinguem pela sua importância/saliência. Eleições de primeira ordem são aquelas que servem para determinar quem governa, e as de segunda ordem são as outras, tais como as eleições europeias ou autárquicas.

A implicação é que os eleitores tendem a comportar-se de forma diferentes nessas eleições. Independentemente de todos os outros factores que podem determinar o voto, os apoiantes do partido que está no governo tendem a sentir que, em eleições de segunda ordem, podem aproveitar a ocasião para enviar um sinal de descontentamento (caso o sintam), dado que isso não tem consequências para a composição do governo. E aqueles que simpatizam com pequenos partidos, mas que nas legislativas votam útil, sentem-se à vontade para votar "sinceramente" (em vez de "estrategicamente") nas eleições de segunda ordem.

Quais as implicações?

1. Pequenos partidos tendem a ser recompensados em eleições de segunda ordem (em comparação com eleições de primeira ordem);

2.Grandes partidos tendem a ser punidos em eleições de segunda ordem;

3. Partidos no governo tendem a ser mais punidos, especialmente se as eleições de segunda ordem se dão a meio do ciclo das eleições de primeira ordem.

São as eleições autárquicas em Portugal eleições de segunda ordem? O meu colega André Freire tentou responder à questão aqui (.pdf), e conclui que:

1. Os grandes partidos tendem a ter pior desempenho nas eleições autárquicas;
2. Os pequenos partidos tendem a ter melhor desempenho nas eleições autárquicas;
3. Os partidos no governo têm pior desempenho nas eleições autárquicas, mas apenas quando elas têm lugar a meio do ciclo, sendo as perdas tanto maiores quanto piores são as condições económicas. Pelo contrário, eleições autárquicas realizadas no período de "lua de mel" após as legislativas tendem a resultar em ganhos para os partidos de governo.

Giro, não? Por outras palavras, independentemente da miríade de factores locais que afectam o desempenho eleitoral, há padrões sistemáticos nos dados a nível agregado. Os resultados de eleições locais são afectados por factores nacionais (ciclo eleitoral, popularidade, economia). Outra implicação curiosa desta teoria é esta: ao coligar-se com o PSD em tantos concelhos, o CDS está potencialmente a desperdiçar votos que poderia captar na condição de "pequeno partido" e, logo, a fazer um inestimável favor ao PSD. Mas não se fazem favores sem contrapartidas: a estratégia do CDS-PP nestes eleições exemplifica assim os casos em que office se torna mais importante do que votes nos objectivos de um partido, if you catch my meaning.

E 2005? O PS teve 45% em Fevereiro e 36% nestas autárquicas, 8 meses depois. Por outras palavras, a fiar-me nos dados do André, estas eleições autárquicas são as primeiras em que um partido no governo perde pontos percentuais em relação às legislativas em eleições locais realizadas menos de um ano depois das legislativas, ou seja, ainda no suposto "honeymoon period". Com isto não quero dizer, longe disso, que estas eleições coloquem em causa a "legitimidade" do governo (que disparate), criem uma "nova e diferente maioria", signifiquem "a rejeição das políticas do governo", ou qualquer coisa nesse registo. Quero apenas dizer que, se queriam um dia oficial para o fim do "estado de graça" do governo PS, já o têm: marquem lá o dia 9 de Outubro de 2005 nas vossas agendas.


P.S. - Já agora: a questão "qual o partido que tem mais votos" nestas eleições é irrespondível, dado que o PSD concorreu coligado em muitos concelhos. Mas se repartirem os votos nas coligações à razão de 4 para 1 (a razão à qual os dois partidos repartiram o financiamento das campanhas), o PSD fica com 37,6%, acima dos 35,8% do PS.

by Pedro Magalhães

Síntese

Posted October 10th, 2005 at 2:15 pm4 Comments

Houve muito mais sondagens em mais concelhos, e espero poder analisá-las com mais tempo. Isto significa que tudo o que aqui disser carece de ser testado sistematicamente num maior número de casos, única forma de perceber se existem relações estatisticamente significativas entre opções técnicas e metodológicas ou atributos do contexto político e a precisão das sondagens. Tenciono, com tempo, pegar nestes 75 casos e ver o que aparece.

Contudo, diria neste momento o seguinte:

1. Em face destes dados, ficaria muito surpreendido se encontrasse uma relação estatísticamente significativa entre a metodologia de inquirição e a precisão das sondagens. Nas legislativas, essa relação não existe, como se testou aqui. Confesso, contudo, que estava persuadido de que existiria nas autárquicas, mas isso é coisa que, em face destes resultados, se torna duvidosa. Na melhor das hipóteses, poderá haver um efeito de interacção entre a metodologia de inquirição e a dimensão do concelho, com as simulações de voto a produzirem, ceteris paribus, maior precisão em concelhos de mais reduzida dimensão. A ver.

2. Apesar de, neste conjunto de casos, não parecer existir uma relação entre a distância temporal entre o trabalho de campo e as eleições e a precisão das sondagens, ficaria surpreeendido se ela não existisse assim que incluamos as sondagens realizadas em Agosto e Julho. O que se passa nos posts anteriores é que me concentrei apenas nas últimas sondagens, pelo que são todas muito parecidas desse ponto de vista. Curioso, contudo, é que as diferenças de curto prazo (uma ou duas semanas) pareçam irrelevantes. Aparência ou realidade? Logo se verá.

3. Apesar de isso só ser parcialmente evidente dos quadros anteriores, é quase garantido que, ceteris paribus, amostras de maior dimensão hão-de gerar resultados mais precisos. E claro, quanto maior o número de pequenos partidos incluídos no cálculo do desvio absoluto médio, maior há-de ser a precisão, dado que as margens de erro associadas a essas estimativas são sempre menores, o que reduz o valor do desvio absoluto médio. Estas coisas nunca falham.

4. E será importante testar o efeito da abstenção na precisão das sondagens, na pressuposição de que maior abstenção resultará em menor precisão. Isso já é manifestamente verdade nas eleições legislativas e europeias, e quase certamente será verdade neste caso. Olhe-se para Sintra, por exemplo, onde a uma abstenção de quase 50% corresponde o mais impreciso conjunto de sondagens entre os sete analisadas anteriormente.

Dito isto, ficaram os eleitores bem servidos com este conjunto de sondagens para as eleições autárquicas? Ao contrário do que se passou nas legislativas de Fevereiro - onde a resposta é inequivocamente "sim" - a resposta aqui é "depende". Ficaram, certamente, com as sondagens à boca das urnas, especialmente tendo a falta de informação que resultou do colapso do STAPE (um caso a merecer, pelo menos, tanta atenção como o do famoso "concurso dos professores"). Ficaram, também, em Oeiras e Faro, e na maior parte das sondagens feitas em Lisboa e no Porto.

Mas não há dúvida que, apesar da melhoria em relação ao descalabro de 2001, as sondagens feitas nas eleições autárquicas estão muito longe de exibirem a fiabilidade das sondagens para as legislativas. Pode-se dizer que levantam dificuldades adicionais: são em maior número, a fidelidade partidária conta menos no comportamento de voto (o que torna as intenções de voto mais instáveis e afecta os processos com que se afere a representatividade da amostragem), têm taxas de abstenção mais elevadas, etc. Mas isso não é problema dos eleitores: é um problema daqueles que fazem sondagens e daqueles que as encomendam. Os primeiros têm de encontrar soluções técnicas que para esses problemas, e os segundos têm de dar os recursos necessários para essas soluções. E não deve ser impossível, se tivermos em conta as melhorias verificadas em eleições como as europeias, antes vistas como "intratáveis".

by Pedro Magalhães

Rescaldo Lisboa

Posted October 10th, 2005 at 2:06 pm4 Comments



Não há como escapar: as sondagens pré-eleitorais telefónicas foram mais precisas que as sondagens com simulação de voto. É certo que o caso do Porto desmente isto, mas os de Sintra e Faro recolocam o problema. Mais certo será dizer: não parece haver hoje quaisquer garantias de que, pelo menos nos grandes centros urbanos, a simulação de voto constitua uma vantagem metodológica. E isto, por si só, é muito interessante, chamando a atenção, por exemplo, para as grandes vantagens que as sondagens telefónicas trazem para uma melhor monitorização do trabalho de campo.

Novo "caso" com a Intercampus, mas tudo o que disse anteriormente sobre o Porto aplica-se aqui também.

Na boca da urnas, o padrão recorrente de menor precisão da Eurosondagem. Porquê? Não sei.

by Pedro Magalhães

Rescaldo Porto

Posted October 10th, 2005 at 12:47 pm4 Comments



Mais uma vez, olhando isoladamente para o caso do Porto, a proximidadade em relação ao acto eleitoral ou a metodologia de inquirição não parecem ser a explicação das diferenças. Mas pelo menos, desta vez, amostras maiores produzem melhores resultados. Aleluia.

Está aqui um dos "casos" das sondagens, a da Intercampus/TVI/TSF, que colocava Assis à frente com dois pontos de vantagem. É certo que algo terá corrido muito mal para aqueles lados. Mas notem como a questão do "quem vai à frente" é enganadora. Esta sondagem não foi mais imprecisa que as sondagens da Intercampus ou da Católica em Sintra (a única que me ficou "atravessada" nestas eleições, confesso), e sobre essas não houve nem haverá grande comentário. E há que reconhecer coragem à Intercampus: ninguém dá um resultado destes se não tiver confiança no seu trabalho e nos seus resultados. E a sugestão de que um instituto de sondagens manda um bicho destes cá para fora para satisfazer supostos objectivos políticos de directores de jornais só pode ser uma brincadeira.

by Pedro Magalhães

Rescaldo Oeiras

Posted October 10th, 2005 at 12:23 pm4 Comments



1. Mais uma vez - já são três seguidas - a sondagem pré-eleitoral conduzida mais perto das eleições não foi a mais precisa. Mas a relação entre precisão e dimensão da amostra confere.

2. Precisão das sondagens à boca das urnas inferior ao padrão habitual. Sobre isto, uma história curiosa: ontem, durante o dia, recebi relatos de locais de voto em Oeiras onde os inquiridores da Católica eram insistentemente assediados por indivíduos que se ofereciam para votar na sondagem, rondando as equipas durante toda a tarde. Eram, segundo os relatos, apoiantes de Isaltino Morais. Apesar dos cuidados em evitar "amostras voluntárias", a sobrestimação geral da margem de vitória em todas as sondagens pode ter a ver com este, chamemos-lhe assim, "excesso de entusiasmo".

by Pedro Magalhães

Rescaldo Sintra

Posted October 10th, 2005 at 12:17 pm4 Comments



1. Outra vez: sondagem feita com maior distância do dia das eleições e com menor amostra, a da Eurosondagem, é a mais precisa.
2. Mas como de costume, trabalho de boca das urnas sai sempre pior à Eurosondagem.

by Pedro Magalhães

Rescaldo sondagens Faro

Posted October 10th, 2005 at 11:46 am4 Comments

Ora cá vamos nós outra vez. Tal como fiz em relação às eleições legislativas, publico agora uma análise da precisão das principais sondagens pré-eleitorais e à boca das urnas sobre estas autárquicas. Retenho-me nos concelhos com maior cobertura e nas sondagens publicadas a partir de Setembro. E queria também dizer que, ao contrário do que por vezes se diz, estas análises não são parte de qualquer "concurso". Elas devem ser feitas por duas razões: primeiro, para saber se foi prestado um razoável serviço ao público consumidor deste tipo de informação; segundo, para tentar perceber quais são as fontes de erro e de precisão, para tentar melhorar. Só isso.

Recordo a metodologia. Por um lado, o chamado "Método 3": calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Por outro, o chamado "Método 5": medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Para a justificação destes métodos, ver aqui e aqui, e as fontes aí citadas. A única coisa que não faço, por falta de tempo, é o conjunto de operações adicionais normalmente usadas no "método 3" (recalcular percentagens excluido OBN's, etc.). Mas não fará certamente diferença de maior.



1. Ironia : a sondagem realizada mais tempo antes das eleições e com amostra de menores dimensões é a mais precisa. Mas de forma duplamente irónica, a sondagem mais precisa foi também a única que se "enganou" no vencedor...
2: O óbvio costumeiro: sondagens à boca das urnas muito mais precisas que sondagens pré-eleitorais;
3. Em geral, desvios médios dentro da margens de erro amostrais médias.

Mais reflexões adiante.



by Pedro Magalhães