Pedro Magalhães

Margens de Erro

Pausa

Posted February 4th, 2005 at 7:28 pm4 Comments

Para a semana, actualização da poll of polls com sondagens da Intercampus e IPOM (Independente). Mas para já, vou descansar uns dias...

by Pedro Magalhães

120

Posted February 4th, 2005 at 6:31 pm4 Comments

José Sócrates venceu o debate televisivo de ontem, segundo os resultados da sondagem Correio da Manhã/Aximage realizada após o debate televisivo. De acordo com o inquérito telefónico a 120 eleitores, 50,4% atribuem a vitória ao secretário-geral do PS, enquanto 20,2% dizem que o actual primeiro-ministro foi o vencedor. 29,6% consideram que se registou um empate.

Aleatória estratificada por região, sexo, idade, actividade, instrução e voto legislativo, polietápica e representativa do universo, com 120 entrevistas telefónicas.

Atenção:

- margem de erro máxima para uma amostra aleatória de 120 inquiridos (com 95% de confiança): 9%.

-Universo: Eleitores residentes em Portugal em lares com telefone fixo. Só pode ser lapso. Caso contrário, estaria a incluir os que não assistiram ao debate (que tendo em conta que a audiência foi de 16,5%, foram quase todos...)

Mas não quero ser destrutivo. Este tipo de estudos é muito difícil de fazer, e é uma primeira tentativa. Sempre será um bocadinho melhor que as "sondagens" mencionadas anteriormente, apesar de tudo. Mas é suficientemente melhor? A ânsia de saber "quem ganhou" justificará fazer estudos com estas insuficiências? Não sei...

by Pedro Magalhães

Amostras voluntárias

Posted February 4th, 2005 at 11:35 am4 Comments

Preciso de dizer alguma coisa sobre a "representatividade" da "sondagem" levada a cabo pela SIC Notícias para determinar o "vencedor" do debate de ontem? Eu tenderia a pensar que não. Mas na realidade, fico preocupado. Há uns tempos, uma jornalista veio-me falar das "sondagens da Católica" que aparecem na última página do Público (que não passam de uns inquéritos feitos no site do jornal). Fiquei estarrecido, acabando por sujeitar a senhora a uma prelecção de dez minutos sobre a forma como a "amostra" que responde a esses inquéritos é auto-seleccionada e, logo, não representa coisa alguma. E ontem, um dos jornalistas que moderava o debate introduziu uma questão (foi, aliás, mais um comentário que uma questão) dizendo que "segundo o nosso inquérito, pelos vistos, Santana Lopes ganhou o debate". Ninguém nasce ensinado. Mas nas escolas de comunicação social donde brotam estes jornalistas, não se fala destes assuntos? Pelos vistos, não.

by Pedro Magalhães

Indecisos

Posted February 3rd, 2005 at 4:51 pm4 Comments

Há alguma indefinição quanto à percentagem de eleitores que estão indecisos sobre em que partido irão votar. Há quem ache (deseje?) que sejam muitos, há quem ache (deseje?) que sejam menos. As sondagens têm sido pouco elucidativas sobre esse aspecto. Olhando apenas para as mais recentes, as percentagens oscilam entre os 8% e os cerca de 30%. Em que ficamos?

A minha convicção é que estas variações decorrem mais de factores metodológicos do que de reais mutações na percentagem de indecisos ao longo do tempo ou mesmo de erro amostral. Factores tais como:

1. A mera "contagem". Aqueles que são indicados como indecisos incluem aqueles que não quiseram responder à pergunta sobre intenção de voto? Por vezes, isto não é claro na apresentação de resultados. Se for esse o caso, podemos estar a sobreestimá-los.

2. A sondagem teve uma alta ou baixa taxa de recusas? Ou seja: qual a percentagem de pessoas cuja inquirição foi tentada mas que se recusaram de todo a fazer parte da amostra? Se essa taxa foi muito alta, muitos dos reais indecisos podem estar escondidos "fora" da amostra, ou seja, dentro do contigente daqueles que se recusaram a participar no inquérito, sendo por isso subestimada pela sondagem. Mas se a taxa de recusa foi muito baixa, é quase certo que a percentagem de indecisos apurada vai ser maior, e talvez maior do que a "real". As pessoas aceitam participar (especialmente quando o questionário se debruça sobre outros temas que não apenas a intenção de voto) mas, quando questionados sobre em que partido votariam, algumas refugiam-se na indecisão como maneira de não revelarem o seu sentido de voto. Nestes casos, a % de indecisos pode estar também sobreestimada.

Seja como for, não se esqueçam que, quando as pessoas dizem que não sabem ou ainda não decidiram em quem vão votar - e por muito que seja o esforço feito em "filtrar" previamente os prováveis abstencionistas - uma coisa que algumas delas não terão ainda decidido é se vão votar ou não. Logo, seja qual for a percentagem de indecisos, é quase garantido que ela não será convertida, na sua totalidade, em votos em partidos no dia 20. Aliás, a julgar pelo passado, essa percentagem de indecisos deverá representar, na sua maioria, abstenção. Logo, a noção de que serão os "indecisos" das sondagens a "decidir" estas eleições tem de ser um bocado relativizada...

by Pedro Magalhães

Intercampus, 3 de Fevereiro

Posted February 3rd, 2005 at 3:50 pm4 Comments

Nova sondagem, desta vez realizada pela Intercampus para a TVI e o Jornal de Notícias. Resultados tal como destacados no jornal:

PS: 46,5%
PSD: 31,6%
CDU: 8,1%
CDS-PP: 4,8%
BE: 4,5%
OBN: 4,5%

É pena, mas a ficha técnica não explica como foram escolhidos os 999 inquiridos. De assinalar, contudo, uma inovação em relação às sondagens anteriores: a utilização de simulação de voto em urna, colocando os inquiridos numa situação mais realista e procurando vencer resistências à revelação do sentido de voto. À medida que nos aproximemos da data das eleições, é provável que outras sondagens adoptem esta metodologia, como é, aliás, habitual.

by Pedro Magalhães

"O efeito de ser amostra"

Posted February 2nd, 2005 at 2:18 pm4 Comments

Do Hipatia:

Podem achar estranho, mas eu, que ainda há poucos dias não sabia em quem é que havia de votar (não, não faço parte dos eleitorado que transita ao centro), já me decidi. E decidi-me quando no domingo, logo pela manhã, uma senhora pediu a minha ajuda para uma sondagem. Andava à procura de alguém na faixa 25-34 e já há algum tempo que não passava ninguém com essas características. Estendeu-me uma caneta, uma urna e um boletim de voto igualzinho ao que no dia 20 de Fevereiro iremos preencher. E foi nesse instante que eu me decidi. Fechei os olhos e fiz a cruz onde, daqui a umas semanas, a farei. Não sei se o Margens de Erro alguma fez pensou que uma sondagem também pode ter este efeito.

Eu já pensei. Mas como de costume, já alguém tinha pensado antes:

"Most citizens, we argue, simply do not possess preformed attitudes at the level of specificity demanded in surveys. Rather, they carry around in their heads a mix of only partially consistent ideas and considerations. When questioned, they call to mind a sample of those ideas, including an oversample of ideas made salient by the questionnaire and other recent events, and use them to choose among the options offered. But their choices do not, in most cases, reflect anything that can be described as true attitudes; rather, they reflect the thoughts that are most accessible in memory at the moment of response." ( Zaller, John and Stanley Feldman. 1992. "A Simple Theory of the Survey Response: Answering Questions Versus Revealing Preferences." American Journal of Political Science 36:p. 579).

Com o resultado de que, como apenas a amostra foi sujeita ao estímulo do questionário, mesmo que as preferências formadas na resposta a esse questionário se tornem definitivas, elas não são necessariamente representativas das preferências de toda uma população (que não terá sido sujeita a este estímulo). Como se já não bastassem todos as outras potenciais fontes de erro...

by Pedro Magalhães

Os efeitos (indirectos) das sondagens

Posted February 1st, 2005 at 3:35 pm4 Comments

Quem leia alguns posts escritos atrás, como este, este ou este, pode ficar com a ideia de que as críticas às sondagens e às empresas ou institutos que as fazem são um exclusivo do PSD. Nada mais falso, e desculpem se dei erradamente essa ideia. O PSD é apenas o partido que tem feito essas críticas mais frequente e violentamente nos últimos anos. Há algum tempo, para escrever a introdução de um artigo sobre o tema, resolvi investigar o que se disse sobre sondagens em debates da Assembleia da República, coisa possível de fazer com a ajuda deste excelente serviço. Deixo-vos uma citação interessante, datada de Maio de 1988 (DAR nº 83, 4-5-1988, p. 3348):

"Apesar da sua importância, a experiência passada - infelizmente confirmada pela evolução da prática recente- lançou sobre as sondagens um anátema de descrédito e desconfiança. O debate político, principalmente em momentos eleitorais, levantou dúvidas e suspeitas muito legítimas sobre as condições de realização de sondagens de opinião. Muita gente criticou e denunciou deficiências técnicas ou mesmo eventuais manipulações na realização de sondagens, ao mesmo tempo que eram visíveis na comunicação social abusos e manipulações na interpretação e apresentação dos resultados que foram feitas de modo parcial, abusivo e partidário. (...) É, ou não, contrário à democracia que a serenidade do julgamento popular possa depender de influências de sondagens sobre as quais não há garantias de que observaram escrupulosamente as regras científicas da disciplina?"

Era José Sócrates quem assim falava no parlamento, defendendo um projecto de lei do PS sobre o assunto. Escolhi esta citação por ser de um actual líder partidário, mas há muitas outras, algumas bastante mais cáusticas. Mas julgo não errar se disser que as acusações abertas de manipulação, "sondagens fabricadas" ou "fraudes" têm mais frequentemente origem no PSD.

Independentemente da legitimidade em fazer estas críticas ou da razão objectiva que lhes pode assisitir, assuntos que preferia não comentar para já, o que mais me intriga é outra coisa. Que dividendos pensam os agentes políticos retirar dos ataques públicos que dirigem às empresas/institutos de sondagens? Ou mais interessante ainda: será que as sondagens têm de facto os efeitos sobre o comportamento eleitoral que os políticos supõem, efeitos esses que visam neutralizar quando atacam publicamente os resultados das sondagens?

Como imaginam, há décadas de investigação sobre a influência que as percepções do estado da opinião pública têm sobre o comportamento individual. Diana Mutz, no relativamente recente Impersonal Influence, depois de inventariar uma enorme quantidade de estudos sobre a matéria, sintetiza o estado da arte da seguinte forma (p. 196):

"A preocupação existente acerca da influência que as percepções da opinião pública têm sobre atitudes e comportamentos individuais gerou uma enorme quantidade de pesquisas. (...) A característica geral mais impressionante de todos estes estudos é o facto de sugerirem um impacto muito mais modesto do que aquilo que se pressupõe nas discussões populares sobre o assunto."

Daqui, parece resultar uma de duas conclusões: ou os estudiosos da matéria estão enganados e as sondagens afectam realmente os comportamentos dos indivíduos de forma significativa; ou os políticos são todos irracionais e estão a perder tempo e credibilidade quando vociferam contra as sondagens.

Contudo, acho que há uma terceira hipótese. É possível, para não dizer provável, que, tal como a produção científica sobre o assunto sugere, saber os resultados de uma determinada sondagem acabe por não fazer grandes efeitos no comportamento dos eleitores. Para cada efeito bandwagon (colocar os eleitores atrás do "carro que vai à frente") que se exerça sobre um conjunto de pessoas há sempre um efeito underdog sobre outras que neutraliza o primeiro. Só eleitores altamente sofisticados ou altamente desinformados são susceptíveis de tomar as sondagens como referência directa para o voto, os primeiros agindo estrategicamente na base das tendências avançadas pelas sondagens (e temos visto os custos de informação que isto implica) e os segundos tomando a opinião da maioria como boa.

Mas é possível, para não dizer provável, que as sondagens exerçam grandes efeitos no comportamento de outros agentes, cujas acções e decisões acabem, elas sim, por ter consequências nos resultados eleitorais. E nem sequer estou a pensar nos media, cujos efeitos na política tendem também a ser muito sobreestimados. Estou a pensar nas bases dos partidos e nos seus financiadores. Como preservar o poder e a autoridade como líder de um partido, como mobilizar efectivamente as distritais e os militantes para as campanhas, se as sondagens dizem que está tudo perdido? E do ponto de vista dos financiadores, para quê investir num determinado partido se tudo indica que ele não vai para o poder? O efeito de desmobilização que sondagens desfavoráveis exercem sobre as bases, a agitação que lançam nos potenciais sucessores e o afastamento de potenciais financiadores podem ser muito mais nocivos e incapacitantes para um partido do que quaisquer efeitos das sondagens sobre o eleitorado em geral. Acho que é a esta luz que se devem interpretar a irritação dos líderes partidários com sondagens que lhes são desfavoráveis.*

E se isto for verdade, sobra uma questão: por que serão as sondagens desfavoráveis mais "irritantes" para o PSD do que para os outros partidos portugueses? O que distingue o PSD e o torna, pelo menos a julgar pelo comportamento dos seus líderes, mais vulnerável a sondagens desfavoráveis? Segue um projecto de uma tese de doutoramento para a mesa 2, se faz favor.

*A ideia, claro, não é minha: vejam Henshel, Richard L., and William Johnston. 1987. “The Emergence of Bandwagon Effects: A Theory.” The Sociological Quarterly 28:493-511.

by Pedro Magalhães

Agradecimentos

Posted January 31st, 2005 at 12:50 pm4 Comments

Estou muito atrasado nos agradecimentos a quem mencionou a existência deste blogue e/ou o colocou na sua lista de links. E mais do que atrasado, receio já estar completamente perdido e poder esquecer alguém. Mas vou tentar. Obrigado ao Ávido, ao Latitude 33 Longitude 16, ao 2B, ao A Nódoa, ao Divas & Contrabaixos, ao snowgazestarkiss, ao Alhos Vedros ao Poder, ao Aquilo etc e tal , ao Vizir, ao Abrupto (cuja menção a este blogue elevou o número de visitas durante uns dias para valores estratosféricos), ao Resistente, ao Ma-Schamba, ao litanias 2.0, ao jantoniopedro, ao PUXAPALAVRA, ao Um dia na vida de... (um ex-aluno, mas quem exactamente? Gostava de saber), ao Aviz e a Os Tempos que Correm (neste caso, o ex-aluno sou eu...). E desculpem aqueles que poderei eventualmente estar a esquecer. Mas o Technorati, o Technorati...

by Pedro Magalhães

Como apresentar os resultados?

Posted January 30th, 2005 at 5:07 pm4 Comments

Na Praia, o Ivan coloca algumas questões interessantes:

Por que se extrapola das intenções de voto manifestadas agora (23% para o PS, 14% para o PSD) para resultados comparáveis com os de eleições (46% para o PS, 28% para o PSD)? Não faria mais sentido dizermos que, neste momento, há apenas 23% de eleitores que declaram ir votar no PS e 14% no PSD? Ao criar artificialmente percentagens similares a resultados eleitorais, a sondagem não cria uma ilusão sobre o que ao mesmo tempo, no blog, se diz ser impossível prever?

O Ivan não erra ao detectar a existência de um problema. Se quem faz as sondagens sabe que elas são apenas uma "fotografia" de um momento e não podem ser vistas como previsões, então, ao apresentar resultados como se de "resultados eleitorais" se tratassem, induz o público em erro. Eu sei que o problema existe. Mas acho que as alternativas são piores.

Explico-me. Imaginem que, em vez de apresentarem os seus resultados como se de resultados eleitorais se tratassem, todos os jornais apresentassem os resultados das sondagens que encomendam, digamos, em "bruto". Se assim fosse, teríamos, por exemplo, para o PS:

Marktest: 28.7%
Católica: 23%
Aximage: 43,3% (e é assim que de facto destacam o resultado)
Eurosondagem:42% (calculado na base dos 7,8% que reportam de "não sabe/não responde")
Euroteste: 40%

Esta comparação diz-vos alguma coisa? Claro que podíamos ir mais longe. Os "resultados brutos" da Católica e da Marktest calculam o voto do PS incluindo na base as pessoas que declararam abertamente não ir votar (15% na Católica, 6% na Marktest). Mas notem: a Aximage anuncia uma abstenção de 42,2%. Se só comparássemos resultados brutos, a comparação continuaria a não fazer sentido, porque a disparidade na abstenção é enorme (não me perguntem como a Aximage consegue que 42,2% das 600 pessoas inquiridas admitam aos seus inquiridores que não tencionam votar. Não faço ideia como isto se consegue).

Haveria ainda uma outra hipótese: fazer como a Aximage tem feito (e a Eurosondagem costumava fazer), dando destaque aos resultados calculados numa base que inclui os indecisos. Contudo, o problema continua: enquanto a Aximage apanha 9% de indecisos e a Eurosondagem 7,8% nas suas últimas sondagens, a Católica apanha 22% de indecisos e a Marktest 32% de "não sabe"/"não responde", disparidade que resultará, provavelmente e pelo menos em parte, de diferentes opções metodológicas. Logo, esse resultados continuariam a não fazer sentido para o público em geral do ponto de vista comparativo.

Assim, a solução correcta é, a meu ver, a que actualmente existe e é prevista na lei. Por um lado, todas as empresas têm de apresentar os seus "resultados brutos" (o que as pessoas lhes dizem quando lhes é perguntado se vão votar e em quem). É na base destes que o Ivan, e bem, tirou as conclusões que tirou. E podem também apresentar outros resultados, fazendo-o como muito bem entenderem, desde que expliquem claramente o que fizeram. Se a lei é de facto cumprida ou não, em particular no que respeita à publicação dos resultados brutos, é outro assunto, que diz respeito a esta instituição. Eu é que acho - e não obrigo ninguém a concordar comigo - que, para comparar as sondagens, tendo em conta o impacto que as variações metodológicas têm na percentagem de indecisos e de abstencionistas, os resultados brutos não chegam para dar uma ideia clara das diferenças entre as sondagens e da evolução dos seus resultados. E há uma coisa que tenho a certeza que não faz sentido: olhar para resultados eleitorais e compará-los directamente com sondagens que não redistribuem indecisos (ver aqui ou aqui).

Contudo, noto com satisfação que a última sondagem da Aximage teve uma apresentação de resultados distinta das anteriores. Como de costume, são apresentados os resultados com indecisos. Mas ficamos desta vez a saber qual é percentagem de indecisos, e é o próprio jornal que nos diz os resultados expurgados de indecisos, para que os possamos comparar com os resultados de outras sondagens. Isto não impede que o próprio responsável da Aximage exprima discordância com as pressuposições por detrás da redistribuição proporcional de indecisos. Tudo bem. Mas o problema não é saber qual o método de redistribuição de indecisos que melhor permite "prever" o que eles vão fazer. Nesta fase, não vale a pena fazer essas contas. O problema é simplesmente o de apresentar resultados que sejam comparáveis uns com os outros. E aqui, acho que não há alternativa, e que, desta vez, o Correio da Manhã e a Aximage fizeram bem.

É certo que o problema detectado pelo Ivan persiste. Será que quem olha para os resultados é sensível a todas estas subtilezas? Não creio. Será que, na prática, o público não acaba sempre por ser induzido em erro? Provavelmente. Mas acho que as alternativas são ainda piores.

by Pedro Magalhães

Poll of polls V

Posted January 30th, 2005 at 4:58 pm4 Comments

Quando, num post anterior, dizia que "amanhã há mais uma", estava enganado. Houve mais três: a que eu já esperava (Eurosondagem, para RR, SIC e Expresso), uma da Marktest (para DN e TSF) e outra da Aximage (Correio da Manhã).

Os resultados, tal como destacados pelos órgãos de comunicação que as publicaram, são os seguintes (espero que os problemas de legibilidade apontados por alguns leitores fiquem assim resolvidos):



Tratados os indecisos como abstencionistas, para fins de comparabilidade entre os diferentes resultados e com resultados eleitorais, ficamos com o seguinte quadro, em que a média não ponderada dos últimos resultados é feita em relação às cinco sondagens mais recentes. O trabalho de campo delas esteve muito próximo no tempo e assim englobamos todos os resultados de todos os institutos/empresas que os divulgaram até agora:



Nada do que disse aqui sobre os resultados mudou com a introdução das três novas sondagens. As diferenças mais substanciais entre as sondagens não têm a ver com o PS, mas sim com o PSD: estimativas entre 27,7% e 36%. Sobre a questão PCP/CDS/BE, a Eurosondagem e a Aximage têm sido muito consistentes em colocar o BE depois dos outros, mas oscilam na ordem CDS/CDU. Estamos a falar, claro, de ordenações que não resistem se tomarmos em conta as margens de erro amostrais, mas a recorrência destes resultados reduz a probabilidade de que sejam meramente ocasionais. Quanto à Euroteste, a Católica e a Marktest, teremos de esperar por mais resultados para saber se também elas têm padrões recorrentes.

by Pedro Magalhães