Pedro Magalhães

Margens de Erro

Até breve

Posted February 21st, 2005 at 12:30 pm4 Comments

Desde o dia 6 de Janeiro, este blogue teve 36.000 visitas e 57.000 page views. Não percebo muito disto, mas dizem-me que não é nada mau. O objectivo era simples: dizer aqui, sobre as sondagens, o que raramente se pode dizer noutros meios de comunicação. Discutir resultados e métodos, chamar a atenção para limitações, descobrir o que as sondagens dizem e (especialmente) o que não dizem. Espero que tenha sido útil.

Mas o melhor de tudo não foi o que aqui dei, mas sim o que recebi. As mensagens que me chegaram e os posts noutros blogues a propósito do que aqui se escreveu levantaram-me problemas em que nunca tinha pensado. Obrigado a todos.

Dito isto, este blogue não acaba aqui. Há sondagens e questões à volta da opinião pública para discutir para além das eleições. Vai simplesmente passar para um ritmo mais lento (pelo menos até Outubro!). Até breve.

by Pedro Magalhães

A Católica

Posted February 21st, 2005 at 12:22 pm4 Comments

Não estou nada infeliz, mas também já tive dias melhores. Nas Presidenciais de 2001, Legislativas de 2002 e Europeias de 2004, as sondagens pré-eleitorais da Católica tinham tido os menores desvios médios em relação aos resultados finais. Nas sondagens de boca das urnas, continuamos a nossa amistosa competição com a Intercampus (nós os mais precisos nas Presidenciais de 2001, eles nas Legislativas de 2002, nós nas Europeias de 2004, e eles agora). Mas a nossa sondagem pré-eleitoral, desta vez, pecou por excesso no BE e por defeito no CDS. Pode ser fruto do acaso, tendo em conta o erro amostral. Mas não estou convencido. Parabéns a quem esteve mais perto e, nós, de volta para o drawing board a ver o que correu menos bem e como se pode fazer melhor.

by Pedro Magalhães

Rescaldo da "mega-fraude"

Posted February 21st, 2005 at 11:17 am4 Comments

Aqui, tinha dito que as sondagens publicadas antes destas eleições eram as que menos se distinguiam entre si, pelo menos desde 1991, ficando em aberto a questão se saber se estavam todas igualmente "erradas" ou, no fundamental, igualmente "certas". A questão já tem resposta: as sondagens de 2005 foram as mais precisas alguma vez conduzidas na história da democracia portuguesa.



A "média dos desvios absolutos médios" entre os resultados eleitorais e as estimativas apresentadas pelas sondagens é a menor de sempre: 1% (com Aximage, Eurosondagem e Intercampus com apenas 0,8%). A margem de vitória do PS foi, em média, subestimada em 1,8%, também o menor valor de sempre (sendo que o IPOM a sobrestimou em apenas 0,3%). Afinal, o maior erro destas sondagens pré-eleitorais foi o de terem, em média, sobrestimado o PSD em 1,3%. Ironias do destino.

Deste ponto de vista, as sondagens à boca das urnas divulgadas às 20.0hh desiludem um pouco. Se tomarmos o ponto central de cada um dos intervalos apresentados como representando a "melhor estimativa", quase que se poderia dizer que foram menos precisas que as sondagens de véspera: a "média dos desvios absolutos médios" foi de 1,2% (Intercampus, 0,6%; Católica, 1,2%; Eurosondagem, 1,8%), enquanto que a margem de vitória do PS foi, desta vez, sobrestimada por todos (em média, 4,3%, com a Eurosondagem a sobrestimá-la em 7,3%).

Seria muito importante, aliás, que se reflectisse sobre o efeito que as acusações que foram feitas às sondagens tiveram na subestimação do eleitorado do PSD nas sondagens à boca das urnas, se é que tiveram algum. Quando um líder de um partido acusa colectivamente todas as empresas de sondagens de estarem envolvidas numa "mega fraude", é apenas natural que muitos eleitores desse partido se recusem a colaborar com essas empresas, especialmente quando a escolha dos inquiridos deixa de ser aleatória e passa a depender mais de algum voluntarismo na colaboração à saída dos locais de voto. As consequências mais graves deste tipo de acusações ficam para quem as faz, e a melhor resposta que se pode dar está nos resultados. Mas os institutos também são afectados por estas acusações, não só no que respeita às eleições, mas também em relação a todo um mundo de estudos académicos, de opinião e de mercado. Fazer sondagens depende crucialmente da colaboração dos inquiridos, e houve danos causados pelas afirmações de Santana Lopes que, sendo difíceis de estimar, são certamente reais.

As dúvidas existenciais estão também esclarecidas:

1. Houve maioria absoluta, tal como previsto por seis das sete sondagens. Podia não ter havido, claro. Mas parece-me que, como aqui sugeri, o aumento da participação ajudou. Assim, em grande medida, passou-se o oposto do que tinha sucedido em 1999.

2. Fim da "subestimação do CDS". Duas sondagens subestimaram o CDS, as restantes sobrestimaram-no, e nuns e noutros casos em valores inferiores às margens de erro amostral associadas a cada estimativa.

3. Possível sobrestimação do BE: todos apanharam a subida acentuada do Bloco, uns subestimando-a ligeiramente, outros sobrestimando-a, mas em todos os casos, também dentro da margem de erro amostral associada às estimativas.

Em resumo: continua a tendência de melhoria da precisão das estimativas apresentadas pelas sondagens. Amostras de maiores dimensões, maior esforço em detectar votantes prováveis, baixa da abstenção, quase tudo ajudou.

by Pedro Magalhães

Período de reflexão

Posted February 18th, 2005 at 7:56 pm4 Comments

E chega de sondagens. Agora é a hora de tomar decisões.

by Pedro Magalhães

Dúvidas existenciais (terceira)

Posted February 18th, 2005 at 7:48 pm4 Comments

O crescimento do BE. Estou um bocado cansado, pelo que vou ser sintético.

1. Em relação ao que teve em 2002, acho que restam poucas dúvidas que o BE vai crescer bastante em termos proporcionais.

2. Como disse sobre a CDU e o CDS-PP, a questão da "ordem relativa" dos partidos é uma questão a que, na verdade, as sondagens não estão a responder, nem podem.

3. Dito isto, acho que há três riscos bem presentes de sobrestimação:
- sobrevalorização do eleitorado urbano;
- não tomar em conta que, nos círculos mais pequenos, os eleitores têm de ser mais estratégicos para eleger deputados e que, logo, podem abandonar o BE à última hora;
- a possibilidade de que as intenções de voto recolhidas sejam meramente "expressivas" e de "protesto" e que, logo, não se realizem no dia das eleições, especialmente entre os eleitores mais jovens.

4. Mas dito isto, mais uma vez: quando as teorias são pouco sólidas, o melhor é ignorá-las e dar o resultado que a amostradeu. O resto são palpites, que podem ou não funcionar. Mas se queremos prever resultados com palpites o melhor é deixar de fazer sondagens.

by Pedro Magalhães

Dúvidas existenciais (segunda)

Posted February 18th, 2005 at 7:16 pm4 Comments

O CDS-PP e a CDU. Estou ciente da surpresa causada pelo facto de o CDS-PP aparecer, em todas as sondagens, com resultados inferiores aos das eleições de 2002. Pelo facto de, em quatro das sete sondagens, o CDS-PP aparecer com resultados iguais ou inferiores aos da CDU. E ainda mais ciente do choque causado pelo facto do CDS-PP surgir em duas sondagens como o 5ª partido.

Sobre isto, algumas notas:

1. Estas "posições relativas" dos partidos geram notícias de jornal, tais como aquelas que são motivadas pela "maioria absoluta" (conclusão que, como espero que tenha ficado do post anterior, é ilegítima, ou pelo menos tão ilegítima como o seu contrário). Mas queria notar, sem querer outra vez ser excessivamente defensivo, que a mais baixa margem de erro amostral associada por qualquer uma destas sondagens à estimativa de um ou outro partido é de + ou - 0,7% (outra vez Católica, estimativa do CDS, 6%). Façam as contas e verão como, pura e simplesmente na base do erro amostral, nenhuma sondagem diz que partido estava à frente nas intenções de voto quando a sondagem foi conduzida, o CDS-PP ou a CDU. Elas dizem apenas o que encontraram na amostra. Mas na inferência da amostra para a realidade, nenhuma está de facto a medir uma diferença estatisticamente significativa entre o CDS-PP e a CDU. Em rigor, eles estão empatados, em todas as sondagens.

2. Estou também ciente - e o Dr. Paulo Portas faz sempre questão de o recordar - que CDS-PP tem sido desvalorizado por todas as sondagens desde 1999. E estou convicto que, tal como sugeri aqui e aqui, alguns institutos estão a tomar isso em conta nos resultados que estão a fornecer.

3. Mas noto com surpresa já aqui mencionada, que as sondagens telefónicas estão desta vez a dar mais (e não menos) expressão eleitoral ao CDS (8%, contra 7% das presenciais e com simulação de voto), facto que parece destruir a teoria da subestimação causada por subestimação do voto rural ou voto oculto.

4. Logo, se assim é, creio que o melhor é não ter quaisquer teorias. O melhor é confiar nos resultados que surgem da amostra, e pronto. Depois, logo se vê.

5. E dito isto, sem querer substituir teorias destruídas com novas teorias construídas ad hoc, ficam duas perguntas:
- será que é compensador a um partido, que cresceu eleitoralmente na base da captação de um eleitorado conservador, composto de uma singular mistura de elites económicas e eleitores socialmente desfavorecidos, começar a fazer de conta que é um partido "moderado", "de governo", "centrista" e da "classe média"?
- será que um partido, mesmo que parceiro menor de uma coligação, consegue escapar incólume à participação no governo mais impopular de que há memória?

Veremos.

by Pedro Magalhães

Dúvidas existenciais (primeira)

Posted February 18th, 2005 at 5:40 pm4 Comments

Num post anterior, escrevi que "há várias questões cuja resposta, creio, não é dada por nenhuma destas sondagens com qualquer razoável margem de confiança:

1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002."

Ora bem. Para além do que possa ter a ver com o futuro de Santana Lopes, a margem de vitória tem uma importância relativa, excepto na medida em que se relaciona com os ponto 1 e 3 (em particular na relação de votos PSD-CDS/PP).

Ficamos assim com três questões fundamentais. Questões para as quais, lamento, estas sondagens não dão respostas definitivas. Vamos à primeira.

Maioria absoluta? Os resultados apresentados oscilam entre os 43% e os 47%. Por assim dizer, entre maioria relativa e maioria absoluta. Para além disso, mesmo que tenhamos uma crença especial na capacidade de uma sondagem em particular para estimar resultados, a margem de erro amostral associada a cada uma delas faz com que seja difícil responder à questão. Tomemos aquela em que eu acredito mais, ou seja (surprise) a da Católica. É preciso recordarmos que a estimativa de 46% significa, tomando em conta a margem de erro amostral, um valor entre 44,6% e 47,4%. Ou seja, potencialmente, a diferença entre a maioria relativa e a maioria absoluta. Para as restantes sondagens, com amostras menores, o problema, por maioria de razão, também existe. E o seu trabalho de campo foi realizado, na maioria dos casos, uma semana antes das eleições. E há, pelo menos na sondagem da Católica, 12% de indecisos.

Logo, não se sabe se haverá ou não maioria absoluta. Ou melhor: nem sequer é possível dizer se, no momento em que se fez o trabalho de campo, haveria ou não uma maioria absoluta. Não pensem que estou a ser propositadamente defensivo, a proteger as sondagens de possíveis "fracassos" ou coisa parecida. É preciso perceber que as sondagens têm limites. Um deles é este.

Dito isto, o meu palpite, se tivesse mesmo de dar um, é o seguinte: se a abstenção descer significativamente, o PS chega lá. A razão está aqui.

by Pedro Magalhães

Discrepâncias na Aximage?

Posted February 18th, 2005 at 3:40 pm4 Comments

Via Blogouve-se:

"Coisas que fascinam (o regresso)
A mesma sondagem (pelo menos com a mesma ficha técnica) aparece hoje no Jornal de Negócios e no Correio da Manhã... mas com resultados diferentes!Na ficha do Correio da Manhã diz-se: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto". No Jornal de Negócios (que não está on line) a ficha técnica diz: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã/Jornal de Negócios pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto".

Mas o mais surpreendente é mesmo a diferença nos resultados:

No Correio da Manhã:
PS 45,4
PSD 28
CDU 6,8
PP 6,7
BE 5,2

No Jornal de Negócios:
PS 46,8
PSD 29,6
CDU 7,0
PP 7,3
BE 5,5

E agora?"

Ora bem, está explicado (até certo ponto) no Correio da Manhã. Segundo a Aximage, o segundo conjunto de estimativas resulta de "distribuição de indecisos de acordo com o modelo probabilístico construído a partir das respostas a perguntas especificamente dirigidas a indecisos em que lhes foram apresentados cenários de voto".

by Pedro Magalhães

Interlúdio

Posted February 18th, 2005 at 2:49 pm4 Comments

Por razões que desconheço nem quero conhecer, o sitemeter indica-me que um dos sites através do qual se acedeu a este blogue foi este. Não podia ser mais apropriado.

by Pedro Magalhães

Os "efeitos" da campanha

Posted February 18th, 2005 at 2:33 pm4 Comments

Média das 5 sondagens publicadas entre 27/1 e 29/1:

PS:45%
PSD:31%
CDU:7%
CDS:7%
BE:7%

Média das sondagens publicadas entre 17/2 e 18/2:

PS:46%
PSD:30%
CDU:7%
CDS:7%
BE:6%

Preciso de dizer mais alguma coisa?

by Pedro Magalhães