Pedro Magalhães

Margens de Erro

Contas finais. Método 3.

Posted March 28th, 2005 at 10:53 am4 Comments

Um mês sem posts. Violada assim a principal regra de um bom blog. Fui para fora depois das eleições, muito trabalho, etc. Seja como for, não queria deixar de fazer a análise final das sondagens realizadas antes das últimas eleições, desta vez com resultados definitivos, incluindo círculos "Europa" e "Fora da Europa". Foram eles os seguintes (para os partidos cujos resultados foram estimados pelas sondagens):

PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%

Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]

1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.


Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:


Deste ponto de vista:

1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)

A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:

1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.

by Pedro Magalhães

Adenda ao rescaldo: só para fanáticos

Posted February 22nd, 2005 at 4:15 pm4 Comments

Para se ver como as coisas são, bastou o apuramento de três freguesias em falta para que o ranking das sondagens pré-eleitorais ficasse ligeiramente modificado. Nada disto é especialmente importante, mas a bem da precisão, uma correcção a este post:

1. A média dos desvios absolutos entre os resultados mais baixa encontrada nas sete sondagens é de 0,7%, e pertence à Eurosondagem e à Intercampus. A primeira acertou quase em cheio na percentagem do PS, da CDU e do BE, e apenas sobrestimou claramente o PSD. A segunda acertou quase em cheio na CDU e no CDS, e teve erros baixos nos restantes. Seguiram-se, por ordem crescente de erro médio, a Aximage (0,8%), o IPOM (1,0%), a Católica (1,1%) e finalmente, empatadas, a Marktest e a Euroteste (1,2%).

2. Quanto ao segundo critério normalmente usado (margem de vitória), quem mais se aproximou foi o IPOM (16%, contra os 16,2% reais). Seguem-se a Intercampus (15,6%), a Aximage (17,2%), a Católica (15%), a Eurosondagem (14%), a Marktest (19,2%) e a Euroteste (12%).

Isto é, repito, só mesmo para fanáticos. E para os que aí andam, que eu sei que andam, prometo fazer o quadro final assim que houver resultados eleitorais definitivos.

by Pedro Magalhães

Até breve

Posted February 21st, 2005 at 12:30 pm4 Comments

Desde o dia 6 de Janeiro, este blogue teve 36.000 visitas e 57.000 page views. Não percebo muito disto, mas dizem-me que não é nada mau. O objectivo era simples: dizer aqui, sobre as sondagens, o que raramente se pode dizer noutros meios de comunicação. Discutir resultados e métodos, chamar a atenção para limitações, descobrir o que as sondagens dizem e (especialmente) o que não dizem. Espero que tenha sido útil.

Mas o melhor de tudo não foi o que aqui dei, mas sim o que recebi. As mensagens que me chegaram e os posts noutros blogues a propósito do que aqui se escreveu levantaram-me problemas em que nunca tinha pensado. Obrigado a todos.

Dito isto, este blogue não acaba aqui. Há sondagens e questões à volta da opinião pública para discutir para além das eleições. Vai simplesmente passar para um ritmo mais lento (pelo menos até Outubro!). Até breve.

by Pedro Magalhães

A Católica

Posted February 21st, 2005 at 12:22 pm4 Comments

Não estou nada infeliz, mas também já tive dias melhores. Nas Presidenciais de 2001, Legislativas de 2002 e Europeias de 2004, as sondagens pré-eleitorais da Católica tinham tido os menores desvios médios em relação aos resultados finais. Nas sondagens de boca das urnas, continuamos a nossa amistosa competição com a Intercampus (nós os mais precisos nas Presidenciais de 2001, eles nas Legislativas de 2002, nós nas Europeias de 2004, e eles agora). Mas a nossa sondagem pré-eleitoral, desta vez, pecou por excesso no BE e por defeito no CDS. Pode ser fruto do acaso, tendo em conta o erro amostral. Mas não estou convencido. Parabéns a quem esteve mais perto e, nós, de volta para o drawing board a ver o que correu menos bem e como se pode fazer melhor.

by Pedro Magalhães

Rescaldo da "mega-fraude"

Posted February 21st, 2005 at 11:17 am4 Comments

Aqui, tinha dito que as sondagens publicadas antes destas eleições eram as que menos se distinguiam entre si, pelo menos desde 1991, ficando em aberto a questão se saber se estavam todas igualmente "erradas" ou, no fundamental, igualmente "certas". A questão já tem resposta: as sondagens de 2005 foram as mais precisas alguma vez conduzidas na história da democracia portuguesa.



A "média dos desvios absolutos médios" entre os resultados eleitorais e as estimativas apresentadas pelas sondagens é a menor de sempre: 1% (com Aximage, Eurosondagem e Intercampus com apenas 0,8%). A margem de vitória do PS foi, em média, subestimada em 1,8%, também o menor valor de sempre (sendo que o IPOM a sobrestimou em apenas 0,3%). Afinal, o maior erro destas sondagens pré-eleitorais foi o de terem, em média, sobrestimado o PSD em 1,3%. Ironias do destino.

Deste ponto de vista, as sondagens à boca das urnas divulgadas às 20.0hh desiludem um pouco. Se tomarmos o ponto central de cada um dos intervalos apresentados como representando a "melhor estimativa", quase que se poderia dizer que foram menos precisas que as sondagens de véspera: a "média dos desvios absolutos médios" foi de 1,2% (Intercampus, 0,6%; Católica, 1,2%; Eurosondagem, 1,8%), enquanto que a margem de vitória do PS foi, desta vez, sobrestimada por todos (em média, 4,3%, com a Eurosondagem a sobrestimá-la em 7,3%).

Seria muito importante, aliás, que se reflectisse sobre o efeito que as acusações que foram feitas às sondagens tiveram na subestimação do eleitorado do PSD nas sondagens à boca das urnas, se é que tiveram algum. Quando um líder de um partido acusa colectivamente todas as empresas de sondagens de estarem envolvidas numa "mega fraude", é apenas natural que muitos eleitores desse partido se recusem a colaborar com essas empresas, especialmente quando a escolha dos inquiridos deixa de ser aleatória e passa a depender mais de algum voluntarismo na colaboração à saída dos locais de voto. As consequências mais graves deste tipo de acusações ficam para quem as faz, e a melhor resposta que se pode dar está nos resultados. Mas os institutos também são afectados por estas acusações, não só no que respeita às eleições, mas também em relação a todo um mundo de estudos académicos, de opinião e de mercado. Fazer sondagens depende crucialmente da colaboração dos inquiridos, e houve danos causados pelas afirmações de Santana Lopes que, sendo difíceis de estimar, são certamente reais.

As dúvidas existenciais estão também esclarecidas:

1. Houve maioria absoluta, tal como previsto por seis das sete sondagens. Podia não ter havido, claro. Mas parece-me que, como aqui sugeri, o aumento da participação ajudou. Assim, em grande medida, passou-se o oposto do que tinha sucedido em 1999.

2. Fim da "subestimação do CDS". Duas sondagens subestimaram o CDS, as restantes sobrestimaram-no, e nuns e noutros casos em valores inferiores às margens de erro amostral associadas a cada estimativa.

3. Possível sobrestimação do BE: todos apanharam a subida acentuada do Bloco, uns subestimando-a ligeiramente, outros sobrestimando-a, mas em todos os casos, também dentro da margem de erro amostral associada às estimativas.

Em resumo: continua a tendência de melhoria da precisão das estimativas apresentadas pelas sondagens. Amostras de maiores dimensões, maior esforço em detectar votantes prováveis, baixa da abstenção, quase tudo ajudou.

by Pedro Magalhães

Período de reflexão

Posted February 18th, 2005 at 7:56 pm4 Comments

E chega de sondagens. Agora é a hora de tomar decisões.

by Pedro Magalhães

Dúvidas existenciais (terceira)

Posted February 18th, 2005 at 7:48 pm4 Comments

O crescimento do BE. Estou um bocado cansado, pelo que vou ser sintético.

1. Em relação ao que teve em 2002, acho que restam poucas dúvidas que o BE vai crescer bastante em termos proporcionais.

2. Como disse sobre a CDU e o CDS-PP, a questão da "ordem relativa" dos partidos é uma questão a que, na verdade, as sondagens não estão a responder, nem podem.

3. Dito isto, acho que há três riscos bem presentes de sobrestimação:
- sobrevalorização do eleitorado urbano;
- não tomar em conta que, nos círculos mais pequenos, os eleitores têm de ser mais estratégicos para eleger deputados e que, logo, podem abandonar o BE à última hora;
- a possibilidade de que as intenções de voto recolhidas sejam meramente "expressivas" e de "protesto" e que, logo, não se realizem no dia das eleições, especialmente entre os eleitores mais jovens.

4. Mas dito isto, mais uma vez: quando as teorias são pouco sólidas, o melhor é ignorá-las e dar o resultado que a amostradeu. O resto são palpites, que podem ou não funcionar. Mas se queremos prever resultados com palpites o melhor é deixar de fazer sondagens.

by Pedro Magalhães

Dúvidas existenciais (segunda)

Posted February 18th, 2005 at 7:16 pm4 Comments

O CDS-PP e a CDU. Estou ciente da surpresa causada pelo facto de o CDS-PP aparecer, em todas as sondagens, com resultados inferiores aos das eleições de 2002. Pelo facto de, em quatro das sete sondagens, o CDS-PP aparecer com resultados iguais ou inferiores aos da CDU. E ainda mais ciente do choque causado pelo facto do CDS-PP surgir em duas sondagens como o 5ª partido.

Sobre isto, algumas notas:

1. Estas "posições relativas" dos partidos geram notícias de jornal, tais como aquelas que são motivadas pela "maioria absoluta" (conclusão que, como espero que tenha ficado do post anterior, é ilegítima, ou pelo menos tão ilegítima como o seu contrário). Mas queria notar, sem querer outra vez ser excessivamente defensivo, que a mais baixa margem de erro amostral associada por qualquer uma destas sondagens à estimativa de um ou outro partido é de + ou - 0,7% (outra vez Católica, estimativa do CDS, 6%). Façam as contas e verão como, pura e simplesmente na base do erro amostral, nenhuma sondagem diz que partido estava à frente nas intenções de voto quando a sondagem foi conduzida, o CDS-PP ou a CDU. Elas dizem apenas o que encontraram na amostra. Mas na inferência da amostra para a realidade, nenhuma está de facto a medir uma diferença estatisticamente significativa entre o CDS-PP e a CDU. Em rigor, eles estão empatados, em todas as sondagens.

2. Estou também ciente - e o Dr. Paulo Portas faz sempre questão de o recordar - que CDS-PP tem sido desvalorizado por todas as sondagens desde 1999. E estou convicto que, tal como sugeri aqui e aqui, alguns institutos estão a tomar isso em conta nos resultados que estão a fornecer.

3. Mas noto com surpresa já aqui mencionada, que as sondagens telefónicas estão desta vez a dar mais (e não menos) expressão eleitoral ao CDS (8%, contra 7% das presenciais e com simulação de voto), facto que parece destruir a teoria da subestimação causada por subestimação do voto rural ou voto oculto.

4. Logo, se assim é, creio que o melhor é não ter quaisquer teorias. O melhor é confiar nos resultados que surgem da amostra, e pronto. Depois, logo se vê.

5. E dito isto, sem querer substituir teorias destruídas com novas teorias construídas ad hoc, ficam duas perguntas:
- será que é compensador a um partido, que cresceu eleitoralmente na base da captação de um eleitorado conservador, composto de uma singular mistura de elites económicas e eleitores socialmente desfavorecidos, começar a fazer de conta que é um partido "moderado", "de governo", "centrista" e da "classe média"?
- será que um partido, mesmo que parceiro menor de uma coligação, consegue escapar incólume à participação no governo mais impopular de que há memória?

Veremos.

by Pedro Magalhães

Dúvidas existenciais (primeira)

Posted February 18th, 2005 at 5:40 pm4 Comments

Num post anterior, escrevi que "há várias questões cuja resposta, creio, não é dada por nenhuma destas sondagens com qualquer razoável margem de confiança:

1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002."

Ora bem. Para além do que possa ter a ver com o futuro de Santana Lopes, a margem de vitória tem uma importância relativa, excepto na medida em que se relaciona com os ponto 1 e 3 (em particular na relação de votos PSD-CDS/PP).

Ficamos assim com três questões fundamentais. Questões para as quais, lamento, estas sondagens não dão respostas definitivas. Vamos à primeira.

Maioria absoluta? Os resultados apresentados oscilam entre os 43% e os 47%. Por assim dizer, entre maioria relativa e maioria absoluta. Para além disso, mesmo que tenhamos uma crença especial na capacidade de uma sondagem em particular para estimar resultados, a margem de erro amostral associada a cada uma delas faz com que seja difícil responder à questão. Tomemos aquela em que eu acredito mais, ou seja (surprise) a da Católica. É preciso recordarmos que a estimativa de 46% significa, tomando em conta a margem de erro amostral, um valor entre 44,6% e 47,4%. Ou seja, potencialmente, a diferença entre a maioria relativa e a maioria absoluta. Para as restantes sondagens, com amostras menores, o problema, por maioria de razão, também existe. E o seu trabalho de campo foi realizado, na maioria dos casos, uma semana antes das eleições. E há, pelo menos na sondagem da Católica, 12% de indecisos.

Logo, não se sabe se haverá ou não maioria absoluta. Ou melhor: nem sequer é possível dizer se, no momento em que se fez o trabalho de campo, haveria ou não uma maioria absoluta. Não pensem que estou a ser propositadamente defensivo, a proteger as sondagens de possíveis "fracassos" ou coisa parecida. É preciso perceber que as sondagens têm limites. Um deles é este.

Dito isto, o meu palpite, se tivesse mesmo de dar um, é o seguinte: se a abstenção descer significativamente, o PS chega lá. A razão está aqui.

by Pedro Magalhães

Discrepâncias na Aximage?

Posted February 18th, 2005 at 3:40 pm4 Comments

Via Blogouve-se:

"Coisas que fascinam (o regresso)
A mesma sondagem (pelo menos com a mesma ficha técnica) aparece hoje no Jornal de Negócios e no Correio da Manhã... mas com resultados diferentes!Na ficha do Correio da Manhã diz-se: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto". No Jornal de Negócios (que não está on line) a ficha técnica diz: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã/Jornal de Negócios pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto".

Mas o mais surpreendente é mesmo a diferença nos resultados:

No Correio da Manhã:
PS 45,4
PSD 28
CDU 6,8
PP 6,7
BE 5,2

No Jornal de Negócios:
PS 46,8
PSD 29,6
CDU 7,0
PP 7,3
BE 5,5

E agora?"

Ora bem, está explicado (até certo ponto) no Correio da Manhã. Segundo a Aximage, o segundo conjunto de estimativas resulta de "distribuição de indecisos de acordo com o modelo probabilístico construído a partir das respostas a perguntas especificamente dirigidas a indecisos em que lhes foram apresentados cenários de voto".

by Pedro Magalhães