Pedro Magalhães

Margens de Erro

Os "efeitos" da campanha

Posted February 18th, 2005 at 2:33 pm4 Comments

Média das 5 sondagens publicadas entre 27/1 e 29/1:

PS:45%
PSD:31%
CDU:7%
CDS:7%
BE:7%

Média das sondagens publicadas entre 17/2 e 18/2:

PS:46%
PSD:30%
CDU:7%
CDS:7%
BE:6%

Preciso de dizer mais alguma coisa?

by Pedro Magalhães

Três certezas a 99,9% (como quem diz)

Posted February 18th, 2005 at 2:19 pm4 Comments

1. O PS ganha;

2. PSD e CDS-PP não fazem maioria;

3. Subida forte do BE em relação a 2002;

4. Se não tiver maioria absoluta, PS necessita apenas de um parceiro à esquerda para a formar.

by Pedro Magalhães

Certeza absoluta

Posted February 18th, 2005 at 1:54 pm4 Comments

Uma certeza absoluta: estas eleições vão ser aquelas (pelo menos desde 1991) em que haverá menos diferença entre as diferentes sondagens no que respeita à precisão das suas estimativas. Isso sabe-se de forma muito simples: a dispersão nos resultados das diferentes sondagens é a menor de sempre. As estimativas para o PS oscilam entre os 43% e o 47%, para o PSD entre os 27% e os 31%, para a CDU entre os 6% e os 9%, para o CDS-PP entre os 6 e os 8%, e para o BE entre os 5% e os 8%. Pode ainda parecer muito, e para os pequenos partidos, num certo sentido, é. Mas isso não impede que estas sejam as eleições legislativas onde as últimas sondagens mais convergiram entre si. Agora se estão todas muito "certas" ou todas muito "erradas" é outra questão...

by Pedro Magalhães

O dilúvio

Posted February 18th, 2005 at 1:25 pm4 Comments

Dois dilúvios, aliás: um de e-mails recebidos e outro de sondagens. Quanto ao primeiro, vou nalguns casos responder directamente e, noutros, tentar responder ao longo do tempo com estes posts. Seja como for, obrigado a todos. Quanto às sondagens, são sete, que eu saiba, divulgadas ontem e hoje nos órgãos de comunicação social:



Para já ficam os dados. Comentário final no próximo post...

by Pedro Magalhães

2002

Posted February 17th, 2005 at 1:02 am4 Comments

E para terminar a ronda pelas últimas sondagens publicadas antes das legislativas, eis as de 2002:



Em síntese:

1. Em média, os desvios absolutos cometidos pelas sondagens na estimação dos resultados dos cinco maiores partidos foi de 1,7%. Católica foi quem mais se aproximou(1% de desvio absoluto médio);

2. Em média, as sondagens sobrestimaram a margem de vitória do PSD em 2,9%. A Eurosondagem foi que mais se aproximou da margem real.

3. Lusófona e Eurequipa foram as únicas que apanharam claramente o CDS à frente da CDU.


Espero que isto tenha sido de alguma utilidade. Há quem duvide disso, recorrendo ao argumento de que "sondagens não são previsões", não devendo por isso ser comparadas com resultados eleitorais, ou mesmo alegando que as próprias sondagens geram efeitos que levam à sua menor precisão, o que tornaria o seu confronto com os resultados "injusto".

Não concordo nada com estes argumentos. Sondagens realizadas num mesmo momento estão em pé de igualdade no que respeita à sua (in)capacidade de previsão. E no entanto, umas aproximam-se mais do que outras dos resultados. Porquê? Pode ser um acaso. Mas quando as margens de erro amostral são claramente ultrapassadas por umas sondagens e não por outras, não haverá razões para tal, ligadas aos métodos utilizados ou à sua incapacidade para lidar com fenómenos sociopolíticos que geram imprecisão (a abstenção diferencial, a espiral do silêncio, os próprios efeitos das sondagens sobre os comportamentos)? Se não compararmos sondagens e métodos, como podemos aprender a melhorá-las?

Três últimos pontos antes do dilúvio de hoje e amanhã:

1. Parece-me evidente a melhoria na precisão da informação fornecida aos eleitores acerca das intenções de voto nas legislativas desde 1991.

2. Introduzir de "factores de correcção" nas sondagens actuais na base de informação passada constitui um enorme risco. Todos os partidos já foram alguma vez sobre e subestimados, enquanto vencedores ou derrotados, enquanto favoritos ou não. Como saber como e quando a "correcção" vai ser útil ou, pelo contrário, produzir ainda maiores distorções?

3. Não há, desde 1991, um partido que seja uniformemente e sistematicamente subestimado nas sondagens. É certo que, desde 1999, isso tem sucedido com o CDS. Acontecerá o mesmo desta vez?

by Pedro Magalhães

Marktest

Posted February 16th, 2005 at 3:17 pm4 Comments

Muito interessante. Como, aliás, toda esta secção.

by Pedro Magalhães

1999. Looks even more familiar?

Posted February 15th, 2005 at 10:38 am4 Comments

1999 foi o ano da maioria aboluta que nunca aconteceu. Todas as últimas sondagens divulgadas antes das eleições apontavam para uma percentagem mínima de 46% dos votos (redistribuindo os indecisos apresentados pela SEEDS, pela Aximage, a Euroexpansão, e a Metris), mas o PS acabou com 44% e 115 deputados.




Culpa das sondagens? Em parte, certamente. Houve qualquer coisa que correu mal para os lados da Aximage e (especialmente) Euroexpansão. O fenómeno BE foi subestimado por muitos, o que aponta para os riscos inerentes em usar modelos de amostragem ou ponderação dos votos baseados em comportamentos anteriores.

Contudo, em abono das pobres das sondagens, importa recordar que, em 1999, a abstenção deu um salto considerável - de 34% para 39% - e que parte dessa abstenção, presumivelmente, foi a de declarados votantes PS que, no dia das eleições, se desmobilizaram mais do que os outros. Isto não significa que as sondagens não tenham de procurar melhores modelos de "votantes prováveis", mas sugere que a abstenção diferencial é uma fonte de erro muito importante e muito difícil de evitar. Para além disso, note-se como o desvio absoluto médio dos resultados das sondagens em relação aos resultados dos cinco principais partidos foi de apenas 1,9% (1,8% se descontarmos a Euroexpansão) e como a margem de vitória do PS foi sobrestimada em "apenas"4%, em média (a SEEDS foi quem mais se aproximou dos resultados finais dos dois pontos de vista). Mais uma vez, não se esqueçam que estamos a lidar com sondagens que tiveram de ser conduzidas até, no máximo, uma semana antes das eleições. Apesar de tudo, parecem-me imprecisões muito aceitáveis tendo em conta os constrangimentos e as limitações do método, mas eu sou suspeito...

Imagino que o cenário de 1999 seja aquele que o PS mais teme neste momento e daí o apelo à maioria absoluta, de forma a evitar a desmobilização final que, nesse ano, converteu uma maioria absoluta quase certa num parlamento que mais tarde viria a ser "limiano". É também o cenário a que, talvez, o PSD possa aspirar com mais realismo. É um cenário eminentemente plausível. Mas o presente distingue-se do passado em três coisas importantes:

1. A favor da maioria absoluta: não se trata de reconfirmar Guterres, mas sim de demitir Santana Lopes, duas coisas muito diferentes (a segunda mais apelativa e rodeada de dramatismo e potencial mobilizador do que a primeira);

2. Contra a maioria absoluta: há um BE mais forte que em 1999, opção mais viável para um eleitorado de esquerda que não se deixe influenciar pelo argumento do voto útil no PS.

3. Não sei se contra se a favor: Sócrates não é Guterres.


O deve e o haver destas coisas talvez se perceba melhor dentro de dois dias.

P.S.- Houve outra sondagem publicada nessa semana, da Eurosondagem no Semanário, mas que não incluo por não ter apresentado resultados para o BE. Mas dava 46% para o PS e 32% para o PSD, ou seja, maioria absoluta, tal como as outras.

by Pedro Magalhães

1995. Looks familiar?

Posted February 14th, 2005 at 6:34 pm4 Comments

Estas foram as últimas sondagens publicadas antes das eleições legislativas de 1995 (quando indecisos não foram redistribuídos - Metris, Compta, Ipsos - os resultados apresentados resultam da sua redistribuição proporcional pelas opções válidas):



Quando escrevo isto, não faço a mais pequena ideia de como virão a ser as sondagens das próximas 5ª e 6ª feiras. Mas não me custa acreditar que se venham a parecer com estas. PS perto nuns casos, e longe noutros, da maioria absoluta; margens de vitória discrepantes; indeterminação quanto a quem fica à frente: CDS-PP ou CDU.

O que sucedeu nas eleições de 1 de Outubro? O PS ganhou, como todas as sondagens sugeriam. A margem de vitória foi de quase 10 pontos percentuais, como a Metris e a Marktest sugeriam, em claro contraste com a Compta (Compta?) e a Euroteste, que apesar de tudo acertou no CDS-PP à frente da CDU (tal como a Católica). Em média, as sondagens tenderam a subestimar a margem de vitória do PS, tal como subestimaram ao do PSD em 1991, mas de forma menos chocante: cerca de 3% de subestimação, em média. E o desvio absoluto médio entre as sondagens e os resultados dos 4 maiores partidos foi de 1,5%, uma coisa perfeitamente decente do ponto de vista comparativo (especialmente tendo em conta que não se publicavam - e, logo, não se faziam - sondagens até à véspera das eleições).

Tal como em 1991, maiores amostras tenderam a produzir maior precisão. Não há uma vantagem clara da aleatoriedade sobre as quotas, tal como não há uma vantagem clara das presenciais sobre as telefónicas. E uma curiosidade: esta sondagem da Metris foi a sondagem pré-eleitoral mais precisa feita para eleições nacionais em Portugal desde 1991 até hoje. E isto apesar de ter "falhado" a ordem relativa de CDS-PP e CDU.

by Pedro Magalhães

1991, o ano louco das sondagens

Posted February 14th, 2005 at 1:23 pm4 Comments

Tinha prometido uma revisitação às sondagens sobre eleições legislativas realizadas na última década e meia, para ver se aprendemos alguma coisa com o passado. Começo com 1991. A razão é simples: só a partir desta altura se pode começar a pedir às sondagens que apresentem resultados que se aproximem minimamente daqueles que vêm a ser os resultados eleitorais. E isto porque só em Julho de 1991, com a aprovação da lei 31/91, se tornou possível publicar resultados até uma semana antes das eleições, dado que, até lá, o embargo era de 30 dias.

O que sucedeu quanto às últimas sondagens publicadas antes das eleições? Vejam por vocês próprios (nas sondagens onde os indecisos não eram redistribuídos, essa redistribuição fê-se proporcionalmente pelas opções válidas):



A dimensão da catástrofe é difícil de descrever. É certo que todos "acertaram" no vencedor. Mas acertar no vencedor é coisa que um extraterrestre chegado a Portugal no dia 5 de Outubro podia fazer com uma moeda com 50% de probabilidade de acertar, ou, se quisesse 100%, lendo os jornais de Setembro de 1991. De resto, em média, as sondagens subestimaram a margem de vitória do PSD sobre o PS em 12%, enquanto que o desvio absoluto médio entre os resultados das sondagens para os quatro principais partidos e o resultado que vieram a ter foi de quase 4% (acima de qualquer concebível margem de erro amostral). A distância entre a data de trabalho de campo e a data das eleições foi, nalguns casos, considerável. Mas o mesmo sucedeu em 1995 e 1999, com resultados, como veremos, bastante distintos.

O que se passou? Um ano depois, uma catástrofe semelhante nas eleições no Reino Unido gerou uma enorme bibliografia. Aqui, nada. A hipótese benévola é um "late surge" do PSD, que as sondagens não puderam captar. Mas é muito duvidoso que isso explique tudo. Amostras maiores geraram, de facto, resultados menos imprecisos. O uso das quotas não parece ter ajudado. E não foi por terem feito sondagens face-a-face que os institutos conseguiram medir melhor as intenções de voto. A abstenção à última da hora terá afectado mais as intenções de voto no PS e no CDS do que no PSD ou no PCP? Talvez. Mas em bom rigor, who knows? Agora, é demasiado tarde para saber.

P.S. Suspeito que algum ressentimento do PSD em relação às sondagens tem as suas origens aqui, com alguma razão, diga-se. Mas como veremos, as coisas mudaram.

by Pedro Magalhães

Poll of polls VII

Posted February 14th, 2005 at 11:54 am4 Comments

1. Resultados tais como destacados na imprensa:



2. Resultados comparáveis entre si e com resultados eleitorais (redistribuição proporcional de indecisos para sondagens que não os redistribuem):



3. Poll of polls ponderada pela dimensão da amostra (média móvel ponderada das três sondagens mais recentes, com ponderação inversa à margem de erro amostral máxima):



4. E porque:
- mais informação não significa melhor compreensão;
- as "últimas três sondagens" não é necessariamente um bom critério de agregação;
- e há muito poucas sondagens no total,

Uma poll of polls ligeiramente diferente: médias ponderadas para quatro períodos de realização de trabalhos de campo (Dezembro, 1ª quinzena de Janeiro, 2ª quinzena de Janeiro e 1ª semana de Fevereiro):




Os gráficos 3 e 4 não são especialmente diferentes. Mas o gráfico 4 apresenta as tendências de forma mais clara e, creio, menos sujeitas a "falsas" flutuações causadas por erros amostrais ou outros.

"Tendências" é como quem diz. As mudanças são mínimas. Começo a pensar que John Curtice, um especialista inglês em comportamento eleitoral que esteve cá numa conferência do ICS, tinha razão quando nos disse que "o resultado das vossas eleições estava decidido muito antes da campanha eleitoral". A ver vamos...

by Pedro Magalhães