Pedro Magalhães

Margens de Erro

Mais UK

Posted May 12th, 2005 at 10:40 am4 Comments

O americano Mystery Pollster escreve sobre as sondagens britânicas.

by Pedro Magalhães

Voodoo?

Posted May 11th, 2005 at 4:28 pm4 Comments

Neste post, apontei o facto de as sondagens anteriores às sondagens "do dia" no Reino Unido terem muito maiores discrepâncias entre si do que as seguintes. E sugeri que isso podia ter a ver com três coisas:

1. Acaso;
2. Mudança da própria realidade que estava a ser descrita, anulando efeitos da variação a nível metodológico;
3. Ajustamento "indutivo" de expectativas.

Agora, um novo elemento: segundo este site, os números brutos obtidos pelas sondagens ICM e Populus davam margens muito maiores aos Trabalhistas dos que aqueles que as sondagens acabaram por dar nas suas sondagens finais e do que aqueles que acabaram por ser os resultados reais.

Ora bem. Isto é um bocado perturbante. O que é perturbante não é o facto de os números brutos serem diferentes dos números "projectados". Todas as sondagens fazem escolhas quanto ao tratamento dos dados obtidos, escolhas que visam corrigir uma série de problemas conhecidos dos processos de amostragem e inquirição: distorções entre características da amostra e características conhecidas da população; efeitos de não-resposta e recusa; efeitos do inquérito; ocultação de real intenção de ir ou não votar ou de votar neste ou naquele partido, etc.

O que é perturbante é que os resultados obtidos de uma amostra sejam tão diferentes daqueles que depois resultam dos tratamentos. Se eles são assim tão diferentes, isto significa que as pressuposições acerca daquele que é e será o comportamento dos eleitores e a sua relação com características dos inquiridos pesam tanto ou mais nas inferências que se fazem acerca da população do que a própria amostra. E se isto é assim, para quê fazer sondagens de intenção de voto? Não será preferível fazer "forecasting" na base de resultados eleitorais anteriores e de factores de previsão (economia, popularidade de líderes)?

E se as pressuposições pesam assim tanto, não se levanta a suspeita de que a convergência entre resultados de sondagens nas últimas eleições inglesas (e já agora, as portuguesas) resulte muito menos de escolhas metodológicas do que de "um bom palpite" (mesmo que o palpite seja um palpite sobre que "contas" hei-de eu fazer para que os dados brutos se convertam "naquilo que eu espero que aconteça"?).

Não é, repito, uma questão de "honestidade", mas sim uma questão de sabermos para que servem as sondagens, o que elas realmente nos dizem e como são feitas. "Ciência" ou "voodoo"?

E notem: eu ficava muito menos preocupado se, com ou sem "voodoo", as sondagens das semanas anteriores tivessem dado coisas parecidas umas com as outras e com aqueles que vieram a ser os resultados finais. Isso passou-se, mais coisa menos coisa, em Portugal em 2005. Mas não foi assim em Inglaterra. Que espécie de informação está a ser dada aos eleitores? Como é ela obtida? Podemos confiar minimamente nela? Dúvidas.

by Pedro Magalhães

Fifty fifty até dia 29?

Posted May 10th, 2005 at 5:56 pm4 Comments

Mais duas sondagens:

Sofres, 7 Maio:
Sim: 52%
Não: 48%

CSA, 9 Maio:
Sim: 51%
Não: 49%

Mais alguns dados interessantes:
*24% afirma não ter ainda decidido como vai votar (Sofres); entre estes, ligeira vantagem nas "inclinações" para o "Não" (Ipsos);

* Eleitores PS divididos ao meio sobre o que irão fazer (Ipsos);

* 83% dos votantes "sim" e 83% dos votantes "não" dizem que a sua escolha é definitiva (Ipsos);

* 47% acham que "Sim" vai ganhar, contra 26% do "Não". Más notícias para o "Sim": expectativa de vitória pode gerar desmobilização e pode sinalizar uma "espiral do silêncio" ("nãos" escondidos que não se revelam dado expectativa social de vitória "Sim").

A bientôt.

by Pedro Magalhães

Fifty fifty, agora sim

Posted May 10th, 2005 at 10:10 am4 Comments

Depois de dois posts intitulados "fifty fifty", sem que alguma vez o "Sim" e o "Não" em França estivessem realmente empatados nas sondagens, o IFOP e a IPSOS resolveram fazer a vontade a este vosso blogger:

IFOP, 4 de Maio:
Sim: 50%
Não: 50%

IPSOS, 7 de Maio:
Sim: 50%
Não: 50%

by Pedro Magalhães

Sondagens UK: rescaldo final

Posted May 10th, 2005 at 10:03 am4 Comments

Está tudo aqui, no UK Polling Report de Anthony Wells, ainda com mais umas sondagens do que aquelas que eu tinha incluído. Com a devida vénia, transcrevo. Para quê inventar?

So, with pretty much everything except Harlow counted, how well did the pollsters do? The bottom line is that everyone got it right - trebles all round! While NOP take the prize, having got the result exactly spot on, not only did all the pollsters get within the 3% margin of error, they all got every party’s share of the vote to within 2%. Basically, it was a triumph for the pollsters.

RESULT - CON 33.2%, LAB 36.2%, LD 22.7%
NOP/Independent - CON 33%(-0.2), LAB 36%(-0.2), LD 23%(+0.3). Av. Error - 0.2%

MORI/Standard - CON 33%(-0.2), LAB 38%(+1.8%), LD 23%(+0.3). Av. Error - 0.8%
Harris - CON 33%(-0.2), LAB 38%(+1.8), LD 22%(-0.7). Av. Error - 0.9%
BES - CON 32.6%(-0.6), LAB 35%(-1.2), LD 23.5%(+0.8%). Av. Error - 0.9%
YouGov/Telegraph - CON 32%(-1.2), LAB 37%(+0.8), LD 24%(+1.3). Av.Error - 1.1%
ICM/Guardian - CON 32%(-1.2), LAB 38%(+1.8), LD 22%(-0.7). Av.Error - 1.2%
Populus/Times - CON 32%(-1.2), LAB 38%(+1.8), LD 21%(-1.7). Av. Error - 1.6%

The other two pollsters, Communicate Research and BPIX, conducted their final polls too early to be counted as proper eve-of-poll predictions, but, for the record, both their final polls were also within the standard 3% margin of error. Their average errors were 0.9% for BPIX and 2.1% for Communicate.

The British Polling Council have a press release out with the same information (although they include the “others” in the average, and use rounded figures for the results, hence the slightly different figures. It doesn’t change the result - everyone was right and NOP did best).

What small errors there were did still tend to favour Labour rather than the Conservatives - of the seven polls above one (NOP) is spot on, one (BES) understated Labour’s lead, and five overstated Labour’s lead. This does suggest there may still be a lingering bias in the polls, but one that is now so small it is hardly worth worrying about. What is interesting is the comparison between the final result and the polls during the campaign - the results from YouGov during the campaign were pretty close to the final result throughout, especially after the first few polls that showed the parties neck and neck. In contrast during the campaign the phone pollsters showed some whopping great Labour leads that disappeared in their final polls - of all the phone polls during the campaign, only one (MORI/Observer, published on the 1st May), did not report a Labour lead larger than the 3% they finally acheived. Of YouGov’s last 10 polls of the campaign, 8 showed a Labour lead of 3 or 4 percent. It doesn’t, of course, necessarily mean that YouGov were right - the “real” Labour lead at that time could have been larger, only to be reduced by a late swing to the Lib Dems - hence the reason why we only compare the eve-of-poll predictions to the final result.

With results that are so close to one another, it’s very difficult to say that technique A worked and technique B didn’t. For what it’s worth, the spiral of silence adjustment made Populus’s final poll less accurate (ICM’s full tables aren’t available yet). At past elections ICM have carried out post election studies, ringing back don’t knows to see how they did vote in the end, so they will hopefully have a far better idea of whether the don’t knows behaved as they expected. If there were Bashful Blairites out there though, they seem to have been equally bashful about going to the polling station. That said, NOP also make a spiral of silence adjustment and it can’t have made their final figures any less accurate.

How did all the polls end up being so close, having been so different during the campaign? Well, I’m afraid there isn’t a simple answer and there’s no evidence of an evil polling conspiracy. The only pollster who I know for sure made methodological changes for their final poll was YouGov, who factored in likelihood to vote for their final prediction (it didn’t have a huge effect, but it did make their prediction more accurate).

by Pedro Magalhães

Something completely different

Posted May 10th, 2005 at 9:57 am4 Comments

Quando ouço falar em "arte mexicana", fico logo desconfiado. Começo logo a imaginar pinturas murais, estatuetas e colares de contas. O que só mostra como sou preconceituoso. Se forem a Madrid, não percam isto.

Especialmente, isto:



Já não estou tão seguro sobre a conversa que se segue, mas ajuda a perceber do que se trata:

A Morir (’til Death) by Miguel Angel Rios in collaboration with Rafael Ortega will consist of a three-channel video installation shot in Tepoztlan, Mexico; the work focuses on a popular street game called "trompos" that involves spinning tops. Viewed from multiple perspectives, the video begins with one spinning top and culminates in a cacophonous profusion of numerous tops in a single game that includes thirty of the most skilled players in town, aged 14 to 50. Through the documentation of this simple scenario, dynamics of competition, invasion and territorialism are signaled both visually and aurally. The lyrical movement of the tops is accompanied by their intense, sycopating sound. Confined within a white grid painted on asphalt, the masses speak to both space and subjectivity. The relative violence is complicated by the game’s high formality and beauty. A Morir (’til Death) negotiates both politics and poetics in abstracting narrative about urban sprawl, congestion, and war.

by Pedro Magalhães

Resultados não definitivos UK

Posted May 6th, 2005 at 1:05 pm4 Comments

Labour: 36,2%
Conservative: 33,2%
Lib Dems: 22,5%

Com estes resultados, temos as sondagens mais precisas feitas no Reino Unido em muitos anos. Boa notícia. E melhor ainda que tenha sido a NOP a acertar em cheio: as sondagens NOP são coordenadas pelo Nick Moon, que esteve em Lisboa há pouco tempo e é autor de um excelente livro sobre sondagens. E a análise das sondagens NOP no Independent esteve a cargo do John Curtice, que já veio várias vezes aqui ao ICS e faz parte do conselho consultivo do projecto Comportamento Eleitoral dos Portugeses.

Análise mais detalhada para a semana.

by Pedro Magalhães

UK: as sondagens do dia

Posted May 5th, 2005 at 9:50 am4 Comments

São as seguintes:



Parecem as sondagens para as últimas legislativas portuguesas: ou acertam todos em cheio ou espatifam-se todos. É extremamente curioso como sondagens que, até há dias, apresentavam discrepâncias importantes (ver aqui) convergem desta maneira no último dia, apesar de continuarem a apresentar as diferenças metodológicas anteriores. Vejo três explicações possíveis:

1. Um mero acaso;

2. A "realidade" mudou, com os eleitores a decidirem-se à última hora de forma a que as diferenças metodológicas deixem de influenciar as estimativas;

3. A terceira é algo mais perversa: quem faz as sondagens olha para um lado e para o outro, pondera os resultados que obtém de acordo com as suas expectativas daquilo que os resultados irão ser, e escolhe os métodos de ponderação e análise de resultados que mais se aproximam dessas expectativas. Resultado: como quem faz as sondagens está imerso no mesmo mundo social e comunicacional, os resultados tendem a convergir.

A terceira explicação pode ser interpretada como apontando alguma desonestidade por parte de quem faz as sondagens. Mas "desonestidade" é um bocado forte. Não acredito que alguém diga que os conservadores vão ter 36% quando as sondagem lhes dá 42%, mudando arbitrariamente os resultados que obtém. O que sucede é que aquilo que a sondagem "dá" depende de uma série de opções sobre como ponderar a probabilidade de voto, como corrigir a composição socio-demográfica da amostra, etc, etc, etc. E aquilo que acho que acontece é que essas opções, na última sondagem, são mais indutivas do que dedutivas. Ou seja: em vez de fazerem essas opções e divulgarem os números que daí resultam, os técnicos olham para os números que resultam das diferentes opções e divulgam os resultados em que mais acreditam.

Mas há aqui, claro, alguma arbitrariedade, e pode haver até um certo espírito defensivo ("se eu não me afastar muito daquilo que os outros dão, não vou ser nem muito pior nem muito melhor que eles"). Não é, propriamente, uma ciência, isso de certeza...

De resto, cerca de 25% dos ingleses dizem-se indecisos. Mais que prováveis abstencionistas.

E já agora: para além da ajuda dos seus colegas barnabitas , mais um elemento para ajudar o Daniel a perceber como se pode tomar a decisão de votar nos Trabalhistas mesmo que se discorde da actuação de Blair no Iraque:

The survey contains a sting in the tail for Mr Blair because more than half the electorate want him to resign within two years rather than carry on for another full term. And only one in three want Mr Blair to stay on longer than two years.

by Pedro Magalhães

UK: as últimas antes do dia

Posted May 4th, 2005 at 1:18 pm4 Comments

Amanhã ainda são divulgadas sondagens no Reino Unido, dado que não há limitações à sua publicitação no dia das eleições. Contudo, as últimas sondagens de campanha estão feitas. Em vez de me lerem a mim, farão muito melhor em ler isto. Contudo, se ainda tiverem paciência, eis o resumo:

1. Trabalhistas à frente em todas as sondagens mais recentes. Se perdessem em votos, era o pior desempenho das sondagens britânicas desde 1992. E se perdessem em deputados, seria o maior cataclismo na história das sondagens desde que elas existem no mundo civilizado. Don't hold your breath;

2. Maior margem de vitória: 13% (Populus, 2 de Maio, telefónica);

3. Menor margem de vitória: 4% (Harris e Yougov, ambas internet polls);

4. Margem de vitória média: 8%;

5. Margem de vitória por tipo de sondagem e ordem decrescente: telefónicas; face-a-face; internet. Vamos ter um teste metodológico muito interessante, especialmente no contraste internet polls e o resto. Se as coisas voltarem a correr bem à Yougov, os efeitos no mundo das sondagens não serão negligenciáveis;

6. Quando mais exigente o filtro dos "votantes prováveis", menor a margem de vitória. Por outras palavras: eleitores Trabalhistas menos seguros de que irão às urnas;

7.Lib-Dems: em média, tendência de crescimento desde início de Abril. Mas não à custa dos Trabalhistas, e sim à custa dos Conservadores, pelo menos nas intenções de voto. Curioso e muito contraintuitivo. Claro, isto não quer dizer que haja transferências directas Conservadores-Lib-Dem's, mas sim que o saldo dos diversos tipos de transferências (de partidos para outros e da abstenção para o voto e vice-versa) tem sido favorável a Trabalhistas e Lib-Dem's desde o início de Abril. É quase garantido que vão ter o melhor resultado desde 1987, restando saber se conseguem superar 1983.

Como espremer mais algum interesse de umas eleições altamente entediantes? Difícil. A não ser para dizer que Gordon Brown é, em todas as sondagens neste momento, muitíssimo mais popular e confiado do que Tony Blair. Reforma antecipada?

by Pedro Magalhães

Obrigado

Posted May 4th, 2005 at 1:15 pm4 Comments

Ao Blasfémias e ao Insurgente pelas referências. De repente, o Sitemeter dá um grande solavanco..

by Pedro Magalhães