Pedro Magalhães

Margens de Erro

A última sondagem da Aximage, reloaded

Posted May 27th, 2009 at 12:14 pm4 Comments

Ora bem: tudo esclarecido na versão em papel do Correio da Manhã (parabéns ao CM, já agora):

Abstenção: 64,7% (776 dos 1200 inquiridos, na base do gráfico apresentado)

Intenções de voto antes de redistribuição de indecisos:
PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU (PCP): 7,9%
CDS-PP: 6,3%
OBN: 2,8%
Indecisos: 5,4%

Intenções de voto após redistribuição de indecisos (tratados como abstencionistas; meu cálculo):
PS: 40,2%
PSD: 32,9%
BE: 9,0%
CDU (PCP): 8,4%
CDS-PP: 6,7%
OBN: 3,0%
(Soma dá 100,2% devido a arredondamentos)

Agora notem uma coisa interessante. Se na amostra há 776 declarados abstencionistas, e se nos 424 que indicaram que iriam votar há 5,4% de indecisos (23 pessoas), então a sub-amostra na base da qual os últimos resultados são calculados é composta por 401 observações. E se é assim:


Então esta sondagem dá (espero não ter errado nenhuma fórmula)... outro empate técnico entre o PS e o PSD, seja do ponto de vista mais vulgar da "sobreposição de intervalos" seja do ponto de vista mais correcto da significância estatística da diferença entre as duas proporções. Não parecia, pois não? Isto, claro, na presunção de que os 64,7% de abstencionistas correspondam a 64,7% da amostra. Mas no CM em papel não ficam dúvidas disso.

Por outro lado, como expliquei aqui no outro dia, não é de todo indiferente que esta seja a sexta de seis sondagens onde, havendo "empates técnicos", há sempre mais intenções de voto no PS que no PSD...

by Pedro Magalhães

Europeias. Aximage, 18-22 Maio, N=1200, Tel.

Posted May 26th, 2009 at 11:27 pm4 Comments

PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU: 7,9%
CDS-PP: 6,3%

Aqui e aqui. As notícias são omissas sobre indecisos, pelo que talvez possamos presumir que o que falta aqui para 100% (8,2%) serão votos para outros partidos, brancos e nulos.

by Pedro Magalhães

Mais sobre "empates técnicos" (só para nerds)

Posted May 26th, 2009 at 4:51 pm4 Comments

Um comentário de um leitor chamou-me imediatamente a atenção para que posso ter estado a induzir leitores em erro sobre a questão de quando é que a diferença entre dois partidos se pode dizer ser "estatisticamente significativa" numa sondagem. O que fiz aqui num post anterior foi usar a definição comum de "empate técnico" (sobreposição de intervalos ditados por margens de erro associadas a duas estimativas diferentes) e, aproveitando para ilustrar algumas aplicações erróneas do conceito de margem de erro (que ignoram a ideia de "margem de erro máxima" ou não tomam em conta a dimensão das sub-amostras de eleitores com reais intenções de voto), mostrar que, na base dessa definição, todas as sondagens para as europeias foram "empates técnicos" entre o PS e o PSD.

Mas importa notar que, se quisermos mesmo saber se as diferenças entre dois partidos numa sondagem são estatisticamente significativas com um determinado nível de confiança, a abordagem, sempre que haja mais do que duas opções de resposta, tem realmente de ser diferente (a abordagem que vou adoptar aqui não é a mesma, julgo, daquela que usou o comentador, mas a mensagem genérica é a mesma).

A margem de erro associada às diferenças entre as proporções dos partidos não é a mesma coisa que a margem de erro associada a cada proporção. Para isso, temos de calcular - desculpem o jargão - a variância da diferença entre duas proporções multinomiais. Eis a fórmula:


O caso concreto que dei foi o de converter as cinco sondagens numa única, em que 2477 respondentes teriam dado as suas intenções de voto numa única pergunta. Nesse caso, o PS teria 35,5% dessas intenções, e o PSD 33,3%. A margem de erro (com 95% de confiança) para a diferença entre o PS e o PSD equivale a:



Esse valor, com estes resultados e com um N de 2477, é de 3,27%. Por outras palavras: a diferença obtida na sondagem (2,2 pontos percentuais) é inferior à margem de erro para a diferença entre as estimativas (3,27). A diferença não está fora da margem de erro. Logo, aqui sim, "empate técnico" propriamente dito.

Já agora: se a dimensão da amostra, em vez de 2477, fosse de 5500 inquiridos, a margem de erro das diferenças seria 2,19%. Por outras palavras, a mesma diferença entre o PS e o PSD (2,2 pontos) já seria estatisticamente significativa.

Tudo isto está superiormente (como sempre) explicado aqui, que por sua vez o tirou do "clássico dos clássicos".

by Pedro Magalhães

Uma impressão de campanha

Posted May 26th, 2009 at 11:08 am4 Comments

Escreve aqui alguém que, ao contrário do que alguns possam imaginar, não percebe rigorosamente nada de campanhas políticas. Mas queria notar apenas, de forma meramente intuitiva, o contraste enorme entre a campanha do PS para estas europeias e a dos restantes partidos. Há na campanha do PS uma quase total "despersonalização". Os cartazes mostram figurantes contratados, falam de eventos históricos e só ao longe, estabatidas, estão as personalidades políticas, algumas delas sem relevância directa para os dias de hoje. Vital Moreira está ausente dos cartazes e parece, nas suas aparições públicas, uma pessoa algo diferente daquela que se conhecia de outras aparições noutros contextos. A ideia de meter Ana Gomes e Elisa Ferreira nas listas, se era para lhes dar visibilidade acrescida para as suas campanhas posteriores, não está a funcionar muito bem. Pelo contrário, BE, CDS-PP, PSD e até a CDU apresentam os seus candidatos, mesmo que alguns sejam completos desconhecidos. E nota-se um esforço do PS em remeter o seu discurso para questões "europeias", ao passo que os restantes partidos não passam sem uma ligação da Europa aos problemas nacionais, ou seja, àqueles que interessam aos eleitores.

Imagino que isto seja deliberado, pensado, eventualmente até testado com focus groups e sondagens. E daí talvez não. Talvez esta campanha do PS esteja a ser conduzida e organizada por pessoas sem competência para a função. Já sucedeu no passado com vários partidos, em várias eleições. E costuma ser um indicador interessante sobre a "saúde" de um partido, a sua coesão e motivação e o grau de isolamento da sua liderança. Dentro de poucas semanas, saberemos melhor.

by Pedro Magalhães

Em 2004, foi assim

Posted May 25th, 2009 at 12:52 pm4 Comments

Um fenómeno muito conhecido e quase sempre repetido é que, à medida que nos vamos aproximando da data das eleições, os resultados das sondagens começam a convergir. Seja porque só no final as intenções dos eleitores começam a "cristalizar" seja porque as sondagens look over their shoulders, é isso que quase sempre sucede. Veremos o que sucederá na próxima semana. Mas em 2004, foi isso mesmo que sucedeu. O quadro mostra os resultados das sondagens divulgadas na última semana. Onde foram apresentados resultados com indecisos, tratei-os como abstencionistas, para tornar os resultados comparáveis entre si e com resultados de eleições. Como vemos, por essa altura, todas indicavam mais intenções de voto para o PS do que para a coligação PSD/CDS-PP, como veio a suceder. E as diferenças entre as sondagens são bem menores que aqueles que verificamos hoje nas sondagens realizadas até agora para as europeias de 2009.





Contudo, ao contrário do que veio a suceder um ano depois nas legislativas, permaneceram grandes variações quer na estimação das intenções de voto na coligação quer na votação da CDU. E todos indicaram mais intenções de voto no BE do que aquele que veio a ser o seu resultado (mesmo que as diferenças sejam insignificantes em dois casos). Por outras palavras, repetindo um padrão já conhecido, eleições com muito elevada abstenção tendem a produzir maiores discrepâncias entre as sondagens e os resultados eleitorais, assim como maiores discrepâncias das sondagens entre si. Intenções de voto recolhidas acabam por não se converter em comportamentos, e diferentes pressuposições sobre como tratar o fenómeno da abstenção e estimar o que poderá ser o "votante provável" acabam por fazer sentir os seus efeitos neste confronto entre sondagens realizadas a uma semana das eleições e os resultados. Logo, eu seria céptico sobre a possibilidade das próximas sondagens "resolverem" todas as dúvidas sobre o que poderá suceder dia 7, especialmente porque, desta vez, tudo o que vimos até ao momento sugere que a margem de vitória de seja quem for o vencedor será certamente menor.

by Pedro Magalhães

"Empate técnico"

Posted May 25th, 2009 at 8:02 am4 Comments

Noto alguma agitação na blogosfera (e não só) devido ao "empate técnico" entre o PS e o PSD declarado pelo Expresso a propósito da última sondagem da Eurosondagem sobre as europeias. Se bem entendo, o "empate" é declarado porque a diferença entre o PS e o PSD (2,2%) é igual à margem de erro declarada na ficha técnica (2,2%). "Vantagem do PS é de apenas 2,2%, o que equivale praticamente à margem de erro deste estudo de opinião", escreve-se no Expresso.

Minha nossa. Ora vamos lá outra vez:

1. A margem de erro anunciada na ficha técnica não é a margem de erro associada às estimativas para o PS ou para o PSD. Por duas razões. Primeiro, a dimensão da amostra na base da qual essas margens de erro têm de ser estimadas é inferior à dimensão da amostra geral na base da qual se apresenta calcula a margem de erro anunciada na ficha técnica. É inferior porque as percentagens são calculadas em relação a uma base que exclui indecisos e abstencionistas. Segundo, a margem de erro apresentada na ficha técnica é uma margem de erro máxima, presumindo amostragem aleatória e com uma confiança de 95%. Essa margem de erro máxima é a associada a uma estimativa de 50%. Quando as estimativas são superiores ou inferiores a 50%, a margem de erro é diferente (inferior).

2. Logo, se quisermos saber qual é o intervalo que cada sondagem está a estimar para cada estimativa - mais uma vez, presumindo amostragem aleatória e com 95% de confiança - não se trata de somar e subtrair 2,2% (ou seja lá o que a ficha técnica identifique como margem de erro máxima) a cada resultado, como muita gente costuma fazer. A margem de erro tem de ser calculada para cada caso, tendo em conta a sub-amostra em relação à qual as percentagens são calculadas e o valor concreto que está a ser estimado.

3. As notícias na imprensa nem sempre são claras quanto à dimensão dessa dita sub-amostra. Só lá se pode chegar por inferência, usando a informação sobre a dimensão da amostra geral, a percentagem daqueles que dizem que não votariam e a percentagem dos indecisos (normalmente tratados como abstencionistas quando se trata de redistribuir).

4. Se o fizermos, chegamos rapidamente à conclusão que todas as sondagens divulgadas até agora sobre as Europeias configuram um empate técnico entre o PS e o PSD, se por "empate técnico" entendermos intervalos que se sobrepõem para as estimativas dos dois partidos (presumindo amostragem aleatória e com 95% de confiança). A saber:

Marktest:
PS: 27,3-38,9
PSD: 27,1-38,7

Intercampus:
PS: 29,3-38,7
PSD: 28,8-38,2

CESOP:
PS: 34,5-43,5
PSD: 31,6-40,4

Aximage:
PS: 33,5-47,5
PSD: 27,3-40,7

Eurosondagem:
PS: 31,6-37,0
PSD: 29,4-34,8

Os intervalos são enormes? São: porque são tantos os que se declaram abstencionistas ou indecisos que a sub-amostra que sobra para estimar resultados é diminuta. E é assim que as coisas são, não há volta a dar-lhe. Só no planeta em que vive o deputado Marco António é que as "boas" sondagens têm toda a gente a dizer que vai votar e a saber perfeitamente em quem.

5. Se a isto somarmos que:
- as sondagens foram conduzidas em momentos diferentes;
- usam metodologias completamente diferentes e há muitas fontes de erro para além do erro aleatório amostral;
- estimam intenções de voto num momento, e não comportamentos no futuro;
- nenhuma amostra é verdadeiramente aleatória (tendo em conta recusas e impossibilidade de encontrar o inquirido que devia responder) e algumas não são aleatórias de todo (usando quotas);
- as margens de erro são estimadas com 95% de confiança (1 em cada 20 inquéritos vai produzir resultados fora da margem);
- as discrepâncias enormes entre os resultados das cinco sondagens...

ficamos com uma boa ideia da incerteza associada aos resultados do próximo dia 7.

6. Dito isto, atenção. Apesar de termos cinco "empates técnicos", as sondagens têm uma coisa em comum. O PS está à frente em todas. Podem estar todas erradas, claro. Mas que o PS tenha estado sempre à frente não é indiferente. Imaginem que, em vez de as tratamos com cinco sondagens diferentes, as tratamos com uma única sondagem, em que a sub-amostra dessa "super-sondagem" é a soma das sub-amostras das restantes (2477 inquiridos). Se o fizermos, o PS aparece com 35,5% e o PSD com 33,3%. Mas a margem de erro associada a ambos os casos é substancialmente menor, 1,88% para o PS e 1,86% para o PSD. Continua a ser "empate técnico", mas note-se, por exemplo, como o resultado máximo do PSD (35,1%) é inferior à estimativa pontual para o PS (35,5%). Mas as sondagens foram conduzidas em momentos diferentes, usam metodologias diferentes, etc, etc, etc. "Incerteza", sim, parece-me bem, para já.

by Pedro Magalhães

Pausa

Posted May 22nd, 2009 at 3:51 pm4 Comments

Três dias sem net.

by Pedro Magalhães

Europeias: sondagens até ao momento

Posted May 22nd, 2009 at 2:50 pm4 Comments

by Pedro Magalhães

E por que não…

Posted May 22nd, 2009 at 2:21 pm4 Comments

"O ideal seria que as empresas de sondagens chegassem a um acordo entre elas sobre a média a atribuir ao CDS”, afirma Nuno Melo.

E por que o CDS dizer quanto é que quer ter nas sondagens

by Pedro Magalhães

Europeias. Eurosondagem, 17-20 Maio, N=2048, Tel.

Posted May 22nd, 2009 at 2:12 pm4 Comments

PS: 34,3%
PSD: 32,1%
BE: 10,1%
CDU: 8,9%
CDS-PP: 6,9%
OBN: 7,7%

Aqui.

by Pedro Magalhães