Pedro Magalhães

Margens de Erro

A subida dos Conservadores…

Posted April 7th, 2005 at 1:08 pm4 Comments

confirma-se. Depois das quatro sondagens relatadas aqui, nova sondagem, desta vez da Yougov:

Labour: 36%
Conservatives: 36%
Liberal Democrats: 21%

Outra excelente fonte sobre as sondagens para além desta é este site da BBC. A não perder, também, o decano, mestre dos mestres, da análise das sondagens no Reino Unido: Sir (isso mesmo) Robert Worcester.

by Pedro Magalhães

Eleições UK, a um mês de distância. Mais aberto do que se pensava…

Posted April 5th, 2005 at 12:55 pm4 Comments

Quatro sondagens nos últimos dois dias:

ICM:
Lab:37%
Cons:34%
Lib:21%

NOP:
Lab:36%
Cons:33%
Lib:21%

Populus:
Lab:37%
Cons:35%
Lib:19%

Mori:
Lab:34%
Cons:39%
Lib:21%

O único contraste claro é entre a sondagem Mori/Finantial Times e as restantes, devido ao facto da Mori usar um modelo de probabilidade de voto muito mais exigente que as restantes. Ou seja: só são contabilizados os votos daqueles que dizem "ter a certeza" que vão votar. Mas há duas coisas que estão a suceder e que estes números não dizem: a descida dos Trabalhistas em todas as sondagens; e o eleitorado Conservador está mais mobilizado do que o Trabalhista (como explica John Curtice).

E atenção: como foi dito aqui, devido às distorções actuais no actual sistema eleitoral britânico, os Trabalhistas podem inclusivamente perder por uma margem razoável em número de votos e ganhar em assentos parlamentares; mas perder por 5%, como se sugere na Mori, pode já ser demais, como Anthony Lewis explica aqui. Ainda não chega para Blair entrar em pânico, mas...

by Pedro Magalhães

Referendo Constituição Europeia (França)

Posted April 4th, 2005 at 12:33 pm4 Comments

Pelos lados de França, os resultados do referendo à Constituição Europeia arriscam-se a fazer algumas vítimas entre as empresas de sondagens. Vejamos os resultados mais recentes:

1. Maioria a favor do "sim"

Louis-Harris (1 Março)
Sim: 60%
Não: 40%
BVA (14 Março):
Sim: 56%
Não: 44%

TNS Sofres (10 Março):
Sim:56%
Não: 44%

2. Maioria a favor do "não"
CSA/TMO (23 Março):
Sim: 45%
Não: 55%
IFOP (1 Abril):
Sim: 47%
Não: 53%

IPSOS ( 28 Março):
Sim: 46%
Não: 54%

É possível que parte das discrepâncias se devam ao facto de as sondagens que dão a vitória ao "sim" serem todas anteriores às sondagens que são a vitória ao "não". Mas isso é, certamente, apenas parte da história: quando analisamos as tendências de cada instituto ao longo do tempo, rapidamente verificamos que as diferenças entre institutos são estruturais, e não conjunturais, devendo-se certamente a opções metodológicas.

Estes referendos são o cabo dos trabalhos para quem faz sondagens. Primeiro, devido à alta abstenção, as opções que se façam para seleccionar os "votantes prováveis" são cruciais, e delas dependem os resultados.

Segundo, são eleições "pobres em informação" para os eleitores, levando a grande vulnerabilidade das preferências em relação a factores conjunturais e a que pistas normalmente relevantes noutros actos eleitorais - e que dão estabilidade a essas preferências (identificação partidária, por exemplo) - sejam aqui menos relevantes. Na sondagem Louis-Harris, mais de um terço daqueles que exprimiram uma intenção de voto disseram que ainda podiam mudar de ideias.

Finalmente, do ponto de vista da leitura pública dos resultados, os referendos são impiedosos para as empresas de sondagens: se uma empresa diz que o "não" tem 51% e o resultado acaba por ser 51% para o "sim", essa sondagem"falhou", mesmo que o erro esteja dentro da margem do erro aleatório (que é mais elevada, precisamente, quanto mais próximo de 50% seja o resultado a estimar). Uma grande dor de cabeça, de que eu não me irei livrar daqui a uns meses...

Seja como for, sem querer colocar completamente em causa a realização de referendos sobre estes e outros temas (o assunto é demasiadamente complicado para despachar num post), importa notar como são por vezes usados para outros fins que não apenas os de apreciar os méritos e os deméritos do assunto em análise. Por exemplo, todas as sondagens dizem que os simpatizantes dos partidos da oposição em França são tendencialmente (quando não maioritariamente) a favor do "não", sendo certo que alguns deles irão usar o referendo como punição a um executivo e um presidente que sofrem hoje de uma péssima imagem (no último estudo da TNS Sofres, 62% dos franceses dizem não ter confiança em Chirac, percentagem que aumenta para 71% no caso de Raffarin).

E aquilo que faz muitos sentirem-se à vontade para usar o referendo para fins que não os de apreciar a "bondade" ou "maldade" da CE é o facto de acharem que o desfecho é, em si mesmo, pura e simplesmente irrelevante: na mesma sondagem, 33% dos inquiridos dizem achar que a vitória do sim ou do não não tem qualquer importância para a França (fenómeno que ajuda aqueles que votariam sim a não se desclocarem à urnas e outros a usarem o referendo para enviar sinais de insatisfação com o governo). Um aviso à navegação cá para os nossos lados...

by Pedro Magalhães

Mais autárquicas (actualizado)

Posted April 1st, 2005 at 11:39 am4 Comments

Recebi hoje o seguinte e-mail, enviado por Susana Isabel Silva, directora técnica do IPOM (Instituto de Pesquisa de Opinião e Mercado):

Longe está o período de campanha das eleições autárquicas, mas a polémica já começa a ser lançada em torno das sondagens políticas realizadas a nível autárquico. Será isto ainda um sintoma do que se verificou durante a campanha eleitoral para a Assembleia da República? Ou serão simplesmente dúvidas de quem não tem a correcta informação sobre os dados publicados pela imprensa regional?

Parece-me, em meu entender, ou melhor, quero acreditar, que se trata da segunda hipótese. Digo isto, porque analisando o exemplo enunciado no blog no passado dia 28 de Março, o e-mail comentado apresenta algumas incorrecções face à ficha técnica publicada pelo jornal O Comércio do Porto:

- A sondagem a que o autor do e-mail se refere é constituída por 598 indivíduos inquiridos e não por “cerca de 700”;
- Não existe qualquer referência, nem na ficha técnica nem na peça escrita pela jornalista, ao número de respostas validadas, onde desconheço a proveniência do valor 500.

Quanto à representatividade das sub-amostras obtidas pela desagregação a nível de freguesia, concordo que uma freguesia onde foram inquiridas 8 pessoas não mereça destaque de análise face às restantes, dada a sua reduzida dimensão. Mas isso é um problema comum da análise efectuada pela maior parte dos meios de comunicação social. Parece-me abusivo questionar a credibilidade técnico-científica das sondagens realizadas em função das interpretações que delas se fazem.


Susana Isabel Silva
Directora Técnica
IPOM – Instituto de Pesquisa de Opinião e Mercado


Ora bem. Pela minha parte, queria dizer que nunca cheguei a ver a notícia onde eram publicados os dados da sondagem mencionada no e-mail que citei aqui. Limitei-me a responder a uma pergunta que me foi colocada que, recordo, era a seguinte:

"Parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas?"

Em face do exemplo fornecido (uma freguesia com 8 inquiridos), respondi que não, pelas razões aqui expostas, e recordo também que concentrei a minha análise não na "credibilidade técnico-científica das sondagens realizadas" mas sim, exclusivamente, nas "interpretações que delas se fazem" (terminei o meu post dizendo: "Um erro muito comum nas análises das sondagens feitas na imprensa").

Ou seja, não questionei a credibilidade do trabalho feito: não podia, porque não o conhecia, ainda não o conheço (só agora fiquei a saber quem o conduziu). E também não creio que o mail que recebi tivesse como intenção fazê-lo (dado que a dúvida expressa por quem o enviou se reportava à desagregação dos dados e não a qualquer aspecto técnico ou metodológico da realização do estudo).

Entretanto, estou certo que os responsáveis do IPOM já terão feito notar ao jornalista do Comércio do Porto que o facto de ter andado entretido a calcular e apresentar percentagens por freguesia quando tem sub-amostras de 8 inquiridos é algo que não só "não merece destaque de análise" mas também não faz qualquer espécie de sentido do ponto de vista estatístico...

Actualização: do IPOM, chega-me a informação de que, de facto, contactaram o responsável pela notícia. E mais me dizem que:

Penso que uma forma de evitar este tipo de situações passará pela formação pedagógica dos jornalistas, por parte das empresas de estudos de mercado e sondagens, no sentido de os elucidar em relação às análises e interpretações que poderão ser feitas a partir dos dados fornecidos pelos mesmos. Tentamos ao máximo, no nosso caso, ter sempre este tipo de procedimento junto dos nossos clientes.

100% de acordo.

by Pedro Magalhães

Eleições no Reino Unido

Posted March 28th, 2005 at 5:05 pm4 Comments

Outras sondagens a merecer atenção são as das eleições no Reino Unido, que se realizarão, provavelmente, a 5 de Maio. O "Margens de Erro" deles - descontando aquilo que é, da minha parte, uma irresponsável imodéstia - é o magnífico blog de Anthony Wells, UK Polling Report.

As sondagens em Inglaterra são interessantes por várias razões. Em primeiro lugar, há sobre elas uma produção académica vastíssima, comparável apenas àquela que existe sobre as sondagens nos Estados Unidos. Segundo, há uma tradição de "experimentalismo" metodológico nas sondagens inglesas, também ela só comparável ao que sucede nos EUA. Temos, por exemplo, o caso da YouGov, que faz sondagens pela internet, tendo por base um painel de 40.000 pessoas, do qual se extraem de cada vez amostras aleatórias de cerca de 2000 inquiridos (remunerados para o efeito). E há agora uma outra empresa (creio ser a Rasmussen) que importou a sua prática americana e conduz sondagens telefónicas "automatizadas", ou seja, feitas por um computador em vez de um inquiridor humano, e que permite que as respostas sejam dadas através das teclas do telefone. Cépticos? Vejam isto.

Contudo - e voltaremos a falar disto quando nos aproximarmos da data das eleições - atenção ao sistema eleitoral inglês. A distorção entre votos e assentos parlamentares é enorme, e hoje em dia é favorável aos Trabalhistas. Ou seja:

- os assentos parlamentares são apurados círculo a círculo, por sistema maioritário;
- tendencialmente, os círculos onde os Conservadores costumam ganhar são círculos onde ganham com enorme vantagem sobre os Trabalhistas;
- pelo contrário, os círculos onde os Trabalhistas costuma ganhar são círculos onde os Conservadores são close seconds;
- os círculos Trabalhistas tendem a exibir maiores taxas de abstenção;
- a última revisão do desenho geográfico e composição política dos círculos foi favorável aos Trabalhistas.

Logo, uma votação 35%-34% favorável aos Trabalhistas, como a que resulta da última sondagem YouGov (24 Março), por exemplo, significa, na prática, uma vantagem muito maior em termos de deputados. Ou para ser mais preciso: o Labour pode até perder em número de votos e ganhar confortavelmente em deputados.

Tudo isto foi muito bem explicado, há dias, por Nick Moon, aqui.

by Pedro Magalhães

Autárquicas

Posted March 28th, 2005 at 1:19 pm4 Comments

As sondagens para as autárquicas já mexem. A razão para o silêncio até agora é simples, e parecida com a que levou ao atraso nas contas finais: falta de tempo. Mas vou estar mais atento e, já agora, peço um favor: dado que me é mais difícil seguir a imprensa local, ficaria muito agradecido se fizessem chegar as sondagens que vão encontrando.

Para já, recebi este amável e-mail:

No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).


A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.



by Pedro Magalhães

Outros métodos

Posted March 28th, 2005 at 12:38 pm4 Comments

Há, no entanto, quem critique o uso do "método 3". Por um lado, o "método 3" continua a estar dependente do número de estimativas contabilizadas para medir a precisão das sondagens, o que pode impedir comparações internacionais (especialmente com aqueles países com sistemas maioritários, onde as estimativas que contam são as dos dois principais partidos, e não as dos quatro ou cinco maiores). Logo, em vez de calcular médias, este método consiste simplesmente em alinhar as sondagens de acordo com os maiores erros cometidos na estimação de um qualquer partido. Assim, e na base do quadro anterior, ficamos com:

Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%

Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:



O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).

E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...

by Pedro Magalhães

Método 3, segunda parte

Posted March 28th, 2005 at 12:17 pm4 Comments

Sucede, contudo, que há um aspecto da comparabilidade que é afectado pelo uso do método 3. A "média dos desvios absolutos" é muito sensível ao número de partidos incluídos na análise. Quanto maior o número de partidos, mais baixo deverá ser o valor do desvio médio, dado que ele passará a contar com estimativas de valores reais mais baixos e, logo, com menores margens de erro amostrais associadas.

Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":

Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%

Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:

1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;

2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).

2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).

by Pedro Magalhães

Contas finais. Método 3.

Posted March 28th, 2005 at 10:53 am4 Comments

Um mês sem posts. Violada assim a principal regra de um bom blog. Fui para fora depois das eleições, muito trabalho, etc. Seja como for, não queria deixar de fazer a análise final das sondagens realizadas antes das últimas eleições, desta vez com resultados definitivos, incluindo círculos "Europa" e "Fora da Europa". Foram eles os seguintes (para os partidos cujos resultados foram estimados pelas sondagens):

PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%

Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]

1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.


Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:


Deste ponto de vista:

1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)

A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:

1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.

by Pedro Magalhães

Adenda ao rescaldo: só para fanáticos

Posted February 22nd, 2005 at 4:15 pm4 Comments

Para se ver como as coisas são, bastou o apuramento de três freguesias em falta para que o ranking das sondagens pré-eleitorais ficasse ligeiramente modificado. Nada disto é especialmente importante, mas a bem da precisão, uma correcção a este post:

1. A média dos desvios absolutos entre os resultados mais baixa encontrada nas sete sondagens é de 0,7%, e pertence à Eurosondagem e à Intercampus. A primeira acertou quase em cheio na percentagem do PS, da CDU e do BE, e apenas sobrestimou claramente o PSD. A segunda acertou quase em cheio na CDU e no CDS, e teve erros baixos nos restantes. Seguiram-se, por ordem crescente de erro médio, a Aximage (0,8%), o IPOM (1,0%), a Católica (1,1%) e finalmente, empatadas, a Marktest e a Euroteste (1,2%).

2. Quanto ao segundo critério normalmente usado (margem de vitória), quem mais se aproximou foi o IPOM (16%, contra os 16,2% reais). Seguem-se a Intercampus (15,6%), a Aximage (17,2%), a Católica (15%), a Eurosondagem (14%), a Marktest (19,2%) e a Euroteste (12%).

Isto é, repito, só mesmo para fanáticos. E para os que aí andam, que eu sei que andam, prometo fazer o quadro final assim que houver resultados eleitorais definitivos.

by Pedro Magalhães