Pedro Magalhães

Margens de Erro

Gemeo-IPAM, 3-6 Set, N=800, Tel.

Posted September 21st, 2009 at 4:13 pm4 Comments

É sobre o pior e o melhor PM que Portugal teve. Não tenho o texto das perguntas e a notícia online menciona apenas o pior (José Sócrates, para 27% dos inquiridos) e o melhor (Cavaco Silva, para 30%). Na Exame há-de vir o resto.

Há uns tempos, o CESOP-UCP colocou a mesma pergunta num barómetro. Foi em Fevereiro de 2008. Os resultados estão aqui, na página 5.

by Pedro Magalhães

Indecisos

Posted September 21st, 2009 at 9:30 am4 Comments

Numa entrevista ao Correio da Manhã, a líder do PSD, Manuela Ferreira Leite, faz as seguintes declarações:

"Se eu fosse directora de uma agência de sondagens nunca publicaria uma sondagem a oito dias de eleições dizendo que tinha 30 por cento de indecisos. Diria que não tinha reunido as condições para a publicar. Porque evidentemente uma sondagem com 30 por cento de indecisos significa que qualquer partido, mesmo aquele que na sondagem aparece de todos os outros, pode ganhar as eleições. Não tem nenhum significado uma sondagem dessas. Independentemente disso, na mesma posição relativa que estamos hoje e nas eleições europeias os resultados dariam exactamente o contrário. Eu espero que aconteça o mesmo nas legislativas."

Curiosamente, estas declarações ecoam um artigo de opinião escrito há dias por António Ribeiro Ferreira, precisamente um dos entrevistadores de MFL:

"E lembrar também que há quem não tenha qualquer pejo em publicar sondagens com uma margem de indecisos de 30 %."

A primeira curiosidade que isto me despertou foi a de saber qual a sondagem que tinha sido publicada recentemente e em cuja amostra 30% dos inquiridos tinham declarado não saber em quem iriam votar. Não é esta (15%), nem esta (8,9%), nem esta (4,3%), nem esta (17%). Será então porventura esta, onde cerca de 32% dos inquiridos respondeu "não sabe" ou recusou responder à pergunta sobre em que partido tenciona votar nas próximas eleições. A sondagem foi realizada a 20 dias das eleições, não a oito. E os 32% representam aqueles que se declararam indecisos e aqueles que recusaram responder à pergunta.

Mas deixemos de lado a questão de saber se recusar responder à pergunta deve ser lido como representando "indecisão" (muito duvidoso). Vamos supor que, de facto, perto de uma eleição, há 30% do eleitorado que diz estar indeciso numa sondagem. Significa isto que não estão reunidas as condições para a publicar?

Há três coisas que queria lembrar:

1. A percentagem de "indecisos" varia muito de sondagem para sondagem, e por boas razões. Ela depende muito do universo sobre o qual estamos fazer inferências e do próprio questionário. Por exemplo, se a minha amostra é composta apenas por pessoas que dizem à partida que irão votar (e, logo, o universo sobre o qual se está a fazer uma inferência não é o da totalidade dos eleitores mas apenas dos "votantes prováveis"), é muito natural que a percentagem de indecisos seja mais baixa. Aqui, trata-se apenas de indecisão em torno da opção de voto, não da opção de votar. Pelo contrário, quando a amostra é uma amostra do eleitorado em geral, a percentagem dos que que "não sabem" pode reunir facilmente o que não sabem se irão votar e os que não sabem em quem. O "não sabe", aqui, será sempre mais elevado.

2. Mesmo entre sondagens cujas amostras são extraídas para fazer inferências sobre a generalidade do eleitorado, o questionário fará, muito provavelmente, grande diferença a este nível. Se eu tiver uma "pergunta filtro" onde pergunto às pessoas se vão votar, e se só colocar a pergunta de intenção de voto a quem diz tencionar votar (ou pelo menos a quem não exclui imediatamente esse possibilidade), é muito provável que alguns daqueles que não sabem se irão votar sejam filtrados à partida por essa primeira pergunta. Em princípio, os "indecisos" hão-de ser menos. Pelo contrário, se fizer uma única pergunta sobre intenção de voto, essa pergunta junta nos "não sabe" quer aqueles que estão indecisos sobre a opção de voto quer aqueles que estão indecisos sobre se irão votar.

3. E dito isto, 30% de indecisos seria assim tão "anormal"? Num inquérito pós-eleitoral realizado após as eleições de 2005, coordenado por António Barreto no ICS, cerca de 34% daqueles que afirmaram ter votado nessas eleições disseram que tomaram a sua decisão no último mês antes da eleição. Nos Estados Unidos, a percentagem daqueles que afirmam ter decidido em quem votar na última semana oscilou, nas eleições presidenciais mais recentes, entre 11% (em 2004) e 30,7% (em 1996). Nas eleições americanas mais recentes, as de 2008, as sondagens à boca das urnas mostram que 25% dos votantes decidiram no último mês, e que 10% decidiram na última semana. Uma sondagem em Portugal que indicasse 30% de indecisos a 20 dias das eleições seria uma coisa assim tão exótica e ilegítima? Não creio.

Subjacente a tudo isto está, claro, uma concepção do que é uma "sondagem" que nada tem a ver com aquilo que uma sondagem realmente é, e que ignora que uma sondagem é uma medição, junto de uma amostra de uma população, de atitudes e intenções (e não uma previsão de um resultado eleitoral ou um oráculo que tem de dizer "quem vai ganhar"). E se gastei aqui algum tempo a escrever este post não foi, acreditem, para benefício de António Ribeiro Ferreira. Mas Manuela Ferreira Leite merece que isto lhe seja explicado. E tenho a certeza absoluta que, se isto lhe for explicado, compreenderá.

by Pedro Magalhães

Trocas 1.1

Posted September 21st, 2009 at 9:15 am4 Comments

Bem, parece que o Trocas de Opinião esteve com problemas de servidor ontem. Hoje, pelos vistos, está tudo resolvido. E aproveitou-se para fazer duas alterações de fundo (para além arranjos gráficos, que vão continuar ao longo do tempo), fruto de vários comentários recebidos aqui, por e-mail e pessoalmente.

1. A partir de hoje, já é possível a um investidor lançar várias ordens de compra sobre um mesmo contrato, ou várias ordens de venda sobre um mesmo contrato (mas não de compra e de venda simultaneamente). A lógica é simples: eu posso querer comprar 200 títulos do contrato A a 25 pontos, mas não me arrisco a comprar mais de 100 a 30. Caso apareça alguém a vender a 29, compro 100, mas não arrisco comprar 200. Mas se me aparecer um belo negócio (a 24) quero certamente tudo o que me aparecer à frente. Isto permite também, esperamos, que lapsos ou tentativas de manipulação (por exemplo, vendas a descoberto de quantidades brutais de títulos a preços de saldo) tenham uma resposta rápida do mercado, mercê da execução imediata de ordens que foram introduzidas para, precisamente, aproveitar essas pechinchas.

2. Há relatos de investidores que lançaram ordens de compra a um determinado valor e que, sem conseguirem comprar, viram o título a ser transaccionado por valores muito mais baixos. Foi introduzida uma correcção no algoritmo para resolver este problema. A partir de hoje, tem prioridade quem oferece mais. Para ordens iguais, critério cronológico.

Para além disto, haverá outras alterações ao longo do tempo, que se esperam ser apenas de visualização e apresentação. Obrigado a todos pelos contributos para esta experiência.

by Pedro Magalhães

As sondagens de Setembro

Posted September 20th, 2009 at 10:58 pm4 Comments


Como sempre, para tornar as sondagens comparáveis, quando não redistribuiram indecisos fui eu próprio que o fiz, tratando-os como abstencionistas. Procurei que o N fosse sempre o efectivo, ou seja, aquele na base do qual as percentagens são estimadas.

by Pedro Magalhães

A (nova) justa luta do grande repórter.

Posted September 20th, 2009 at 10:45 pm4 Comments

Legislativas. Eurosondagem, 13-16 Setembro, N=2048, Presencial.

Posted September 18th, 2009 at 11:53 pm4 Comments

PS: 34,9%
PSD: 31,6%
BE: 9,6%
CDU: 8,4%
CDS-PP: 8,4%
OBN:7,1%

A notícia fala em 15% de indecisos mas não de abstencionistas. Imaginemos assim que as estimativas anteriores têm como base 1741 inquiridos. Se calcularmos a margem de erro associada à diferença entre duas proporções multinomiais, ela ascende, para PS e PSD, a 3,8 pontos, com 95% de confiança. A vantagem de 3,3 pontos apurada na sondagem está dentro dessa margem de erro. Logo, ao contrário do que é dito na notícia, esta sondagem é um "empate técnico" entre PS e PSD. Desculpem ser tão chatinho.

by Pedro Magalhães

Legislativas. Intercampus, 12-15 Setembro, N=1024, Presencial

Posted September 18th, 2009 at 11:37 pm4 Comments

PS: 32,9%
PSD: 29,7%
BE: 12%
CDU: 9,2%
CDS-PP: 7%
OBN: 9,2%

Aqui. Estas estimativas são calculadas em relação a uma base de 834 inquiridos. Neste caso, a diferença entre PS e PSD não é estatisticamente significativa a 95%. Recordo que isto não se apura olhando para a "margem de erro" da sondagem, nem sequer com as margens de erro associadas às estimativas, mas assim.

by Pedro Magalhães

O Trocas

Posted September 18th, 2009 at 12:12 pm4 Comments

É cedo, muito muito cedo. Há ainda poucos investidores. Mas notem a evolução da cotação do PS nas últimas 24 horas no Trocas de Opinião:

Ignoremos, para já a previsão em concreto ou a procura de tendências subjacentes. O que me agrada ver aqui é a forma como o mercado reage a tentativas de manipulação. Subidas ou descidas abruptas das cotações - resultantes, por exemplo, de ordens de compra a 100 ou de venda a 1 - são quase imediatamente seguidas de um reequilíbrio.
Quanto ao resto, é cedo, muito cedo, repito. E isto não passa de uma experiência. Mas aqui ficam as cotações às 12:21:
PS: 38.15
PSD: 33.25
BE: 12
CDU: 8.5
CDS: 8
Isto leva-nos para uma outra discussão sobre as capacidades preditivas dos mercados em comparação com as das sondagens (na medida em que uma sondagem seja uma "previsão", que na verdade não é). É que, com estas cotações, é difícil ignorar o facto de que, naturalmente, os resultados das sondagens são uma das informações agregadas pelo próprio mercado...

by Pedro Magalhães

A dimensão da amostra

Posted September 18th, 2009 at 9:57 am4 Comments

Num comentário, pergunta-se que diferença faz a dimensão de uma amostra. A resposta é porventura mais interessante do que se possa imaginar.

A resposta canónica é que uma amostra maior produzirá estimativas mais precisas. Vamos imaginar um país com 9 milhões de eleitores em quem metade das pessoas vota no partido A e a outra metade no partido B. E para simplificar, que esta gente nunca muda de opinião, aceita sempre responder a sondagens, nunca mente e que se consegue obter uma amostra onde cada um dos eleitores teve exactamente a mesma probabilidade de ser seleccionado. Se eu retirar uma amostra de 100 pessoas, tenho 95% de hipóteses que, na amostra, a percentagem de pessoas que vota no partido A esteja algures entre 40,2 e 59,8%. Mas se retirar uma amostra de 1000 pessoas, vou obter, com a mesma probabilidade, algo ente 46,9 e 53,1%. Todos sabemos que, na prática, as pressuposições que fiz atrás são irrealistas. Mas a verdade é que a maior parte da investigação que existe sobre o assunto, lá fora e até em Portugal, mostra que, ceteris paribus, sondagens que utilizam amostras maiores tendem a gerar resultados que se aproximam mais daqueles que acabam por ser os resultados eleitorais.

Mas imaginem agora que há um mentiroso em cada cinco eleitores do partido A. Gosta de enganar as sondagens, dizendo sempre que vota no partido B quando, afinal, é um indefectível do partido A. Por outras palavras, se perguntássemos aos 9.000.000 em que partido vão votar, só 40% diriam que votariam no partido A (quando, na verdade, metade vai de facto fazê-lo). Feita a sondagem com 1000 inquiridos seleccionados aleatoriamente, há 95% de probabilidades de que estime um resultado para o partido A algures entre os 37 e os 43%. Feita a sondagem com 100 inquiridos seleccionados aleatoriamente, há 95% de probabilidades de que apareça um resultado entre 30,4 e 49,6% para o partido A.

Chega o dia das eleições e, claro, o partido A tem 50% e o partido B idem. E que sondagem ficou mais perto? É quase certo (com 95% de probabilidades) que a sondagem da amostra maior nunca ficará a menos de 7 pontos do resultado final para o partido A. Mas a sondagem dos 100 inquiridos, por mero acaso, pode facilmente ficar bem mais perto. Quem diz "mentir" às sondagens diz taxas de resposta diferenciais, incapacidade de contactar um determinado tipo de eleitorado, etc. Sondagens com amostras maiores dão estimativas mais precisas, e, logo, se houver enviesamentos, estimam-nos mais precisamente.

Foi o LA-C que me pôs a pensar nisto há uns tempos. Espero ter explicado a coisa correctamente.

by Pedro Magalhães

Shameless plug

Posted September 18th, 2009 at 9:38 am4 Comments


Mais logo, às 18h, no ICS (Av. Prof. Aníbal de Bettencourt, 9, junto ao ISCTE e perto da Biblioteca Nacional), o lançamento de um livro e uma mesa-redonda. O livro chama-se "As eleições legislativas e presidenciais, 2005-2006: campanhas e escolhas eleitorais num regime semipresidencial". Foi organizado por mim e pela Marina Costa Lobo. Os capítulos baseiam-se num conjunto de dados recolhidos em 2005 e 2006, sobre a cobertura que os media fizeram das campanhas e - através de dois inquéritos pós-eleitorais - as atitudes e comportamentos dos eleitores. Para além de capítulos escritos por mim e pela Marina, há também capítulos escritos por Braulio Gomez e Irene Palacios, Carlos Jalali, André Freire, Eduardo Cintra Torres, José Santana Pereira e Susana Salgado. Os últimos quatro irão participar também numa mesa-redonda onde falarão daquilo que fizeram neste livro, assim como das eleições que se avizinham.

by Pedro Magalhães