Pedro Magalhães

Margens de Erro

O Trocas

Posted September 28th, 2009 at 10:23 am4 Comments

Antes de mais, um sincero agradecimento a todos os que, passando por este blogue ou chegando lá de outra forma, aceitaram o desafio de "brincar" aos mercados de previsões na experiência do Trocas de Opinião. E especialmente às muitas pessoas que foram deixando aqui, nas caixas de comentários, muitas e muito boas sugestões sobre como melhorar o funcionamento do mercado. Algumas ainda puderam ser implementadas, outras não. Mas queria dizer que receber estas reacções, quase invariavelmente úteis e inteligentes, foi uma das coisas mais compensadoras e interessantes para mim em mais de quatro anos de Margens de Erro.

Rescaldo? Não é muito fácil. Vamos ter de analisar os logs e tentar perceber exactamente o que se foi passando ao longo do tempo. De resto, uma das pessoas envolvidas no projecto tenciona escrever uma tese sobre o assunto, pelo que a coisa é capaz de demorar um bocadinho. E aproximam-se as autárquicas, com novos contratos, pelo que o tempo para analisar e implementar soluções é curtíssimo.

Uma coisa é evidente: a possibilidade das vendas a descoberto, sendo interessante para gerar liquidez inicial, abriu grandes hipóteses de manipulação do mercado e gerou grande volatilidade. Mais ainda, o facto de não as termos limitado criou uma assimetria: para comprar, há um limite, o dos trocos disponíveis; para vender, não havia. Pelo que uma das coisas que tentaremos implementar nos próximos dias é uma forma de limitar as vendas a descoberto. Num dos logs que vi havia um investidor que fez muitas dezenas de vendas de 100 títulos de um contrato a 1 troco. Isto vai deixar de ser possível. Claro que, com grande liquidez e - muito especialmente - dinheiro a sério - a cantiga seria outra. Mas vamos tentar fazer, para já, o possível. Mais tarde, há muitas outras óptimas ideias vossas que tentaremos implementar.

O João Miranda - de resto, um dos grandes magnatas do Trocas, como verificarão se olharem para os rankings - fez ontem um post onde alinhava, com base nos valores da oferta e da procura a meio da tarde, as possíveis previsões que resultavam do mercado. Dizer se foram "boas" ou "más" é difícil. Poder-se-ia eventualmente dizer que poderiam servir de antídoto em relação quer às sondagens pré-eleitorais quer às próprias sondagens à boca das urnas, que sobrestimaram (mais as segundas que as primeiras, curiosamente) a margem de vitória do PS sobre o PSD. Mas não vale a pena entrar muito por aí: a verdade é que, nesta experiência, ainda ficámos longe da quase infalibilidade de coisas como o IEM, um mercado a dinheiro vivo e onde, não por acaso, não se permitem vendas a descoberto. Mas quem sabe se, com a vossa ajuda, não lá chegaremos? Para já, muito obrigado a todos, e aguardem as novidades.

by Pedro Magalhães

Rescaldo

Posted September 28th, 2009 at 12:08 am4 Comments

As abordagens habituais para apreciar a relação entre os resultados da sondagens e os resultados das eleições são os erros 3 e 5 de Mosteller. No erro 3, calcula-se a média dos desvios absolutos entre resultados e estimativas. No erro 5, o desvio em relação à margem de vitória. A maneira mais rough and ready de fazer isto é esta (dado o adiantado da hora, espero não ter errado nas contas, mas sei que há leitores atentos que não deixarão de me avisar se for esse o caso, o que agradeço):



Os resultados, em geral, não chegam a ser tão bons como os de 2005 - a eleição com as sondagens mais próximas dos resultados eleitorais de sempre - mas não ficaram longe disso. Este foi, de resto, o segundo conjunto de sondagens legislativas pré-eleitorais que acabou por ficar mais próximo dos resultados desde 1991, inclusive.

Recordo que, nas Europeias, o erro médio andou entre os 2,5 e os 2,7 (e sobre o erro 5 melhor nem falar, dado que só a Marktest tinha sequer colocado o PSD à frente). Desta feita, os erros médios oscilam entre 0,9 e 2. Foi a Aximage que publicou a sondagem com o menor desvio absoluto médio, e o CESOP a que mais se aproximou da margem de vitória. Mas as diferenças são, na maior parte dos casos, muito curtas e sem significado. No que respeita ao erro 3, até o facto da Marktest ter ficado um pouco mais longe pode estar ligado ao facto de ter terminado o trabalho de campo mais cedo (21 de Setembro, em vez 22 no CESOP, 23 na Intercampus e 24 na Aximage) ou, eventualmente, ter a amostra mais pequena. Mas estas sondagens estiveram mais próximas dos resultados eleitorais que as de todas as legislativas recentes com excepção da de 2005. A média dos erros 3 foi, desta vez, de 1,4, e no caso do erro 5 foi 1,1. Em 1991, 1995, 1999 e 2002, a performance foi sempre pior dos dois pontos de vista (apesar de - importa notar - só a comparação entre 2002, 2005 e 20o9 ser inteiramente justa, dado que, antes disso, a publicação e o trabalho de campo tinham de terminar mais cedo).

Já que estamos nisto, para os puristas: na verdade, o cálculo do erro 3 da forma mais canónica possível exige algumas operações adicionais:

1. Recalcular as estimativas que estão a ser comparadas com resultados eleitorais (as dos 5 principais partidos) de forma que a sua soma dê 100%.
2. Arrendondar cada estimativa à unidade.
3. Comparar com o resultado do verdadeiro universo das sondagens pré-eleitorais, ou seja, os resultados do Continente, transformados de forma a que a soma das percentagens dos cinco principais partidos dê também 100%;
4. Apresentar e tratar os resultados reais com uma casa decimal.

Fica aqui só para memória futura, porque do ponto de vista substantivo não faz grande diferença:



Nas sondagens à boca das urnas, não vale a pena estar com estas minudências, dado que todos os institutos estarão, com toda a probabilidade, a projectar para o todo nacional. Tomando o ponto central dos intervalos como a melhor estimativa, ficamos com o seguinte quadro:



Aqui, curiosamente, a sobrestimação da margem de vitória do PS nas sondagens à boca das urnas foi maior que no caso das sondagens pré-eleitorais. Aliás, o mesmo já tinha acontecido em 2005. Mas em 2005, os erros 3 também foram maiores nas boca da urnas do que nas pré-eleitorais. Isso já não sucedeu desta vez.

Uma coisa para meditar, se me permitem: as pessoas e os institutos que fizeram estas sondagens foram as mesmas que, há poucos meses, fizeram as sondagens das Europeias. E os métodos que utilizaram sofreram poucas ou nenhumas mudanças. Logo, da mesma forma que não me parece ter havido razão para demonizar as sondagens após as Europeias, também não me parece sensato "embandeirar em arco" com estas. A razão pela qual estas sondagens pré-eleitorais estiveram muito mais próximas do resultado final do que as sondagens pré-eleitorais para as últimas Europeias não tem nada a ver com a aquisição recente de poderes mágicos por parte dos institutos ou com mudanças radicais nas metodologias utilizadas. Muito mais sensato é pensar que há qualquer coisa que caracteriza as eleições Europeias que faz com que haja sempre maiores discrepâncias entre os resultados das sondagens e os resultados dessas eleições. E um bom palpite para essa coisa é, como há muito tempo se sabe, a abstenção.

Também não é por causa do que se passou agora que as sondagens passam a ser previsões de resultados eleitorais. Não eram, não são, e não é por terem estado próximo agora ou em 2005 que passam a ser. São sondagens. Há casos em que o retrato tirado a vários dias das eleições se mantém razoavelmente fiel ao que se vem a passar depois. Há até casos onde as tendências verificadas ao longo das sondagens pré-eleitorais são bons indicadores para o que possa ocorrer depois dessas sondagens terem sido realizadas. Mas também há casos, e vai continuar a haver, em que isso não sucede. Espero que a comparação entre o que se passou nas Europeias e o que se passou agora acabe por ter, desta forma, algum valor pedagógico. Espero, mas a julgar pelo que vou lendo tenho a impressão que, mesmo assim, e até entre gente que acho inteligente, continuamos na mesma. O problema, lamento, não são as "percepções dos leitores": o problema é quando aqueles que têm maiores responsabilidades na formação dos tais leitores correm para o pelourinho mais depressa do que eles.

Já agora: atenção ao que vem aí para as autárquicas. Uma das coisas que se sabe na literatura sobre a abstenção é que ela tende a ser maior em circunstâncias em que uma eleição foi precedida de outra eleição há pouco tempo ou quando se dá num quadro de frequentes eleições num curto espaço de tempo. "Fadiga eleitoral", diz-se. Se isso se confirmar, todos os avisos sobre as dificuldades em usar as sondagens com elemento de previsão, apesar de repetitivos, serão sempre poucos.

by Pedro Magalhães

Só uma gracinha.

Posted September 27th, 2009 at 8:52 pm4 Comments

by Pedro Magalhães

Pelo Maradona, tudo.

Posted September 26th, 2009 at 10:16 am4 Comments







by Pedro Magalhães

Trocas 1.1.3

Posted September 25th, 2009 at 6:10 pm4 Comments

Uma novidade: a apresentação de uma média móvel ponderada das cotações para cada contrato. Infelizmente, não há tempo para construir gráficos. Mas olhar para o índice pode servir como antídoto para a excessiva volatilidade das cotações. Se bem que, ao longo deste dia, as coisas parecem ter estabilizado mais um pouco.

by Pedro Magalhães

Recta final

Posted September 25th, 2009 at 6:06 pm4 Comments

Na última semana antes das eleições legislativas de 2005, numa 4ª feira, salvo erro, jantei com um grupo de colegas do ICS. Falou-se nas eleições e, a certa altura, alguém se lembrou de apostarmos um futuro jantar num restaurante à escolha na base dos melhores palpites para os resultados. O vencedor seria o que tivesse o menor desvio absoluto médio, assim que apurados os resultados dos 5 maiores partidos. Cada um escreveu os seus palpites numa pequena folha de papel. Depois, trocámos as folhas, comentámos os palpites de cada um, e fomos para casa. Estão a ver como é absolutamente fascinante a minha vida social?

A verdade é que nunca cheguei a cobrar esse jantar aos meus colegas. Eles ficaram a achar que eu tinha inside information, e tinham razão. À hora do dito jantar, já conhecia os resultados da última sondagem do CESOP. Mas o interessante - e suponho que até hoje eles não repararam - é que os meus palpites foram ligeiramente diferentes dos resultados da sondagem que foi divulgada no dia seguinte. Dei, no palpite, um pouco menos ao PSD e ao BE e um pouco mais ao CDS do que na sondagem. Achei que a campanha estava a correr tão mal a PSL que as coisas ainda iriam piorar nos dias seguintes ao trabalho de campo. Receei uma presumível propensão dos eleitores do BE para votarem "sincero" em sondagens e "útil" nas eleições ou mesmo para se desmobilizarem à última hora. Tive em conta o facto de o CDS-PP, em quase todas as eleições a que concorreu sózinho nos últimos anos, ir sempre em crescendo nas várias sondagens ao longo da campanha, presumindo assim que, na tendência, poderiam fazer melhor no final. Já não sei onde está a dita folhinha, mas recordo-me que, com estas "teorias", acertei em cheio nos resultados. Mas as "teorias" não eram grande coisa: foi provavelmente mera sorte, porque das vezes seguintes que fiz a mesma brincadeira as coisas não correram tão bem.

Se conto a historieta é porque acho que ajuda a perceber a diferença entre aquilo que as sondagens dizem, dessa e desta vez, e aquilo que é uma previsão de um resultado eleitoral (neste caso um mero palpite pessoal). Intrigam-me sempre as pessoas que comentam aqui resultados de sondagens, por vezes ainda a meses das eleições, dizendo "já se sabe que o partido x vai ter mais" ou "é impossível que o partido y tenha isto nas eleições". Se os meus amigos já sabem quais vão ser os resultados e se isso é a única coisa que vos interessa, então por que razão prestam atenção a meras sondagens? (Vão mas é brincar para aqui). Por outras palavras, se bem que não seja possível apurar isto neste momento, a diversidade de abordagens metodológicas das últimas quatro sondagens, conjugada com a similitude dos seus resultados, fazem-me supor que é improvável que não tenham medido com razoável precisão as intenções de voto dos portugueses no momento em que foram feitas (o único receio que tenho a esse respeito é que haja, comum a todas, uma propensão de determinado tipo de eleitor para ocultar as suas intenções, para recusar responder a sondagens ou para não ser encontrado no processo amostral). Mas daí até supor que os resultados do dia 27 vão ser iguais às sondagens vai um salto que, podendo perfeitamente ter por base inicial os resultados das sondagens - como eu tive na minha "previsão" de 2005 - pode ser muito arriscado.

De resto, os líderes partidários, pelas reacções que tiveram às sondagens, mostram que sabem isso perfeitamente: ninguém entrega os pontos, e todos utilizam uma retórica que visa mitigar (ou amplificar) aqueles que julgam ser os efeitos negativos (ou positivos) das próprias percepções criadas pelas sondagens no futuro comportamento dos eleitores. Sócrates diz que sondagens não ganham eleições e combate a "abstenção por certeza de vitória". MFL e Jerónimo combatem a potencial desmobilização dos seus eleitores em face de resultados desfavoráveis. Louçã combate o voto útil no PS, tentando tornar o voto no BE útil para impedir uma putativa maioria PS. Portas usa-as para mobilizar os eleitores do CDS-PP e sugerir uma suposta "inutilidade" do voto no PSD. Em suma: eles acreditam que algumas coisas ainda podem mudar até dia 27, e estão a fazer o possível para que mudem. Tudo normal. É assim mesmo.

É claro, no entanto, que quaisquer especulações sobre o dia 27 podem repousar na relação entre o retrato feito a dias das eleições pelas sondagens das intenções de voto e aquilo que tende a suceder em eleições legislativas. E sobre isso, só tenho isto a dizer:

1. Com estes resultados medidos a menos de uma semana da eleição, se o PS perder, as eleições de 2009 vão-se tornar um estudo de caso apenas comparável ao que sucedeu no Reino Unido em 1992. O que teria uma vantagem, atraíndo para o país uma legião de cientistas políticos sem paralelo desde o PREC :-)

2. No momento em que foram feitas, as sondagens vistas no seu conjunto (uma amostra agregada de 4925 inquiridos), sugerem que havia mais intenções de voto no BE do que no CDS-PP (2,3 pontos de vantagem para uma margem de erro de 1,2 pontos). Mas nem sequer são capazes de dizer se a margem do CDS-PP sobre a CDU (0,6 pontos) correspondia a qualquer coisa de real na inferência para a população. E dito isto, quem sabe se o BE volta a conseguir resistir a alguma desmobilização de última hora? Nas Europeias resistiu. E desta vez?

O resto seria pura especulação, e para isso vou ao Trocas. Em suma: larguem lá as sondagens e vão mas é votar em quem e como acharem melhor.

by Pedro Magalhães

Na Alemanha também há eleições

Posted September 25th, 2009 at 11:30 am4 Comments

Vale a pena visitar este site que foi sugerido por um leitor num comentário anterior.

by Pedro Magalhães

Onde está a Eurosondagem?

Posted September 25th, 2009 at 9:49 am4 Comments

Para estas eleições, a Rádio Renascença, a SIC e o Expresso decidiram não solicitar à Eurosondagem a realização de uma última sondagem antes das eleições, o que julgo ser inédito. Não conheço as razões, mas vou aqui presumir - e retiro o que escreverei de seguida se me disserem que a pressuposição está errada - que isto sucede em consequência do que se passou nas Europeias. É quase inútil dizer que estão no seu pleno direito. Mas atrevo-me a dizer que foi uma péssima decisão, por duas razões:

1. O público fica mais bem servido com mais sondagens e não com menos. Mais sondagens significa que ficamos a dispor de mais resultados com maior variabilidade de métodos. Por outras palavras, descontando erro amostral, ficamos a poder apreciar melhor se diferentes resultados se devem a diferentes opções técnicas ou metodológicas ou se os resultados são independentes delas. Mais sondagens significa mais observações e, logo, menos incerteza. E mais sondagens significa ainda que um outlier -sempre possível - é mais facilmente "desdramatizado" e colocado em contexto.

2. Não fazer sondagens porque os resultados das últimas sondagens de intenções de voto nas Europeias tiveram importantes discrepâncias em relação aos resultados eleitorais é mandar uma mensagem completamente errada à opinião pública sobre o que é uma sondagem. É dizer que ela é uma previsão e que, se essa "previsão" falhar, se cometeu um erro. Pode ser que sim. Mas pode ser que não. É preciso estudar, como não me canso de dizer. E há mais. Depois das Europeias, os relatos e as explicações do "fracasso" ficaram quase exclusivamente nas mãos de políticos ou de comentadores directa ou indirectamente ao serviço de partidos políticos. Não detectei, na esmagadora maioria destes comentários, um único argumento minimamente apresentável de natureza técnica, mas apenas julgamentos sumários, insultos e injuriosas alegações de desonestidade e manipulação. Deixar parecer que este discurso absolutamente inane influenciou uma decisão sobre a condução ou não de sondagens pré-eleitorais é, pura e simplesmente, entregar o ouro aos bandidos.

Desculpem meter-me na vida dos outros e, como mencionei, retiro o que escrevi se me explicarem que as razões foram outras. Mas decisões como estas influenciam a qualidade do debate público sobre as sondagens e a qualidade da informação que é transmitida ao público.

by Pedro Magalhães

Quadro final

Posted September 25th, 2009 at 9:23 am4 Comments

Todas as sondagens de Setembro. Para as últimas quatro, variação em relação à última sondagem do mesmo instituto e uma média ponderada:



Como se pode ver, duas tendências comuns a todas: descida do BE e subida do CDS-PP. Outro aspecto relevante é, claro, a impressionante convergência das quatro sondagens, maior ainda do que a ocorreu nas últimas sondagens de 2005. Já várias vezes discuti aqui este fenómeno recorrente, para o qual vejo três explicações plausíveis:

1. Cristalização do voto (e já citei aqui tantas vezes um famoso artigo de Andrew Gelman e Gary King que nem faço link outra vez);
2. Maior investimento por parte dos institutos nas derradeiras sondagens;
3. Institutos looking over their shoulders.

A 3ª explicação, que foi mencionada aqui há uns dias num comentário, é potencialmente a mais perturbante. Mas aqui, duas notas:

1. Não acredito, muito sinceramente, que alguém obtenha um resultado e o mude deliberadamente para se ajustar a uma qualquer expectativa do que vão ser os resultados as eleições ou aos resultados de outros institutos. As coisas passam-se, potencialmente, de forma muito mais subtil. Como explicam Gary King e os seus colegas neste outro artigo - um óptimo exemplo do tipo de "auditoria" que se pode fazer a um conjunto de sondagens pré-eleitorais e que a Comissão nomeada pela ERC faria bem em imitar - a produção de "estimativas de resultados" exige um conjunto de ajustamentos dos dados que se baseiam numa série de pressuposições sobre quem é um votante provável, como se distribuem os indecisos, como se corrigem distorções da amostra, etc, etc, etc. É por essas pressuposições e nesses ajustamentos, creio, que as expectativas se podem subtilmente "inflitrar".

2. Mas também noto que, em todas as sondagens, não há mudanças em relação ao que têm sido práticas constantes dos vários institutos quando fazem sondagens pré-eleitorais (a Marktest abandonou a ponderação pós-amostral por recordação de voto em 2005, mas já o tinha feito há algum tempo; a Aximage usa um modelo de redistribuição de indecisos que me parece igual ao usado no passado; Intercampus e CESOP fazem o mesmo que fazem sempre nas últimas pré-eleitorais). Pelo que, para responder ao comentador, acredito mais, neste caso, nas explicações 1 e 2.

by Pedro Magalhães

Legislativas. Aximage, 21-24 Setembro, N=850, Tel.

Posted September 24th, 2009 at 9:13 pm4 Comments

Vem aqui.

PS: 38,8%
PSD: 29,1%
BE: 10%
CDS-PP:8,6%
CDU: 8,4%
OBN: 5,1%

Em relação aos 850, havia 5,8% de indecisos.

by Pedro Magalhães