Pedro Magalhães

Margens de Erro

Flickr

Posted January 17th, 2005 at 12:54 am4 Comments

Já deu para perceber que o Flickr, onde tenho até agora alojado os quadros com os resultados das sondagens, nem sempre se porta bem...Peço desculpa a quem tem sucedido esperar em vão pelo aparecimento dos quadros. Vou ver se arranjo outra solução.

by Pedro Magalhães

Poll of polls III

Posted January 16th, 2005 at 12:05 am4 Comments

A série de sondagens divulgadas nos media desde o anúncio da dissolução da Assembleia resulta no seguinte quadro, que apresenta os resultados tal como destacados pelos órgãos de comunicação social, ordenando as sondagens da mais recente para a mais antiga:




Redistribuidos os indecisos, pressupondo a sua abstenção (ou a sua redistribuição proporcional pelas restantes opções) e feita a média das três sondagens mais recentes ficamos com o seguinte quadro.




Nada de novo. Nem sequer em relação ao Bloco de Esquerda, cuja alegada "subida" alimentou algum debate no Expresso da Meia-Noite ontem na SIC Notícias. Mas reparem no seguinte:

1. Na anterior sondagem da Eurosondagem, o BE teve 4,5% de intenções de voto. Desta vez, teve 5,7%.

2. Contudo, a anterior estimativa do BE tem associada uma margem de erro de 0,9%. Isto significa que, se a anterior sondagem tivesse sido feita na base de uma amostra puramente aleatória, haveria 95% de chances de que as intenções de voto reais no BE na população estivessem entre 3,6% e 5,4%. E nem estamos a contar com erro não amostral.

3. Nesta última sondagem, a estimativa do BE tem associada uma margem de erro de 1,4%. Há assim 95% de chances de que as intenções de voto reais na população estejam entre 4,3% e 7,1%.

4. Assim, o BE passa de 3,6-5,4% para 4,3-7,1%. Isto é uma subida? Não faço a mínima ideia.

É claro que, se a estimativa pontual do BE aparecer de novo a subir para a casa dos 5-6% numa próxima sondagem (da mesma forma como o CDS passou da casa dos 4-5% para a casa dos 6-7%desde as primeiras sondagens da Aximage ou da Eurosondagem), a probabilidade de termos assistido a algo casual diminui um pouco. Mas por enquanto, a afirmação de que a intenção de voto no BE aumentou tem tão pouca sustentação empírica que seria melhor não a fazer.

by Pedro Magalhães

Eurosondagem, 15 de Janeiro

Posted January 15th, 2005 at 11:30 pm4 Comments

Mais uma: Eurosondagem, publicada no Expresso de 15 de Janeiro, realizada também para a SIC e a Rádio Renascença. Resultados tal como destacados no jornal:

PS: 45,7%
PSD: 32,5%
CDU: 6,5%
CDS:6,5%
BE: 5,4%

A soma dá 96,6%. Os restantes 3,4% deverão corresponder aos outros partidos, brancos e nulos. Os indecisos já estão fora disto, dado que se assinala no jornal que estes resultados decorrem de "um exercício meramente matemático, presumindo que os 7,9% que responderam 'Não sabe/Não responde' se abstêm".

Não me vou repetir sobre as malditas casas decimais...

by Pedro Magalhães

Teaserzinho

Posted January 14th, 2005 at 3:29 pm4 Comments

Eu também tenho o meu teaser: fizemos ontem na Católica uma sondagem para a última edição do Prós e Contras na RTP e para o Público. É sobre as eleições, é telefónica e tem uma amostra de dimensão modestinha (655). Mas as perguntas não são sobre intenção de voto nem sobre nada que exija uma precisão acima do convencional. São sobre:

- o grau de interesse dos portugueses pela política;

- se alguma vez tiveram um contacto directo com algum deputado do seu círculo eleitoral (a coisa está formulada de forma a não perder um único contacto seja com quem tenha sido);

- se sabem o nome de algum cabeça de lista de algum partido que alguma vez tenha concorrido em eleições passadas no seu círculo eleitoral;

- e se concordam ou discordam com uma série de items normalmente usados em estudos de cultura política, sobre, por exemplo, se os políticos se interessam pelas opiniões das pessoas, se os partidos são todos iguais ou sobre até que ponto as eleições são importantes para mudar os curso dos acontecimentos.

Tenho os resultados à minha frente, mas não os posso dar aqui antes de o Público o fazer, o que acontecerá na próxima 2ª feira. Contudo, o teaser é este: a eminente previsibilidade dos resultados obtidos (estão alinhados com os resultados de anteriores inquéritos) não chega para mitigar o enorme choque que eles produzem.

by Pedro Magalhães

Limites e virtudes da "poll of polls"

Posted January 14th, 2005 at 2:32 pm4 Comments

Tenho recebido vários e-mails, todos invariavelmente amistosos. Estou aliás a ponderar se a minha renitência em permitir comentários aos posts deste blogue (motivada pelas horripilantes experiências a que tenho assistido noutros blogues) não será injustificada.

E outra coisa interessante é que tenho recebido mensagens de pessoas que parecem perceber realmente de Estatística. Para compreender o que esse "realmente" quer dizer bastará dizer que percebem muito mais do que eu. Nos cursos de Ciência Política aprendem-se umas coisas, com a prática e as leituras outras, mas saber é saber. Quando começo a ouvir falar em "heterocedasticidade", a mente começa-me a ficar ligeiramente turva.

Isto para dizer que recebi uma amável mensagem onde se faz uma observação a algo que escrevi antes: que fazer uma poll of polls, uma média dos resultados obtidos por diferentes sondagens em momentos próximos do tempo, ajudaria a "cancelar" o erro amostral. A observação é a seguinte:

Já agora faço um ligeiro reparo à sua observação sobre a "Poll das Polls": Não seria o erro de enviezamento (não amostral) que tenderia a anular-se quando se comparam sondagens com diferentes formatações de processos amostrais? É que a Distribuição Amostral da Variância (erro amostral) deve (penso eu) ser uma variável independente nos dois processos amostrais seguidos pelas empresas em causa, pelo que constituiria um factor de agravamento no cômputo do Erro Aleatório Total da (digamos) Sondagem Consolidada...

Ora muito bem. Expliquei-me certamente mal, e pode até suceder que, por muito bem que me consiga explicar, continue a estar fundamentalmente enganado. Mas o que penso estar correcto é o seguinte:

1. Se o erro associado a uma estimativa sobre uma distribuição na população for meramente erro "não sistemático", "amostral", aquele que resulta de usar apenas uma parte (amostra) dessa população para fazer inferências, a média obtida tendo como base um número infinito de amostras extraídas no mesmo momento da mesma população com os mesmos procedimentos de amostragem deveria convergir para a média da população. Estou correcto?

2. Sabemos, claro, que:
- não temos um número infinito de amostras;
- elas não são extraídas no mesmo momento;
- os procedimentos de amostragem são diferentes;
- os questionários são diferentes.

3. Contudo, mesmo que usemos um número não-infinito de amostras recolhidas em momentos próximos no tempo e com dimensões diferentes (são três - bem sei - violações aos pressupostos anteriores) e façamos a média dos resultados obtidos, não estaremos nós, no entanto, a continuar a contribuir para reduzir o erro amostral? Não é como se estivéssemos, simplesmente, a aumentar a dimensão da amostra?

4. Parece-me a parte do erro que que as médias nunca servem para corrigir é o erro sistemático. Por exemplo: se todas as sondagens forem telefónicas, e se houver algo que faça com que os eleitores que não tenham telefone sejam substancialmente diferentes dos restantes, fazer a média não corrige o erro sistemático (enviesamento) que daí decorre. Outro exemplo: se houver um factor socio-político que leve a que potenciais eleitores de um determinado partido ocultem mais as suas opções aos inquiridores do que potenciais eleitores de outro partidos, posso fazer um número infinito de sondagens que não é isso que me vai eliminar essa fonte de erro. O erro sistemático aparecerá em todas as sondagens e, logo, também na média.

5. Dito isto, aproximando-me agora do autor da mensagem, há quem defenda que, se não tivermos quaisquer expectativas acerca de que procedimentos de amostragem e inqurição melhor ajudam à eliminação de fontes de erro sistemático, calcular a média simples de sondagens que utilizam metodologias de amostragem e inquirição substancialmente diferentes é uma maneira de o reduzir. Isto porque há trade-offs que fazem com que a eliminação de algumas fontes de erro sistemático através de determinados procedimentos leve ao aparecimento de outras, pelo que a média tende sempre a ser a melhor estimativa. Ver, por exemplo, Armstrong, J. Scott (2001), "Combining Forecasts," in J. Scott Armstrong (Ed), Principles of Forecasting, Norwell, Kluwer;

6. E dito isto, os problemas na nossa poll of polls mantêm-se: são muito poucas, são muito espaçadas no tempo e, a acreditar no Sr. Armstrong, não utilizam procedimentos suficientemente diversos. Mas quanto mais não seja - e é talvez isso que deveria ter dito desde o princípio - a "poll of polls" dá-nos a capacidade de comparar as sondagens entre si por meio de um referencial fornecido pela média de todas elas.

Terei razão no todo ou em parte desta argumentação? Estou bem menos que 100% seguro, ou não fosse o título deste blogue aquele que é. Vejam, por exemplo, a animada discussão que se seguiu a este post do Mistery Pollster sobre o assunto. Gostava muito de ouvir mais "estatísticos a sério" - e eu não pertenço à classe - pronunciarem-se sobre isto...

by Pedro Magalhães

E obrigado ainda

Posted January 13th, 2005 at 2:43 pm4 Comments

À Inês (informando-a que este não foi trazido ao mundo por mim, mas sim por alma caridosa cuja identidade desconheço), ao food-i-do, ao Salvos e Afogados, aos (In)separáveis, ao Nortadas, ao Picuinhices, à Rua da Judiaria, ao Felgueiras Blog, ao ABsurdo Ponto, ao Ponto Media, a O Vilacondense, ao Perguntas Pertinentes (havemos de falar sobre internet polls), ao Resistente Existencial, ao Blogue de Esquerda, a A Fonte, ao André (e ao Daniel, e ao Pedro, e restantes barnabitas), ao Opiniões Facciosas, ao Abnoxio, ao Dito Cujo, ao Briteiros, ao Sentidos da Vida, ao Cartas de Londres, a os estados da nação, ao acanto, ao cibertúlia, ao Fumaças, ao Atrium e ao Homem a Dias (tenho um amigo que resume admiravelmente a minha carreira académica como consistindo em "fazer essas tretas do qui-quadrado").

Vou tentar não esquecer ninguém, mas confesso que continuo baralhado com o Technorati.

by Pedro Magalhães

Poucos mas bons? (longo)

Posted January 12th, 2005 at 12:08 pm4 Comments

Quando se olha para os quadros dos posts anteriores, é impossível não se pensar no número reduzido de sondagens eleitorais que se publica em Portugal: apenas 6 passado mais de um mês após o anúncio da dissolução da AR, e a pouco mais de um mês das eleições. Não é preciso que nos comparemos com exemplos estratosféricos para perceber isso (tais como este). Basta ir a Itália.

Porquê? Suponho que há três razões fundamentais:

1. Recursos. Estas coisas são caras, especialmente se não forem feitas pelo telefone, e o tempo para a imprensa é de vacas magras. E mesmo que os media estivessem cheios de dinheiro, os institutos/empresas carecem eles próprios dos recursos necessários para fazerem trabalhos de qualidade com grande frequência. É aliás frequente que as sondagens sejam feitas para consórcios, mesmo formados por jornais ou canais de televisão sem ligação empresarial directa (Expresso/SIC/RR; RTP/RDP/Público), para fins de repartição de custos. E até acontece que um órgão de comunicação anuncie os resultados de sondagens encomendadas por outros, prática que não me parece censurável em si mesma mas é totalmente impensável noutros países.

2. Risco e reputação. Sem ter dados concretos, julgo saber que - em parte pela razão anterior- os estudos eleitorais conduzidos para os jornais e as televisões constituem uma parcela ínfima do volume de negócios da maior parte dos institutos/empresas de sondagens em Portugal. Esse é composto, na sua maioria, por estudos de mercado e de audiências, seguidos provavelmente pelas sondagens feitas para partidos (cujos resultados raramente vêm a público).

Contudo, há uma grande desproporção entre esse (reduzido) peso das sondagens eleitorais na actividade dos centros e a (enorme) exposição pública a que os sujeitam. Isto levanta problemas. Para quem olha para isto de fora, as eleições têm a vantagem singular de constituirem a única ocasião em que as inferências feitas na base de uma amostra podem ser imediatamente confrontadas poucos dias depois com os comportamentos da população. Mas para quem olha para isto de dentro, isto pode ser uma desvantagem: um trabalho que corre mal (e pode correr muito mal, mesmo que se faça tudo "bem" do ponto de vista metodológico) pode ser fatal para a reputação de uma empresa que, na verdade, não vive de sondagens eleitorais, mas sim de outras áreas de trabalho.

Como resultado, com a passagem do tempo, só tende a ficar nesta área quem simultaneamente se sente seguro de dispor dos recursos técnicos e materiais suficientes para fazer consistentemente um bom trabalho e/ou (e este "e/ou" é importante, porque os casos variam) tem um nível de dependência maior da área eleitoral do que de outras áreas de negócio.

3. Regulação. Apesar de todos os problemas que persistem, a mudança na lei das sondagens de 2000 veío contribuir para tornar o mercado menos selvagem. A partir daí, os institutos/empresas passaram a carecer de credenciação especial da Alta Autoridade para a Comunicação Social para trabalharem nesta área, uma credenciação cuja concessão depende da satisfação de um conjunto de exigências técnicas e de continuidade de trabalho. Como resultado, por exemplo, o fenómeno das empresas que de repente apareciam a fazer sondagens antes das eleições para logo de seguida voltarem à obscuridade tem, ele próprio, vindo a desaparecer (uma curiosidade: sabiam que uma empresa chamada Compta já fez sondagens? Na última sondagem que fez antes das eleições legislativas de 1995 - publicada no Semanário no dia 16 de Setembro - dava o PS e o PSD com "empate técnico").

Resultado: poucas sondagens eleitorais. Mas é possível argumentar que a perda de quantidade levou a um aumento geral da qualidade. Quando olhamos para as sondagens feitas antes das eleições de 2002, acho que é impossível não constatar que, afinal, o público não terá sido muito mal servido. E se tiverem (muita) paciência, olhem para aqui: desde o início dos anos 90 até hoje, a precisão das estimativas eleitorais feitas em Portugal melhorou bastante. Quem ficou faz, em geral, bom trabalho, apesar das inúmeras deficiências que persistem na forma como os resultados são divulgados.

(Sei que não terei convencido muita gente sobre este último ponto, mas prometo insistir com dados mais concretos em posts futuros).

by Pedro Magalhães

Mais agradecimentos

Posted January 12th, 2005 at 11:16 am4 Comments

E obrigado também, pelas referências e palavras amáveis, ao Mau Tempo no Canil, ao Tugir, ao Adufe, ao Causa Nossa, ao Intermitente, ao Paulo Gorjão, ao Contra Santana, ao Uma Campanha Alegre, ao Linha do Horizonte, ao Blasfémias, ao Tempestade Cerebral (que coloca "a mãe de todas as perguntas" sobre as sondagens eleitorais, à qual prometo tentar responder em breve), ao Incursões, ao Speakers Corner Liberal Social, ao meu estimado colega Rogério Santos, ao ...Blogo Existo, ao Amicus Ficaria , ao Devaneios Lusos, ao Quando-O-Blog-Bate-mais-Forte, ao Maré Alta, ao Terra do Sol, ao Luciano e, last but certainly not least, ao outro Pedro Magalhães. Quanto aos mails recebidos, o que posso prometer é que a resposta vai ser lenta mas segura.

by Pedro Magalhães

Obrigado

Posted January 11th, 2005 at 12:38 pm4 Comments

Ao Ivan, à Desassossegada e ao Filipe (e ao Pula Pula Pulga pela inclusão nas leituras).

by Pedro Magalhães

Poll of Polls II

Posted January 11th, 2005 at 12:15 pm4 Comments

Com a nova sondagem da Aximage, o panorama geral desde o anúncio de dissolução do parlamento passa a ser o seguinte:



Fazer a poll of polls, com resultados que sejam comparáveis entre si e, para melhor compreensão intuitiva, com resultados eleitorais, torna-se complicado quando não se divulgam como se repartem indecisos e votos válidos. Mas façamos a pressuposição - sempre questionável - que a percentagem de indecisos nesta sondagem da Aximage foi igual à encontrada na sondagem anterior: 7,8%. Ficamos assim, após redistribuição, com as seguintes estimativas:



Não há novidades substanciais. Começa a notar-se uma tendência para que a Aximage estime vantagens mais dilatadas para o partido vencedor do que a Eurosondagem, mas as diferenças estão ainda dentro do que seriam as margens de erro caso todas as sondagens fossem verdadeiramente aleatórias. E estamos ainda dentro do reino das "telefónicas" e de métodos - escolhidos ou por mim "impostos" - simplesmente proporcionais de redistribuição dos indecisos. Aguardemos...

by Pedro Magalhães