Pedro Magalhães

Margens de Erro

Interlúdio 4

Posted January 11th, 2006 at 2:26 pm4 Comments

E já que estamos nesta, outros cientistas políticos com blogues, só para citar la crème de la créme: Barry Burden (meu colega em Ohio State em tempos que já lá vão) e Gary King; John Ikenberry, Anne-Marie Slaughter e Ivo Daalder, todos aqui; e Joseph Nye, aqui.

by Pedro Magalhães

Interlúdio 3

Posted January 11th, 2006 at 2:03 pm4 Comments

Para terem uma ideia da importância que isto tem para mim, meus colegas e alunos, é melhor explicar assim: isto está para os cientistas políticos mais ou menos como isto está para os economistas. Por outras palavras, Matthew Soberg Shugart tem um blogue, chamado Fruits and Votes. Shugart é professor de ciência política em San Diego e é autor de coisas como estas:




Isto anda cada vez mais bem frequentado.

by Pedro Magalhães

Interlúdio 2

Posted January 11th, 2006 at 1:22 pm4 Comments

Bragança, 10 Jan (Lusa) - A mulher do candidato presidencial Mário Soares, Maria Barroso, divulgou hoje em Bragança um caso que considerou "revelador da forma ínvia e desonesta como são feitas algumas sondagens". Maria Barroso falava para apoiantes na sede de candidatura de Mário Soares, admitindo que "alguns estão desanimados porque as sondagens são feitas para desanimar as pessoas".

A mulher do candidato decidiu partilhar com a plateia um caso que disse ter ocorrido há três dias quando uma amiga, professora de Filosofia em Coimbra, lhe telefonou a contar uma "história que parece anedota, mas que é verdadeira". Segundo Maria Barroso, "telefonaram para casa dela a perguntar se havia alguém na faixa etária entre os 30 e os 45 anos". "Ela mandou a funcionária ao telefone e perguntaram-lhe assim: então em quem é que vai votar? Eu vou votar no dr. Mário Soares, que é em quem eu votei sempre. E eles disseram de lá: desculpe, foi engano", contou.

"Isto não se faz, isto é uma desonestidade, é uma forma ínvia de fazer as sondagens. Se dizem que é a favor de um determinado candidato que não é o que eles querem, então dizem que já não tem efeito e que não lhes interessa", acrescentou.

Cada um tira as conclusões que quiser. Mas a mim interessa-me por outras razões: repararam como, inicialmente, o(a) inquiridor(a) aceitou a entrada na amostra de uma "funcionária" que "havia lá", sem indagar se era residente, só pelo facto de preencher a quota? É para verem o que acontece com as quotas...

by Pedro Magalhães

Interlúdio

Posted January 11th, 2006 at 12:33 pm4 Comments

Kadima aguenta após AVC de Sharon. Partido "personalista", "carismático", inteiramente dependente da personalidade de Sharon, queda inevitável? Ah, como Israel é complicado...

by Pedro Magalhães

It ain’t necessarily so…(1)

Posted January 10th, 2006 at 5:20 pm4 Comments

Este post, em duas partes, pode ter duas leituras políticas, que julgo poder antecipar. Haverá quem ache que estou ainda a tentar manter aberta a esperança de uma segunda volta. E haverá quem ache que estou a tentar evitar a desmobilização do eleitorado de Cavaco Silva em face do que pode parecer uma vitória certa. A intenção não é uma nem outra, mas façam como entenderem. A intenção, de facto, é chamar a atenção para os limites das sondagens que conhecemos até agora, quer como instrumentos de descrição do que vem sucedendo ao longo dos últimos meses (neste post) quer como instrumentos de previsão do que vai suceder dia 22 (no post seguinte).

Como instrumentos de descrição, as sondagens que conhecemos têm um problema fundamental: não são suficientemente variadas do ponto de vista técnico e metodológico para nos garantirem que as medições que têm estado a obter são independentes dessas opções técnicas e metodológicas. Note-se, por exemplo, que todas as sondagens usaram inquirição telefónica, com uma única excepção que, mesmo assim, não é para mim inteiramente clara (na ficha técnica da sondagem Intercampus de 22 de Dezembro fala-se em "entrevista pessoal", o que eu interpreto como sendo uma sondagem "face-a-face", mas não estou seguro).

Não quero com isto dizer que haja um problema genérico em fazer sondagens telefónicas (já perorei muitas vezes sobre o assunto aqui, defendendo que, até agora, e ceteris paribus, não é isso que parece fazer a diferença) ou que elas tenham tido até agora um enviesamento intrínseco numa direcção ou noutra. Quero apenas dizer que cada eleição é uma eleição, nunca sabemos se tem características podem fazer com que uma dada opção produza enviesamento, e que ficava muito mais descansado com estes resultados se visse maior variedade de técnicas de inquirição.

Acresce a isto que, quando essas variações metodológicas existem no nosso conjunto de sondagens, o seu impacto parece ser grande. Falo, por exemplo, do contraste entre sondagens que usam informação socio-demográfica para a construção da amostra (quotas) ou ponderação dos resultados (ponderadores) e aquelas que se limitam a confiar na aleatoriedade pura. Nas primeiras, que são a maioria, a média das estimativas para Cavaco, Alegre e Soares é, respectivamente, 59%, 16% e 14%. Nas segundas, é de 53%, 14% e 20%. E se excluirmos as sondagens da Católica - de classificação mais ambígua deste ponto de vista (porque seleccionam inquiridos aleatoriamente mas ponderam os resultados com dados do Censos) - do primeiro grupo, a média fica, respectivamente, 60%, 15% e 14%. São diferenças muito importantes.

É certo que parte destas discrepâncias se poderão atribuir ao facto de as diferentes sondagens serem feitas em momentos diferentes, sendo por isso afectadas pela passagem do tempo. Foi essa a perspectiva que, por exemplo, adoptei aqui, aqui e aqui. E é também verdade que tenho convicções próprias acerca de que sondagens e de que métodos obtêm medições mais fiáveis.

Mas a perspectiva do céptico, que foi a que adoptei aqui, limita-se a constatar diferenças e a interpretá-las como sintomas de incerteza. Neste momento, a amplitude dos resultados de Soares desde finais de Outubro (a diferença entre a estimativa mais baixa e a mais alta) é de 10,7 pontos percentuais, mais de duas vezes superior àquilo que seria de esperar exclusivamente apenas na base do erro amostral. A amplitude dos resultados de Cavaco é de 10,9 pontos percentuais, 1,7 vezes acima do que se poderia esperar na base do erro amostral. É bastante. O céptico só pode sentir-se algo incerto.

by Pedro Magalhães

Actualização, 10 de Janeiro

Posted January 10th, 2006 at 11:51 am4 Comments

Com a sondagem Marktest de ontem o quadro completo fica assim:



Não vou introduzir os resultados das sondagens diárias da Marktest/DN/TSF. É uma tracking poll, o que significa que foge à lógica das anteriores: dia a dia, a base amostral é apenas parcialmente renovada. Vou introduzir sim esses resultados assim que a base amostral tiver sido completamente renovada, ou seja, pelas minhas contas, na sondagem a divulgar esta 6ª feira. Entretanto, os resultados da tracking poll podem ser consultados aqui.

by Pedro Magalhães

Mais questões

Posted January 10th, 2006 at 11:21 am4 Comments

De um e-mail (que me chamou a atenção para o lapso que cometi no post anterior):

Apenas um reparo aos últimos posts, espero que não pareça um preciosismo.Quando se fala da retirada dos indecisos tratando-os como abstencionistas isso na prática é o mesmo que fazer uma distribuição proporcional e não equitativa. Ou seja quando se trata os indecisos como abstencionistas é o mesmo (matematicamente) que dizer que 60% deles votam Cavaco, 16 Alegre, 13 Soares, etc, etc....E por isso mesmo penso que seria pertinente que o Pedro Magalhães se pronunciasse sobre esta distribuição proporcional de indecisos num cenário de candidato consensual (e estabilizado - há cerca de um ano ou mais) à direita em contraponto a uma esquerda espartilhada. Pode ou não este método de estimativa introduzir um erro sistemático? Porque não fazer como a Intercampus, que noticia sempre primeiro os resultados brutos e só depois a estimativa, menorizando assim a estimativa em detrimento dos resultados brutos?

Certíssimo. Enganei-me no post anterior: quando se "eliminam" indecisos, tratando-os como abstencionistas, está-se a redistribuí-los proporcionalmente pelas opções "válidas". Já tinha explicado isto em muitos posts anteriores, mas ontem enganei-me.

Quanto à questão substantiva, diria o seguinte:

Como já disse aqui e aqui, "parece-me plausível a ideia de que a indecisão é maior entre o eleitorado potencial dos candidatos de esquerda, especialmente o eleitorado do PS". A sondagem de Novembro da Católica não confirmava essa ideia, mas a mais recente confirma-a, como sabemos. Como proceder na posse desta informação? Uma hipótese, comum em vários institutos de sondagens noutros países e em eleições legislativas, é usar a simpatia partidária como elemento informativo para a redistribuição. Por exemplo: se eu souber que, em geral, os simpatizantes do PS tendem a votar mais em Alegre e Soares, uso esta informação para redistribuir os simpatizantes do PS que não me dizem em que candidato irão votar, presumindo que se irão redistribuir da mesma forma que aqueles que partilham a mesma identificação psicológica com um partido. Isto, contudo, levanta dois problemas. Por um lado, presume-se assim que a "simpatia partidária" é, em Portugal, um fenómeno fortemente estruturante das atitudes e comportamentos políticos. Por outro lado, presume-se assim que a simpatia partidária é um fenómeno fortemente estruturante do comportamento eleitoral em eleições presidenciais. Tenho, por razões demasiado longas para explicar aqui, fortes dúvidas sobre a validade de cada uma dessas pressuposições.

Logo, a alternativa que achámos - sugerida por um dos colaboradores do CESOP - foi, como expliquei no post anterior, usar uma questão sobre "em que candidato(s) nunca votaria" para não redistribuir votos de indecisos por candidatos em que nos dizem que "nunca votariam". Contudo, como também já expliquei, o resultado dessa operação foi que encontrámos resultados em tudo semelhantes aos anteriores.

Isto não impede que eu ache que esta indecisão actual, fortemente concentrada nos simpatizantes do PS, acabe por se resolver parcialmente, mais tarde ou mais cedo, num voto por um dos candidatos próximos da área socialista. Mas em que números? Com que intensidade? Por qual candidato? Quando estas questões se multiplicam e quando a sua resolução implica aplicarmos pressuposições sobre o comportamento dos eleitores de cuja validade não estamos minimamente certos, devemos recordar-nos do fundamental: a sondagem dá um retrato do momento, e a estimativa deve ter, como função básica, a de mostrar esse retrato de forma que seja comparável a um resultado eleitoral, e não de forma a que procure tudo prever acerca de qual virá a ser esse resultado eleitoral duas semanas depois. É a minha opinião.

E no que respeita à comparação com a Intercampus, penso que há um lapso do leitor: a Intercampus e a Católica fornecem aos seus clientes os resultados brutos e as estimativas. Os clientes divulgam os resultados como entendem, desde que cumpram a lei (ou seja, divulgando ambos), que é, creio, o que fazem, com diferentes destaques. E quanto a dar mais valor aos "resultados brutos", já falei dos problemas que isso levanta muitas vezes neste blogue. Por exemplo, aqui, há cerca de um ano.

by Pedro Magalhães

Dúvidas (com correcção a um anterior lapso meu, a vermelho)

Posted January 9th, 2006 at 3:01 pm4 Comments

Recebidas por e-mail ou colocadas noutros blogues:

1. O nível de confiança é, por norma, complementar da margem de erro; isto é, para o clássico nível de confiança de 95% existe uma margem de erro de 5% e, portanto, uma flutuabilidade dos dados apresentados; a sondagem apresenta para um nível de confiança uma margem de erro de 3,4%.

Importa não confundir o erro amostral com o nível de confiança na base do qual se pode dizer que o erro amostral é x ou y.
"Using a sample of 1000 as an example, the statement could read: the chances are 95% of coming within +/- 3% of a hypothetical survey conducted among all members of the population. This means that 95% of all samples which could possibly be drawn will yield an outcome within 3% of the true percentage among the population."


2. Os inquéritos optam, por norma, por um universo [suponho que aqui se queria dizer "amostra"]de cerca de 1.000 entrevistas validadas para a representação do eleitorado nacional; esta sondagem tem 815 inquéritos válidos.

Desconheço a existência desta "norma". Dependendo dos objectivos- o que se quer medir e a margem de erro amostral que se está disposto a tolerar - uma amostra pode ser muito mais pequena ou muito maior que 1000. Explicação muito técnica aqui, explicações mais simples e com exemplos aqui (powerpoint). A money quote: "for very large populations, 500-700 is usually adequate".


3. Há uma distribuição de indecisos de modo equitativo pelas seis candidaturas e, portanto, beneficia-se artificialmente Cavaco ao dar-lhe, por exemplo, mais indecisos dos que possui e ao minorizar a percentagem de indecisos na área socialista (isto é, Alegre e Soares poderão conseguir muitos mais votos que os assinalados).

Lamento, mas não houve, na sondagem da Católica, uma distribuição de indecisos de modo equitativo. Os indecisos foram colocados perante uma segunda pergunta, onde se lhes pedia que indicassem uma "inclinação de voto" por um dos candidatos. E essas inclinações, se dadas por inquiridos que disseram "ter a certeza" que vão votar, foram contadas como votos efectivos. Os restantes foram distribuídos de modo proporcional (ou seja, tratados como abstencionistas). Tudo isto está, desta vez, bem explicado na notícia do Público, mais do que uma vez. Para além disso, ensaiámos no inquérito uma experiência: perguntar aos indecisos que se recusaram a indicar inclinações "em que candidatos nunca votariam", e usar essa informação para não redistribuir os seus votos por candidatos assim indicados. Os resultados obtidos foram iguais aos anteriores, pelo que se optou por não usar essa informação (para não complicar a apresentação nem mudar de metodologia a meio caminho). Isso não nos impediu de assinalar o facto de haver um número desproporcional de simpatizantes do PS entre os indecisos. Cada um usa essa informação como entender, mas não me peçam para pressupor que todos os indecisos do PS vão votar Soares, Alegre ou de outra maneira qualquer...


4. A distribuição aleatória foi afectada pela significativa taxa de recusas (a edição de hoje já não as trazia) o que introduzir mortalidade na amostra, ou seja, uma nova distribuição não aleatória que afecta a chamada validade interna (e, portanto, inferencial) do estudo (veja-se que os resultados se reportam aos que respondem, não aos que votam ou aos que foram inquiridos), porém, este é um critério recorrente em todas as sondagens.

A obtenção de uma amostra genuinamente aleatória é obviamente afectada pelo facto de inquiridos seleccionados aleatoriamente se recusarem a fazer parte da amostra, assim como pelo facto de não se conseguir inquirir (por ausência) inquiridos seleccionados aleatoriamente. Logo, a amostra não é verdadeiramente aleatória. Isto gera problemas para a qualidade dos dados? Há alternativas? O que se pode fazer? Recomendo a leitura disto (.pdf) e disto (.pdf). As respostas são menos óbvias do que parecem à primeira vista...

5. Numa sondagem em que se proceda à ponderação dos resultados [seja de acordo com a distribuição da população em relação a variáveis sócio-demográficas como idade, sexo, habilitação, etc., ou de acordo com o sentido de voto nas ultimas eleições] será legítimo continuar a pressupor que a margem de erro é a mesma caso essa ponderação não tivesse sido feita?

Não. Os valores de erro amostral pressupõem uma amostra puramente aleatória. Pelas razões explanadas no ponto 4., nenhuma sondagem é verdadeiramente aleatória, mesmo que o tente. Logo, nesses casos, a margem de erro amostral é um mero valor de referência, baseado na dimensão da amostra. Por maioria de razão, nas alternativas - utilização de quotas ou ponderação pós-amostral - aplica-se o mesmo princípio: a margem de erro é apenas um valor de referência, baseado na dimensão da amostra, e não algo que possa ser interpretado como transmitindo a real probabilidade de que os resultados se situem dentro de um dado intervalo. É por isso mesmo que a ficha técnica da Católica não diz que a margem de erro é desta amostra, e sim de uma amostra aleatória.

Assim sendo, porque se usa?

- Porque a lei obriga;

- Porque é uma maneira fácil de transmitir ao leitor as possíveis consequências de diferentes dimensões da amostra;

- Porque a pesquisa mostra que as amostragens por quota tendem a errar na estimação de valores reais dentro das mesmas margens que amostras aleatórias;

- Porque a pesquisa mostra que, quanto maior uma amostra, menor o erro na estimação de valores reais, pelo que o conceito de margem de erro, se bem que possa não ter rigor em termos absolutos, deverá tê-lo em termos relativos (ceteris paribus, quanto maiores as amostras, maior a precisão).

5. Nesta sondagem afirma-se que 52% dos inquiridos eram do sexo feminino. Depois, diz-se que os resultados foram ponderados tendo em conta, entre outras variáveis, o sexo. Ora sendo a percentagem da população do sexo feminino de aproximadamente 52%, não percebo o sentido dessa eventual ponderação.

O facto de, numa amostra, haver tantas mulheres como no universo não significa que elas estejam distribuídas por idades e graus de instrução da mesma forma como no universo. Daí a necessidade de ponderação.

Mandem sempre.

by Pedro Magalhães

Marktest

Posted January 9th, 2006 at 2:55 pm4 Comments

As fichas técnicas das sondagens da Marktest já eram as mais completas de todas as publicadas na comunicação social. Agora temos direito a isto (.pdf). Um estímulo para os outros (nós) darmos ao público o mesmo nível de informação. Por enquanto, eles vão à frente.

Um aspecto importante da sondagem divulgada hoje no DN: é uma "tracking poll". Ou seja: combina os resultados de vários dias consecutivos - digamos, três - e depois, ao juntar os resultados do quatro dia, deita fora os resultados do primeiro.

Para além da leitura atenta da documentação da Marktest, vale a pena ver este site CNN/Gallup onde explicam o que fazem e como se devem ler os resultados.

by Pedro Magalhães

Marktest, Presidenciais, 8 de Janeiro

Posted January 9th, 2006 at 11:47 am4 Comments

O quadro completo dos resultados terá de ficar para amanhã. Para já, temos:

Marktest, 4-7 Janeiro, Telefónica

Votos válidos:
Cavaco Silva:61%
Mário Soares:14,3%
Manuel Alegre:11,5%
Jerónimo de Sousa:6,9%
Francisco Louçã:6,1%

Em relação às duas sondagens anteriores, tinha assinalado algumas aparentes tendências que careceriam de confirmação. Pois ela aqui está:

- subida de Cavaco Silva de 2005 para início de 2006: intenções válidas de voto subiram em relação a anteriores sondagens da Católica (finais de Novembro) e da Marktest (meados de Dezembro), mantendo-se estáveis em relação a última sondagem Aximage (antes do Natal). Se nas próximas sondagens Eurosondagem e Intercampus Cavaco tiver qualquer coisa acima dos 53%, então a tendência de subida vê-se confirmada para além de qualquer dúvida razoável.





















-descida ou, no máximo, estabilização de Mário Soares: intenções válidas de voto em Soares desceram em relação a anteriores sondagens da Católica e da Aximage, para além de ligeira descida em relação a Marktest . Se não desce, pelo menos, parou de subir. Se nas próximas sondagens Eurosondagem ou Intercampus Soares não passar, respectivamente, dos 20% ou dos 18%, a tendência de estabilização (ou descida) confirma-se para além de qualquer dúvida razoável.

by Pedro Magalhães