Pedro Magalhães

Margens de Erro

Católica, Presidenciais, 7 de Janeiro

Posted January 7th, 2006 at 4:27 pm4 Comments

Com a sondagem da Catolica divulgada ontem na Antena 1 e na RTP e hoje no Público, o quadro geral fica assim:



Outros aspectos possivelmente interessantes da sondagem:

- a sobrerepresentação dos simpatizantes do PS no conjunto dos que se dizem "indecisos" sobre em quem votar;

- a convicção maioritária - mesmo entre os simpatizantes do PS (dois em cada três) - de que Cavaco Silva será o próximo PR;

- a convicção minoritária -mesmo entre os simpatizantes do PS (um em cada cinco) - de que Cavaco Silva na Presidência irá "dificultar a acção do governo" ou fazer com que o governo fique com "menos hipóteses" de sobreviver até ao fim da legislatura.

by Pedro Magalhães

Divulgação antecipada

Posted January 6th, 2006 at 6:07 pm4 Comments

Pelos vistos, os resultados das sondagens da Católica já têm direito a divulgação antecipada nos blogues, mesmo dizendo-se que não se sabe se são verdadeiros. E as que vamos fazer para a semana, já alguém tem resultados? Poupava-nos imenso trabalho.

by Pedro Magalhães

Novidades?

Posted January 6th, 2006 at 3:13 pm4 Comments

Sondagem Aximage/CM, divulgada hoje, adicionada à lista:



Note-se, por um lado, a subida tremenda de Francisco Louçã, se bem que, como já vimos, as suas estimativas vêm exibindo grande instabilidade ao longo do tempo, sem tendência discernível.

Já sabemos que instabilidade também há nas estimativas do voto em Mário Soares, mas sabíamos também que havia uma tendência (de subida). Mantém-se? A julgar por esta sondagem, pelo menos em termos das estimativas de resultados eleitorais, a resposta é não. Pode ser um mero acaso ditado pelo erro amostral. Mas é a primeira vez que Soares desce numa sondagem da Aximage (começou com 11% em Outubro e terminou com 17% no final de Dezembro), e a descida contraria a tendência geral que já tínhamos visto que vinha, em geral, sucedendo desde Outubro ao Natal, no conjunto das sondagens.

by Pedro Magalhães

Um ano

Posted January 6th, 2006 at 2:07 pm4 Comments

O primeiro post deste blogue foi escrito no dia 6 de Janeiro de 2005. Escrevi nessa altura:

Achei que seria bom que existisse em Portugal uma fonte de informação sistemática sobre as sondagens que vão sendo publicadas. É também provável que, por obrigação profissional, tenha de recolher alguma dessa informação, especialmente durante os próximos treze meses onde haverá eleições legislativas, autárquicas e presidenciais. É possível que tenha algumas coisas para dizer sobre essas sondagens. E essas coisas raramente são ditas (ou podem ser ditas) noutras fontes de informação que não um blogue. Logo, serão ditas e escritas aqui.

Nem tudo correu como eu gostaria. Suspeito que não terei resolvido sempre da melhor maneira o dilema entre, por um lado, a vontade de debater estes temas e, por outro, a necessidade de fugir ao papel de "polícia" de quem faz ou divulga as sondagens, papel para o qual não sou talhado, especialmente tendo em conta que, para além de "consumidor" de sondagens, sou também "produtor" e parte interessada.

Sei também que perdi demasiado tempo com questões eleitorais, ficando-me pouco tempo para pensar, escrever e debater outros temas que, de resto, me interessam bastante mais. O que é e como se mede isto da "opinião pública"? Qual é (e qual deveria ser) o seu papel no funcionamento da nossa democracia? Sondagens em geral, e sondagens eleitorais em especial, contribuem uma pequeníssima parte para a resposta às perguntas anteriores.

E lamento que, de todos os e-mails e comentários que li, sejam raríssimos aqueles que contestaram as minhas opções e interpretações técnicas. Eu conheço várias objecções a essas opções e interpretações, suspeito que outras existam, e sei que há pessoas que sabem muito mais de vários assuntos aqui debatidos do que eu. Portanto, de futuro, não se acanhem.

Apesar disto, o ano não foi mau de todo. Nunca imaginei que, num ano, este blogue pudesse ser visitado mais de 120.000 vezes, ou que lhe fizessem mais de 400 ligações noutros blogues. Não supunha que, entre sugestões e comentários de leitores e investigação que tive de fazer para comentar temas que foram surgindo, acabaria por aprender tantas coisas e descobrir tantas novas fontes de informação sobre estas questões. E creio - mas talvez isto não passe de wishful thinking e grave imodéstia - que o panorama geral da divulgação das (e dos comentários sobre) as sondagens terá mudado, de forma quase imperceptível mas real, desde que isto existe.

Agradeço a todos os aqui vieram, mas especialmente aos que divulgaram e comentaram o que aqui se escrevia nos seus próprios blogues, nos jornais, ou de outra maneira qualquer.

by Pedro Magalhães

Homossexualidade em Portugal: sondagens

Posted January 2nd, 2006 at 3:40 pm4 Comments

Não leio regularmente o Expresso e não vi a ficha técnica, mas registo o resumo do Ponto Media (já agora, parabéns pelos cinco anos) que mostra uma - previsível - taxa de recusas de mais de 60%!

Seja como for, vale a pena lembrar que os estudos do famoso Kinsey também apontavam para cerca de 10% dos homens com comportamentos exclusivamente homossexuais (notem a ênfase no "comportamento" em vez da "identidade") durante pelo menos três anos consecutivos entre as idades de 16 e 55 anos (enquanto que, nas mulheres, as percentagens são mais baixas).

Contudo, este "número mágico" de 10% tem sido muito criticado, devido ao facto da amostra de Kinsey não ser aleatória, e sim uma "amostra de conveniência". Nas minhas aulas, aliás, uso sempre o exemplo do relatório Kinsey para falar do enviesamento amostral: afinal, quem está interessado em falar do seu comportamento sexual a não ser aqueles que têm uma moral sexual mais liberal?

Uma série de estudos posteriores, com amostras propriamente representativas, têm obtido valores mais baixos. Mas depois aqui joga outro factor óbvio: relutância em assumir comportamentos socialmente censurados, que pode levar a subestimação do valor real. Pelo que esta "percentagem" é notoriamente difícil de obter. Um excerto de um artigo muito recente:

"Much attention has been given to estimating the rate of "homosexuality" among men and women. The commonly cited figure of 10 percent can be traced to Alfred Kinsey and his colleagues, who concluded that in the United States, "10 percent of the [white] males are more or less exclusively homosexual for at least three years between the ages of 16 and 53" (Kinsey et al. 1948:651). Kinsey et al. (1953) estimated that the rate for women was a third to half as large as that for men. A study based on national probability samples of American adults from 1988 to 1993 found that women were about half as likely as men to report having had a same-sex sex partner in the previous year (1.4 percent of women vs. 2.7 percent of men) (Laumann et al. 1994)" in Amy C. Butler, "Gender Differences in the Prevalence of Same-Sex Sexual Partnering, 1988-2002", in Social Forces, vol. 84, Setembro de 2005.

Este artigo em particular revela um aumento muito acentuado desde 1988 nos Estados Unidos da percentagem de homens e (especialmente) mulheres que declaram ter tido um parceiro sexual do mesmo sexo no ano anterior. Mas assume a dificuldade em explicar o fenómeno: aumento de comportamentos homossexuais ou aumento das pessoas que assumem esses comportamentos perante um inquiridor, em face de mudanças sociais, políticas, culturais e legais favoráveis?

Given the sensitive nature of the topic being studied, it will always be difficult to distinguish between changes in reporting bias and changes in actual behavior. The same arguments that normative, economic, and legal factors affect sexual behavior can be used to argue that they affect honesty of reporting that on a questionnaire.

O tema é muito interessante mas muito complexo, e merecia mais do que o espírito habitual no Expresso: o frissonzinho da primeira página, desta vez com tons de rosa...

by Pedro Magalhães

Obrigado

Posted December 29th, 2005 at 6:20 pm4 Comments

In the future, everybody will be a polling expert for fifteen minutes

Posted December 27th, 2005 at 12:10 pm4 Comments

De Mark Blumenthal, o Mystery Pollster cuja existência inspirou a criação desta modesta casa, um artigo (de acesso livre) na Public Opinion Quarterly, sobre o papel da internet em geral e da blogosfera em particular na difusão, discussão e melhoria dos métodos das sondagens, num número todo ele dedicado ao tema. Sinto-me como um filho orgulhoso dos feitos do pai.

Congratulations!

by Pedro Magalhães

Mourinho na London Review of Books

Posted December 27th, 2005 at 10:48 am4 Comments

Através do Bem Haja, chego a uma recensão de um livro sobre José Mourinho, escrita por David Runciman, professor de teoria política em Cambridge. Muito boa.

by Pedro Magalhães

Tendências

Posted December 26th, 2005 at 2:26 pm4 Comments

É possível, contudo, que parte do que estamos a observar em termos de diferenças entre as sondagens se deva não apenas ao erro amostral ou a discrepâncias entre os instrumentos usados pelos diferentes institutos nos diferentes momentos, mas sim a uma real mudança nas intenções de voto válidas ao longo do tempo (causadas quer por mudanças de intenção de voto de um candidato para outro quer pela "entrada" ou "saída" de indivíduos das categorias de "indecisão" ou "abstenção).

Os gráficos seguintes permitem-nos apreciar visualmente a plausibilidade desta hipótese genérica. Vou manter isto também simples, para benefício de todos incluindo eu próprio, que tenho lacunas importantes de formação técnica quando de trata de analisar séries temporais.

A linha sólida é a que melhor se ajusta aos dados na pressuposição de uma relação linear entre a passagem do tempo e o resultado das sondagens. A vantagem desta análise consiste em que podemos ver até que ponto as diferenças entre sondagens podem ser tratadas mero "ruído" em relação a uma tendência geral. A desvantagem, claro, é a pressuposição de uma relação de linearidade entre a passagem do tempo e as intenções de voto, pressuposição essa que pode ocultar outro tipo de tendências. A curva tracejada resulta de uma regressão polinomial ponderada loess (ou "regressão local") aos dados, em que os pontos da curva são previstos pelas observações imediatamente adjacentes (e não por todas as observações, o que resultaria numa linha igual à da regressão linear). Vantagens e desvantagens são simétricas em relação as associadas à pressuposição de linearidade: sensibilidade a evoluções não lineares, mas excessiva sensibilidade a mudanças de curto prazo e "outliers".


A tendência de subida de Soares desde meados de Outubro é muito clara. A passagem do tempo explica mais de metade da variância nos resultados e, apesar das diferenças claras entre institutos (Eurosondagem sempre mais lisonjeira, Marktest e Aximage sempre menos), a subida é constante para todos.

Alegre desce. Os efeitos da passagem do tempo são menores que no caso de Soares e os dados ajustam-se menos bem à pressuposição de linearidade, mas a tendência está lá e também é estatisticamente significativa.


Jerónimo e Louçã estão estáveis, apesar de, como já sabemos, os resultados de Louçã exibirem maior dispersão. Mas essa dispersão terá de ter outra explicação que não o factor tempo.


Os resultados de Cavaco são os mais intrigantes. Grande dispersão, compreensível tendo em conta as maiores margens de erro. Linearmente, uma descida mas, no máximo, ultra-lenta e, na verdade, carecendo de significância estatística (até agora). Mas grandes outliers: Eurosondagem (em Novembro e agora esta última), Aximage (Outubro e esta última), o IPAM (na sondagem para o Diário de Coimbra). Inconsistência de tendências no interior de cada instituto: descida seguida de subida na Aximage, subida seguida de descida na Eurosondagem, descida seguida de subida na Marktest.

As dúvidas não são resolvidas olhando para os resultados brutos. Em regra, não olho para eles porque creio que há opções técnicas que influenciam dramaticamente a percentagem de indecisos e abstencionistas captados pelas diferentes sondagens, quer entre institutos quer entre sondagens feitas pelos mesmos institutos. Contudo, ignorando isso, a análise deste quadro mostra as "intenções directas" de voto a descerem continuamente na Marktest, a descerem e depois a subirem na Aximage e a subirem para logo depois descerem na Eurosondagem.

Assim, em síntese:
1. Sinais muito claros de subida para Soares, com dispersão grandemente explicada pela passagem do tempo;
2. Sinais claros de descida para Alegre;
3. Estabilidade genérica para Jerónimo e Louçã, mas maior incerteza para o segundo;
4. Incógnita (e, à falta de melhor, estabilidade) para Cavaco.

Em Janeiro voltamos a falar.

by Pedro Magalhães

Dispersão

Posted December 26th, 2005 at 12:49 pm4 Comments

Uma das maneiras de interpretar os resultados de diferentes sondagens é olhar para a sua dispersão. Deste ponto de vista, o analista não faz qualquer pressuposição sobre a existência de efeitos sobre as estimativas resultantes da passagem do tempo, dos eventos políticos ou de qualquer outra dinâmica da campanha. No máximo, pressupõe que esses efeitos são erráticos, impossíveis de determinar ou negligenciáveis em relação às restantes fontes de erro, fontes essas ligadas quer ao facto de se usarem amostras para fazer inferências sobre o universo quer à miríade de factores (questionários usados, ordem das perguntas, etc, etc, etc) que podem produzir erro não amostral. Assim, o analista limita-se a constatar que há estimativas diferentes que resultam da medição da intenção de voto nas presidenciais e interpreta a sua maior ou menor dispersão como medida de uma maior ou menor incerteza acerca das intenções de voto num determinado candidato.

Quero manter isto o mais simples possível, e por isso abordo a questão da dispersão dos resultados para cada candidato consiste calculando simplesmente a amplitude (a diferença entre os resultados máximos e mínimo) e o desvio-padrão (distância em relação ao valor médio dentro da qual se encontram 68% das observações). Como se vê no gráfico seguinte, os resultados que vêm exibindo maior dispersão são os atribuidos pelas sondagens a Cavaco Silva e Mário Soares.
















Contudo, feita assim, a comparação entre os candidatos é enganadora. Por exemplo, seria sempre de esperar que a dispersão obtida para os resultados de Cavaco Silva fosse elevada em comparação com a obtida para os restantes candidatos, dado que a margem de erro amostral é tanto maior quanto mais próximos os resultados estejam de 50%.

Logo, uma maneira melhor de comparar a dispersão dos resultados é comparar aquela que se verifica nos resultados com a que deveria ser esperada se a única fonte de diferenças entre as sondagens fosse a margem de erro amostral. Para esse efeito, calculei a amplitude esperada em torno da estimativa média para cada candidato causada pelo erro amostral para uma amostra de 945 (a média da dimensão das amostras nas 14 sondagens publicadas até ao momento) e, de seguida, dividi a amplitude real por essa amplitude esperada para cada candidato:


Como se interpreta este gráfico? A diferença entre os resultados máximo e mínimo obtidos pelas sondagens para Mário Soares é 2,3 vezes superior ao que seria de esperar caso a única fonte de discrepâncias entre as sondagens fosse o erro amostral. No extremo oposto, temos Jerónimo de Sousa, cujos resultados nas 14 sondagens publicadas até ao momento têm estado quase todos dentro das variações expectáveis tendo em conta o erro amostral.

Por outras palavras: na hipótese de que não se consiga apoiar com os dados disponíveis qualquer teoria plausível sobre como a passagem do tempo está a determinar variações entre os resultados obtidos para cada candidato ou sobre como a utilização de determinadas opções técnicas está a conduzir a enviesamentos em relação à realidade, o maior nível de incerteza existe em relação às intenções válidas de voto em Mário Soares, cujos resultados exibem disparidades muito superiores ao que seria de esperar tendo apenas em conta o erro amostral associado às várias estimativas. Apesar da variação nos resultados de Cavaco Silva ser, em absoluto, igualmente grande, ela é bastante menos significativa, tendo em conta que se estão a estimar resultados mais próximos dos 50%.

by Pedro Magalhães