Pedro Magalhães

Margens de Erro

Notas soltas sobre a sondagem Marktest

Posted December 20th, 2005 at 2:59 pm4 Comments

Algumas notas adicionais sobre esta sondagem, aproveitando comentários que já circulam na blogosfera:

1. Quem por aqui passa sabe que raramente cito as sondagens presidenciais que vão sendo divulgadas. Trata-se de uma questão de prudência e nada mais. Não posso, no entanto, deixar de ecoar os resultados da mais recente sondagem DN/TSF que dá 16% a Manuel Alegre e 13% a Mário Soares (Lusa, 20.12.2005).Depois dos polémicos -- ou talvez não, veremos... -- valores da Eurosondagem de Rui Oliveira e Costa, resta aguardar pelos próximos resultados, desta vez julgo que fornecidos pela sondagem da Universidade Católica (in Bloguítica)

Por lapso, o Paulo Gorjão colocou resultados errados no seu post. Os correctos são, arrendondando, 16% para Manuel Alegre e 15% para Mário Soares. Quanto ao resto, não creio que a sondagem da Católica seja a próxima a ser divulgada: em princípio, segundo entendi na SIC Notícias na passada 6ª feira, haverá mais uma sondagem no Expresso no próximo Sábado. E A Católica é depois disso...


2. Os números em bruto desta sondagem mostram uma subida do número de indecisos, que este mês atingem 21,6% dos inquiridos (in Super Mário).

Não creio que esses valores sejam comparáveis aos da sondagem anterior. A sondagem anterior foi feita no quadro do Barómetro Marktest, um inquérito longo que, imagino, gera uma elevada taxa de recusas à partida - recusas de inquiridos em fazerem parte da amostra - e que, por isso, surge com um baixa percentagem de inquiridos "ns/nr" (porque muitos já foram excluídos à partida). Esta sondagem, pelo contrário, parece ser, pela ficha técnica, uma sondagem curta e dedicada exclusivamente ao tema "presidenciais". Isso deverá ter levado a uma maior taxa de resposta ao inquérito mas, depois, a uma comparativamente mais elevada percentagem de inquiridos que recusam responder à pergunta sobre intenção de voto. É a minha suposição, mas só a Marktest poderá responder cabalmente a isto. Já agora, a Marktest, sempre tão certinha na apresentação completa dos resultados brutos, esqueceu-se de o fazer desta vez...

3. Discrepâncias entre sondagens, para aqueles que com elas se inquietam. A minha sugestão é que leiam o que se segue, se puderem várias vezes, e assim escusam de me ouvir perorar novamente - e com muito menos competência - sobre o assunto:

All polls are subject to sampling errors, so two polls taken under identical conditions will vary by a highly predictable amount. That variation depends on the sample size (and sample design) and the variability in the population. Polls also vary due to non-sampling errors. These come from question wording, order of questions in the survey, "house" effects due to different procedures across polling organizations, response errors and "everything else" that can lead to error in a poll. The combination of sampling and non-sampling error is often referred to as "total survey error". The problem is that we have well established formulas for calculating sampling error, but the modeling of non-sampling errors is much harder and lacks the formal properties that sampling errors possess. Sampling error reflects the variation in polls we'd find if there were no non-sampling errors. Total survey error reflects the actual variability we see.
(...)
Every polling organization can produce results that are outliers. What is important is spotting them and putting them in proper perspective. That is far more desirable than suppressing the results or pointing to them as examples of "bias". What matters is performance over the long term, not in any single sample.

by Pedro Magalhães

Marktest, Presidenciais, 20 de Dezembro

Posted December 20th, 2005 at 10:48 am4 Comments

Divulgada hoje a sondagem Marktest para o DN e a TSF:



A evolução da média móvel das últimas três sondagens fica assim:



Em relação às sondagens anteriores, duas confirmações: uma sobre tendências, e outra sobre a impossibilidade de inferências.

A tendência já tinha sido assinalada aqui e aqui: a subida de Soares e a descida de Alegre. Ela vê-se na comparação das sondagens Aximage entre si (Alegre de 19% para 14%, Soares de 12% para 17%), Eurosondagem (Alegre de 16,9% para 12,5%, Soares de 18% para 20,4%) e, agora, Marktest (Alegre de 19% para 16,2%, Soares de 13% para 14,8%). É demasiada regularidade para ser coincidência.

A impossibilidade de inferência já tinha sido assinalada aqui: "em rigor, acho que ninguém pode dizer com segurança quem recolhe, neste momento, mais intenções válidas de voto, Alegre ou Soares." É certo que, se a tendência anterior continuar, esta questão poderá resolver-se em breve. Mas as diferenças entre os resultados dos diferentes institutos continuam a ser muito grandes e, nalguns casos, em sentidos contraditórios, para além do facto de esta sondagem da Marktest ser, das cinco sondagens mais recentes, a terceira que coloca os dois candidatos a uma diferença inferior à margem de erro amostral.

Lá em "cima", tudo na mesma...

by Pedro Magalhães

Antes da gritaria

Posted December 19th, 2005 at 4:34 pm4 Comments

O que fazer quando uma sondagem apresenta um resultado desviante em relação à maioria dos restantes estudos publicados? Em Portugal, grita-se muito. Noutros sítios, estuda-se e trabalha-se. Dois exemplos da segunda modalidade, aqui, no sítio cada vez mais do costume, e aqui, num que vai passar a ser. Vou ver se aprendo mais qualquer coisa.

by Pedro Magalhães

Ainda sobre a última sondagem

Posted December 19th, 2005 at 11:24 am4 Comments

Pergunta-se no Insurgente:

Será lícito dar conhecimento antecipado a terceiros de uma sondagem encomendada por entidades privadas (SIC, Expresso e Rádio Renascença)?

Não sendo jurista, a minha interpretação é esta:

1. Quando a sondagem eleitoral é realizada para "pessoas colectivas públicas ou sociedades de capitais exclusiva ou maioritariamente públicos", dar conhecimento dos resultados e de toda a ficha técnica a "terceiros" (os definidos na lei) é mais do que lícito: é um dever.

Lei 10/2000, Art. 12.º Comunicação da sondagem aos interessados. Sempre que a sondagem de opinião seja realizada para pessoas colectivas públicas ou sociedades de capitais exclusiva ou maioritariamente públicos, as informações constantes da ficha técnica prevista no artigo 6.º devem ser comunicadas aos órgãos, entidades ou candidaturas directamente envolvidos nos resultados apresentados.

2. A lei não contém nem um dever nem uma proibição de divulgação a terceiros de sondagens eleitorais realizadas para entidades privadas. O que terá certamente de suceder sempre é que:
- essa sondagem, se for publicamente divulgada, terá de ter sido previamente depositada na AACS;
- essa sondagem, se for publicamente divulgada, não o pode ser mais do que 15 dias depois da realização do respectivo trabalho de campo.

Lei 10/2000, Art. 5.º Depósito. A publicação ou difusão pública de qualquer sondagem de opinião apenas é permitida após o depósito desta, junto da Alta Autoridade para a Comunicação Social, acompanhada da ficha técnica a que se refere o artigo seguinte.

Lei 10/2000, Art. Artigo 10.º, nº 3: Nos dois meses que antecedem a realização de qualquer acto eleitoral relacionado com os órgãos abrangidos pelo disposto no n.º 1 do artigo 1.º e da votação para referendo nacional, regional ou local, a primeira publicação ou difusão pública de sondagens de opinião deve ocorrer até 15 dias a contar da data em que terminaram os trabalhos de recolha de informação.


3. No entanto, a lei menciona também que "as entidades credenciadas devem garantir que os técnicos que, sob a sua responsabilidade ou por sua conta, realizem sondagens de opinião ou inquéritos e interpretem tecnicamente os resultados obtidos observam os códigos de conduta da profissão internacionalmente reconhecidos," nomeadamente o código de conduta da ESOMAR (que pode ser descarregado aqui). Nesse código diz-se o seguinte:

"20. The following records remain the property of the client and must not be disclosed by the researcher to any third party without the client's permission:
(...)
b) the research data and findings from a marketing research project"

Pelo que se conclui que os resultados de uma sondagem não podem ser transmitidos a terceiros pela empresa/instituto que faz a sondagem sem o consentimento do cliente, mas que, obviamente, o podem ser desde que esse consentimento exista. E que, como é óbvio, podem ser transmitidos pelo cliente a terceiros se assim o entender.

Um elemento adicional: assim que os resultados de uma sondagem começam a circular por redacções de órgãos de comunicação, a probabilidade de que cheguem rapidamente às mãos de partidos ou candidatos é elevadíssima, mesmo que não haja uma decisão da direcção do órgão de comunicação social nesse sentido...

by Pedro Magalhães

Arrumar a casa

Posted December 19th, 2005 at 11:12 am4 Comments

by Pedro Magalhães

Eurosondagem, Presidenciais, 17 Dezembro

Posted December 17th, 2005 at 3:47 pm4 Comments

Cá está ela, fonte de controvérsia antecipada. Foi telefónica, realizada entre 11 e 14 de Dezembro, 2069 inquéritos, selecção aleatória estratificada por região de domicílios e aleatória de inquiridos em cada domicílio.

Cavaco Silva: 55,5%
Mário Soares: 20,4%
Manuel Alegre: 12,5%
Jerónimo de Sousa: 5,7%
Francisco Louçã: 4,8%
Outros:1,1%

Ao que parece, a candidatura da Manuel Alegre decidiu fazer uma participação à Comissão Nacional de Eleições e à Alta Autoridade para a Comunicação Social devido ao facto de, na anterior sondagem, a Eurosondagem não ter contemplado o cenário de desistência dos restantes candidatos de esquerda para Manuel Alegre. O dono da Eurosondagem, Rui Oliveira e Costa, pondera um processo judicial. Mas claro que isto só vem agora ao de cima devido à divulgação desta sondagem, cujos resultados são assim indirectamente contestados por Manuel Alegre (que ontem afirmava à imprensa que a Eurosondagem se "especializa" em colocá-lo em 3ª lugar), numa controvérsia para a qual as declarações algo estranhas de Jorge Coelho (que há dias anunciava o 2º lugar de Mário Soares nas sondagens que seriam divulgadas "nas próximas semanas") terá dado inestimável contributo.

Enfim, a confusão do costume. O que posso dizer é o mesmo que qualquer observador exterior a isto tudo poderia: quando olhamos para os resultados desta sondagem e os confrontamos com as anteriores, não se detecta nada de estranho. Pelo contrário. O que ela faz é, aparentemente, adicionar uma observação confirmatória de uma tendência já anteriormente detectada: a diminuição das intenções válidas de voto em Manuel Alegre e correspondente aumento das intenções válidas de voto em Mário Soares. É isso que as últimas sondagens da Católica e da Intercampus já estavam a dizer (ao colocarem os dois candidatos praticamente empatados, em contraste com quase todas as sondagens anteriores) e que a última da Aximage confirmou (ao colocar já Soares à frente de Alegre). Tanto barulho por nada. Abaixo, podem examinar o gráfico com a média móvel dos resultados das últimas três sondagens para cada candidato:

by Pedro Magalhães

"Nas próximas semanas"…

Posted December 16th, 2005 at 10:42 am4 Comments

Não assisti à Quadratura do Círculo e não encontro transcrições, mas segundo a TSF Jorge Coelho terá invocado "as sondagens já publicadas ou a publicar 'nas próximas semanas' e que colocam o ex-Presidente em segundo lugar" como fundamento da desistência dos restantes candidatos de esquerda.

Confesso que acho censuráveis - e já o escrevi aqui - algumas das acusações de "manipulação" das sondagens que têm emanado da candidatura de Manuel Alegre. Mas quando se fala em "sondagens a publicar nas próximas semanas" como se já se conhecessem os seus resultados, então já não se pode estranhar que Manuel Alegre venha depois falar em "sondagens falsificadas", "jogo sujo" e "manipulação".

Para já não falar do facto de estas declarações serem em si mesmas um erro político, dado que, com elas, Jorge Coelho terá diminuído o potencial impacto favorável à candidatura de Soares da sondagem que deverá sair amanhã, e cujos resultados, na base destas conversas, já todos conseguiremos adivinhar.

Enfim, palavras para quê, são artistas portugueses.

by Pedro Magalhães

Debates e sondagens

Posted December 15th, 2005 at 4:30 pm4 Comments

Há dias, na RTP-N, Manuel Villaverde Cabral lamentava a falta de sondagens que nos pudessem ajudar a aferir o impacto dos debates. Tem toda a razão. E a verdade é que, em rigor, já existem sondagens sobre os debates. Duas, que eu saiba, até ao momento:

1. Eurosondagem, 5 Dezembro, N=769, Telefónica
Quem ganhou o debate Alegre-Cavaco?
Cavaco: 27,3%
Alegre: 15,7%
Não viu/não sabe/não responde: 57%

2. Eurosondagem, 14 Dezembro, N=757, Telefónica
Quem ganhou o debate Alegre-Soares?
Alegre: 20,7%
Soares: 19,3%
Não viu/não sabe/não responde: 60%

Agora não entendam mal o que vou escrever de seguida. Acho que o esforço financeiro feito pela SIC e o esforço técnico feito pela Eurosondagem para conseguirem conduzir trabalhos como estes em tão pouco espaço de tempo merecem elogios. Mas há alguns problemas.

Em primeiro lugar, quando se fazem inferências para a população, estes resultados sugerem que, por exemplo na sondagem do dia 5, pelo menos cerca de 40% dos portugueses com 18 ou mais anos assitiram ao debate Cavaco-Alegre. Isto não é, nem pouco mais ou menos, credível. Segundo os dados da telemetria - extrapolados para o universo - o debate Alegre-Cavaco teve 1,5 milhões de espectadores. Mesmo que todos eles tivessem mais de 18 anos, isto representa menos de 20% do universo relevante. Estas amostras sub-representam os eleitores que não assitistiram aos debates ou (pior) estão a recolher opiniões de pessoas que, de facto, não lhes assistiram.

Partamos do princípio, no entanto, que essa distorção da amostra não representa um enviesamento da distribuição de opiniões válidas. Mas permanece um problema: que conclusões tirar de semelhante informação? Certamente por razões de tempo, a sondagem nada nos diz sobre a composição política, ideológica ou a mera intenção de voto pré-e pós-debate daqueles que nos deram opiniões sobre "quem ganhou". E isto seria crucial para apreciar quaisquer efeitos do debate.

Com medição "pré/pós-debate" poder-se-ia aferir em que medida os inquiridos relatam uma mudança na sua intenção de voto após o debate. E mesmo sem este design mais complicado - que exigiria uma vaga de inquéritos antes do debate e outra depois dele e, provavelmente, não detectaria muitas mudanças declaradas - poder-se-ia pelo menos determinar qual a correlação entre preferências políticas e opiniões sobre o debate.

Por exemplo: se aqueles que declararam ter assistido ao debate Cavaco/Alegre correspondessem ao eleitorado de ambos os candidatos estimado pelas mais recentes sondagens (onde Cavaco tem mais eleitores que Alegre à razão de 3 para 1), um score 27/16 a favor de Cavaco teria sido nada menos que desastroso para o primeiro, dado significar que uma parte significativa daqueles que tenciona(va)m votar Cavaco acharam que Alegre ganhou o debate. Contudo, nada sabemos sobre quem deu opiniões sobre quem ganhou o debate a não ser...quem acham que ganhou o debate.

Por muito que se desejem sondagens, estudos como estes dão uma quantidade de informação insignificante em relação ao custo e esforço que certamente implicam. É certo que produzem um item noticioso, e é provavelmente por isso que são feitas. Mas pouco mais são do que isso. Fazer mais e melhor sai muito mais caro e não creio que os meios de comunicação social portugueses disponham de recursos para tal...

by Pedro Magalhães

Balão de oxigénio para Bush

Posted December 9th, 2005 at 12:20 pm4 Comments

Os números de popularidade de George W. Bush mostram sinais de recuperação ou, pelo menos, sugerem que a sangria dos últimos meses se encontra estancada. Para uma análise sistemática dos últimos resultados vale a pena ir aos sítios do costume: aqui e aqui.

P.S.- Só uma pequena correcção ao Acidental, já que este post foi lá citado. Escreve-se ali que "George Bush está em fase de recuperação de popularidade, nomeadamente no que diz respeito à intervenção no Iraque". A primeira parte é correcta, a segunda não sabemos. Enquanto que a primeira resulta da análise de oito sondagens e mostra uma tendência estatisticamente significativa, a segunda resulta apenas da sondagem CBS, onde, de resto, a taxa de "desaprovação" baixou apenas 3 pontos (dentro, por isso, da margem de erro amostral). Desculpem a minudência mas é só porque tem implicações substantivas: na verdade, um factor muito mais plausível para a inversão na tendência de declínio da popularidade de Bush é, tão só, a baixa no preço dos combustíveis...

by Pedro Magalhães

Um desastre

Posted December 7th, 2005 at 12:05 pm4 Comments

Para ler e meditar, os resultados de seis sondagens conduzidas na Jordânia, Líbano, Marrocos, Arábia Saudita, Egipto e Emiratos Árabes Unidos, sobre a percepção dos cidadãos acerca das motivações da política externa norte-americana em relação ao Médio Oriente, os planos nucleares do Irão, as perspectivas de democratização na região e outros temas relacionados.

Note-se como é praticamente nulo o capital político de que os Estados Unidos dispõem neste momento para aparecerem, aos olhos dos cidadãos no Médio Oriente, como uma potência benigna capaz de promover a democracia e o bem-estar. Alternativa: a França. Em resumo: um desastre.

Sondagens realizadas pela Universidade de Maryland e a Zogby International, aqui (pdf).

by Pedro Magalhães