Pedro Magalhães

Margens de Erro

Actualização

Posted December 26th, 2005 at 12:34 pm4 Comments

Quadro com sondagem SIC/Eurosondagem:



Título da notícia: Vitória à primeira garantida.

É extraordinário como, neste título com apenas quatro palavras, se consegue, pegando numa sondagem feita a um mês da eleição, interpretar a estimativa pontual obtida como indicando um "resultado eleitoral garantido", e ainda por cima não perceber que aquilo que a sondagem diz é que, tendo apenas em conta a margem de erro amostral, a inferência para o universo é que Cavaco terá neste momento entre 49% e 55% de intenções de votos válidas.

by Pedro Magalhães

Sim e sim

Posted December 26th, 2005 at 11:08 am4 Comments

Sobre os efeitos dos debates:

No Blogo Existo:
Como se torna evidente quando ouvimos as pessoas discutir o debate, uma pergunta dessas pode ser entendida de várias maneiras. Eis algumas:
1. Quem acha que revelou maior capacidade de argumentação?
2. Quem acha que foi mais convincente?
3. Quem acha que se defendeu melhor?
4. Quem o convenceu a si?
5. Quem acha que convenceu os outros?
6. Quem conseguiu alterar a seu favor a opinião do eleitorado?

Ontem, logo após o debate, o Director do Público opinou que a vitória táctica foi de Soares, mas a vitória estratégica foi de Cavaco. Entendo perfeitamente o que ele quer dizer, mas fico a pensar como responderia JM Fernandes à sondagem realizada.A ideia de perguntar às pessoas se mudaram de opinião em função do debate parece boa, mas tampouco funciona. Poucas pessoas estarão disponíveis para admitir que um mero debate inflectiu o seu sentido de voto, porque isso fá-las parecer algo volúveis, ou mesmo tontas.


De um leitor do Bloguítica:
Procurando acrescentar um dado adicional à questão, refiro que o resultado de um debate pode alterar-se de dia para dia. Isto é, na noite do debate pode ser um determinado resultado, no dia seguinte outro e assim sucessivamente. Nos estudos que costumo promover, só me "decido" acerca do resultado de um debate (por exemplo) ao fim de 4 ou 5 dias, isto é, enquanto avalio se as opiniões dos inquiridos não foram alteradas por outros acontecimentos. Os resultados vão-se alterando de dia para dia, em parte certamente pelas circunstâncias do próprio estudo, mas em parte também pelos comentários entretanto produzidos, pelas repercussões nos outros media, pelas repetições do best of nas várias televisões. Mas, em parte também porque o racional vai-se sobrepondo ao emocional, isto é, as pessoas deixam de olhar para o debate pelo debate propriamente dito e passam a reflectir sobre o debate em função dos seus objectivos políticos – intenções de voto.

by Pedro Magalhães

Síntese

Posted December 23rd, 2005 at 5:33 pm4 Comments

Apesar das dúvidas, aqui fica o quadro actualizado (hoje à noite será conhecida mais uma, mas atendo-lhe para a semana):



Bom Natal..

by Pedro Magalhães

O debate

Posted December 23rd, 2005 at 5:19 pm4 Comments

Na sondagem da Aximage, cujo universo é o dos eleitores residentes em Portugal em lares com telefone fixo, 82,5% dos inquiridos manifestam uma opinião sobre "quem esteve melhor" no debate Soares/Cavaco (com manifesta vantagem para Cavaco, 58,3% contra 24,1%). A acreditar nos dados da audiometria, que apontam para 14,6% de audiência média, e mesmo contando com o facto de esta última se reportar, suponho, ao total da população (incluindo não eleitores), isto só pode significar que a maioria dos eleitores formou uma opinião sobre quem esteve melhor no debate sem sequer lhe ter assistido. E pensando bem, por que não?

by Pedro Magalhães

As sondagens de hoje: resultados e dúvidas

Posted December 23rd, 2005 at 4:09 pm4 Comments

Foi divulgada ontem uma sondagem da Intercampus para a TVI, seguida de outra hoje da Aximage para o Correio da Manhã. Confesso-vos que eu próprio já não me consigo ler nem ouvir a escrever ou a falar sobre estas coisas, e não estranharei se a vossa paciência já se tiver esgotado há muito. Mas vejamos:

1. Intercampus, TVI, 22 de Dezembro: temos os resultados brutos. Os "não sabe/não responde" e dos "não vou votar" são agregados numa mesma categoria (14,5%). Depois apresentam-se os resultados após uma redistribuição de indecisos onde são tratados como abstencionistas. As minhas contas dão uma diferença de uma décima em dois dos candidatos, mas tudo bem: está tudo claro e bem explicado.

Mais confuso é o tratamento da notícia pela TVI. Escreve-se o seguinte:

De acordo com a sondagem Intercampus/TVI, se as eleições fossem hoje e tendo em conta os indecisos, o candidato da direita venceria com 45,6 por cento dos votos, um resultado que não chega para se eleito Presidente da República.

Bem, mas logo a seguir escreve-se:

Na verdade, e de acordo com a sondagem Intercampus/TVI, retirando os indecisos, Cavaco Silva obtém 53,3 por cento dos votos, um resultado que tendo em conta a margem de erro da sondagem garante a eleição à primeira volta.

Que confusão. Outro problema é que a TVI continua a não informar na ficha técnica como selecciona os locais do país onde escolhe alojamentos, como escolhe esses alojamentos onde faz inquéritos nem como selecciona os inquiridos dentro de cada alojamento, ou seja, não descreve o método de amostragem. Como calculo que não seja nada que não se possa explicar de forma relativamente simples, não seria melhor fazê-lo? Já agora, interpreto "entrevista directa e pessoal" como significando que foi um inquérito face-a-face, presencial. A ser assim, trata-se do primeiro do género divulgado na comunicação social desde que todos os principais candidatos estão confirmados.


2. Aximage, CM, 23 de Dezembro: Temos, na página 8, um gráfico de "tarte" com os resultados brutos, a saber:

Cavaco Silva: 56,5%
Mário Soares: 11,4%
Manuel Alegre: 10,3%
Jerónimo de Sousa: 3,7%
Francisco Louçã: 3,4%
Outros: 0,9%
Indecisos: 13,8%

A soma disto dá 100%. São apresentadas também estimativas para, cito, os "votos sem indecisos". Não se faz menção a qualquer método específico de redistribuição, pelo que a primeira interpretação possível é a de que as percentagens foram recalculadas redistribuindo proporcionalmente os indecisos pelos votos válidos, ou seja, tratando-os como abstencionistas. Os resultados apresentados no jornal são os seguintes:

Cavaco Silva: 61%
Mário Soares: 17,1%
Manuel Alegre: 13,1%
Jerónimo de Sousa: 4%
Francisco Louçã: 3,8%
Outros: 1%

Como se chegou a estes números? Não sei, mas sei outra coisa: de certeza que não foi redistribuindo os 13,8% indecisos proporcionalmente pelas restantes opções. Se assim tivesse sido, os resultados teriam sido estes:

Cavaco Silva: 65,5%
Mário Soares: 13,2%
Manuel Alegre: 11,9%
Jerónimo de Sousa: 4,3%
Francisco Louçã: 3,9%
Outros: 1,0%

Não passa de uma regra de três simples, simples mesmo: no caso de Cavaco, 56,5 está para 86,2 (100-13,8) como x está para 100. X é igual a 56,5*100/86,2=65,5. Para os outros é só repetir a operação. É possível que esteja a ver a coisa mal mas, sinceramente, não creio. Logo, das duas uma: ou a Aximage e/ou o Correio da Manhã se enganaram nas contas, ou usam um método de redistribuição diferente deste, mas que não é explicado.

Vou supor que estamos perante o segundo caso, aceitando como "bons" - respeitando as decisões de quem apresenta os dados - os resultados "sem indecisos" apresentados pelo jornal. Contudo, sendo assim, acho que teria sido melhor ter-se explicado o método de redistribuição de indecisos usado.

E mais uma vez, desculpem o que pode parecer excesso de zelo, mas eu só quero perceber bem o que é feito para obter estes resultados, e assim não se vai lá.

by Pedro Magalhães

Actualização

Posted December 21st, 2005 at 11:33 am4 Comments

Como prometido, a actualização dos resultados na base dos dados que me foram enviados ontem pela Marktest. Para além disso, incluo uma nova sondagem, de cuja publicação não me tinha apercebido, realizada pela GEMEO/IPAM e publicada no Diário de Coimbra.



A evolução da "poll of polls" (média móvel das últimas três sondagens) fica assim:



Sobre os debates:

1. Sondagem Eurosondagem, Telefónica, 780 entrevistas:
Mário Soares: 25%
Cavaco Silva: 23,7%
Não sabe/Não responde/ não assistiu: 51,3%

2. O post do Bloguítica sobre os debates e as sondagens exprime dúvidas sobre a utilidade da informação sobre o "vencedor" do debate, afirmando que o interessante seria saber "independentemente de quem foi o vencedor, na sequência dos debates, no universo dos sondados, quem é que mudou de orientação de voto? Mudou como? Que percentagem?".

Estou completamente de acordo, como aliás se depreende do que escrevi aqui, aqui e aqui. E para que a sondagem fosse mais útil, nem se tratava exactamente de fazer o que diz aqui o Ivan - "estratificar" a amostra por identificação partidária ou posicionamento ideológico - mas, tão só ... de perguntar qual essa identificação e posicionamento. A partir daí, teria sido possível ficar a conhecer que amostra temos desse ponto de vista, e a forma diferencial como a direita e a esquerda e os eleitores dos diversos partidos viram o debate.

Um exemplo, muito simplista mas que pode servir: estes resultados agregados obtidos na sondagem sobre o "vencedor" do debate podem ter acontecido porque a esmagadora maioria dos eleitores do PS e a maior parte dos eleitores sem identificação partidária ou "centristas" deram a vitória a Mário Soares. Isso significaria um excelente resultado para esse candidato, dado que é esse eleitorado que tem tido dificuldade em hegemonizar (os eleitores do PS, havendo uma parte deles que tem afirmado tencionar votar Cavaco) ou sequer atingir (os eleitores sem simpatias partidárias claras).

Mas os mesmos resultados na sondagem podem ter ocorrido apenas porque os actuais eleitores de Soares e dos restantes candidatos de esquerda deram a vitória a Soares por mera hostilidade genérica a Cavaco, sem que isso implique a capacidade de atingir o eleitorado que pode fazer a diferença. Mas nada sabemos sobre isto, porque a sondagem nada mais perguntou, aparentemente, do que "quem ganhou".

Dito isto, é evidente que o resultado, em si mesmo, enquanto facto político, pode não ser destituído de consequências, servindo potencialmente para galvanizar a candidatura de Soares e os seus apoiantes ou, por exemplo, para aumentar a percepção entre os eleitores de esquerda de que é o único adversário viável de Cavaco (minando assim, especialmente, a candidatura de Alegre). Mas isso seria ainda mais difícil de medir e apreciar.

by Pedro Magalhães

Marktest, resultados brutos

Posted December 20th, 2005 at 7:30 pm4 Comments

Neste post, mencionei de passagem que "a Marktest, sempre tão certinha na apresentação completa dos resultados brutos, esqueceu-se de o fazer desta vez."

Recebi dois e-mails, ambos muito amáveis. Um, de Luis Queirós, da Marktest, que me envia a ficha técnica completa depositada na AACS. Outro, de João Fernandes, do DN, onde se me rectifica a informação, dizendo que "os resultados brutos estão no DN".

Das duas uma: ou eu me enganei (e já não tenho comigo o DN para confirmar) ou então não me fiz entender. O que vi no DN foi um gráfico com os resultados brutos, mas não completos, ou seja, faltando-lhes a percentagem de inquiridos que declararam não tencionar votar e que declararam tencionar votar em branco (e/ou nulo). Daí que tenha deixado ambos os campos no meu quadro com um ponto de interrogação.

Desculpem o excesso de zelo, mas só acontece porque a Marktest nos habituou a fichas técnicas impecáveis. Mas é possível que não tenha visto bem. Será?

Seja como for, aqui vai o que faltava:

Não voto: 4,2%
Voto em branco:2,6%

E se quiserem a desgregação dos "ns/nr":

Ns:16,9%
Nr:4,7%

Amanhã actualizo o quadro.

by Pedro Magalhães

Petição

Posted December 20th, 2005 at 3:31 pm4 Comments

O autor deste blogue pede, ou melhor, implora à SIC e à Eurosondagem que, dado terem decido empregar os seus recursos técnicos e financeiros na realização de sondagens após o debates com o fim de determinar quem foi o vencedor, não se esqueçam hoje de colocar alguma pergunta que permita caracterizar e desagregar a amostra do ponto de vista político ou ideológico, de forma a se poder saber, no mínimo dos mínimos, as percepções dos eleitores por identificação partidária, posicionamento ideológico, ou qualquer coisa do género. Aquela coisa da semana passada do "esquerda", "centro-esquerda", etc, já não era mau. É só uma pergunta. Vá lá.

Assinado,
A Gerência

by Pedro Magalhães

Notas soltas sobre a sondagem Marktest

Posted December 20th, 2005 at 2:59 pm4 Comments

Algumas notas adicionais sobre esta sondagem, aproveitando comentários que já circulam na blogosfera:

1. Quem por aqui passa sabe que raramente cito as sondagens presidenciais que vão sendo divulgadas. Trata-se de uma questão de prudência e nada mais. Não posso, no entanto, deixar de ecoar os resultados da mais recente sondagem DN/TSF que dá 16% a Manuel Alegre e 13% a Mário Soares (Lusa, 20.12.2005).Depois dos polémicos -- ou talvez não, veremos... -- valores da Eurosondagem de Rui Oliveira e Costa, resta aguardar pelos próximos resultados, desta vez julgo que fornecidos pela sondagem da Universidade Católica (in Bloguítica)

Por lapso, o Paulo Gorjão colocou resultados errados no seu post. Os correctos são, arrendondando, 16% para Manuel Alegre e 15% para Mário Soares. Quanto ao resto, não creio que a sondagem da Católica seja a próxima a ser divulgada: em princípio, segundo entendi na SIC Notícias na passada 6ª feira, haverá mais uma sondagem no Expresso no próximo Sábado. E A Católica é depois disso...


2. Os números em bruto desta sondagem mostram uma subida do número de indecisos, que este mês atingem 21,6% dos inquiridos (in Super Mário).

Não creio que esses valores sejam comparáveis aos da sondagem anterior. A sondagem anterior foi feita no quadro do Barómetro Marktest, um inquérito longo que, imagino, gera uma elevada taxa de recusas à partida - recusas de inquiridos em fazerem parte da amostra - e que, por isso, surge com um baixa percentagem de inquiridos "ns/nr" (porque muitos já foram excluídos à partida). Esta sondagem, pelo contrário, parece ser, pela ficha técnica, uma sondagem curta e dedicada exclusivamente ao tema "presidenciais". Isso deverá ter levado a uma maior taxa de resposta ao inquérito mas, depois, a uma comparativamente mais elevada percentagem de inquiridos que recusam responder à pergunta sobre intenção de voto. É a minha suposição, mas só a Marktest poderá responder cabalmente a isto. Já agora, a Marktest, sempre tão certinha na apresentação completa dos resultados brutos, esqueceu-se de o fazer desta vez...

3. Discrepâncias entre sondagens, para aqueles que com elas se inquietam. A minha sugestão é que leiam o que se segue, se puderem várias vezes, e assim escusam de me ouvir perorar novamente - e com muito menos competência - sobre o assunto:

All polls are subject to sampling errors, so two polls taken under identical conditions will vary by a highly predictable amount. That variation depends on the sample size (and sample design) and the variability in the population. Polls also vary due to non-sampling errors. These come from question wording, order of questions in the survey, "house" effects due to different procedures across polling organizations, response errors and "everything else" that can lead to error in a poll. The combination of sampling and non-sampling error is often referred to as "total survey error". The problem is that we have well established formulas for calculating sampling error, but the modeling of non-sampling errors is much harder and lacks the formal properties that sampling errors possess. Sampling error reflects the variation in polls we'd find if there were no non-sampling errors. Total survey error reflects the actual variability we see.
(...)
Every polling organization can produce results that are outliers. What is important is spotting them and putting them in proper perspective. That is far more desirable than suppressing the results or pointing to them as examples of "bias". What matters is performance over the long term, not in any single sample.

by Pedro Magalhães

Marktest, Presidenciais, 20 de Dezembro

Posted December 20th, 2005 at 10:48 am4 Comments

Divulgada hoje a sondagem Marktest para o DN e a TSF:



A evolução da média móvel das últimas três sondagens fica assim:



Em relação às sondagens anteriores, duas confirmações: uma sobre tendências, e outra sobre a impossibilidade de inferências.

A tendência já tinha sido assinalada aqui e aqui: a subida de Soares e a descida de Alegre. Ela vê-se na comparação das sondagens Aximage entre si (Alegre de 19% para 14%, Soares de 12% para 17%), Eurosondagem (Alegre de 16,9% para 12,5%, Soares de 18% para 20,4%) e, agora, Marktest (Alegre de 19% para 16,2%, Soares de 13% para 14,8%). É demasiada regularidade para ser coincidência.

A impossibilidade de inferência já tinha sido assinalada aqui: "em rigor, acho que ninguém pode dizer com segurança quem recolhe, neste momento, mais intenções válidas de voto, Alegre ou Soares." É certo que, se a tendência anterior continuar, esta questão poderá resolver-se em breve. Mas as diferenças entre os resultados dos diferentes institutos continuam a ser muito grandes e, nalguns casos, em sentidos contraditórios, para além do facto de esta sondagem da Marktest ser, das cinco sondagens mais recentes, a terceira que coloca os dois candidatos a uma diferença inferior à margem de erro amostral.

Lá em "cima", tudo na mesma...

by Pedro Magalhães