Pedro Magalhães

Margens de Erro

Tendências

Posted December 26th, 2005 at 2:26 pm4 Comments

É possível, contudo, que parte do que estamos a observar em termos de diferenças entre as sondagens se deva não apenas ao erro amostral ou a discrepâncias entre os instrumentos usados pelos diferentes institutos nos diferentes momentos, mas sim a uma real mudança nas intenções de voto válidas ao longo do tempo (causadas quer por mudanças de intenção de voto de um candidato para outro quer pela "entrada" ou "saída" de indivíduos das categorias de "indecisão" ou "abstenção).

Os gráficos seguintes permitem-nos apreciar visualmente a plausibilidade desta hipótese genérica. Vou manter isto também simples, para benefício de todos incluindo eu próprio, que tenho lacunas importantes de formação técnica quando de trata de analisar séries temporais.

A linha sólida é a que melhor se ajusta aos dados na pressuposição de uma relação linear entre a passagem do tempo e o resultado das sondagens. A vantagem desta análise consiste em que podemos ver até que ponto as diferenças entre sondagens podem ser tratadas mero "ruído" em relação a uma tendência geral. A desvantagem, claro, é a pressuposição de uma relação de linearidade entre a passagem do tempo e as intenções de voto, pressuposição essa que pode ocultar outro tipo de tendências. A curva tracejada resulta de uma regressão polinomial ponderada loess (ou "regressão local") aos dados, em que os pontos da curva são previstos pelas observações imediatamente adjacentes (e não por todas as observações, o que resultaria numa linha igual à da regressão linear). Vantagens e desvantagens são simétricas em relação as associadas à pressuposição de linearidade: sensibilidade a evoluções não lineares, mas excessiva sensibilidade a mudanças de curto prazo e "outliers".


A tendência de subida de Soares desde meados de Outubro é muito clara. A passagem do tempo explica mais de metade da variância nos resultados e, apesar das diferenças claras entre institutos (Eurosondagem sempre mais lisonjeira, Marktest e Aximage sempre menos), a subida é constante para todos.

Alegre desce. Os efeitos da passagem do tempo são menores que no caso de Soares e os dados ajustam-se menos bem à pressuposição de linearidade, mas a tendência está lá e também é estatisticamente significativa.


Jerónimo e Louçã estão estáveis, apesar de, como já sabemos, os resultados de Louçã exibirem maior dispersão. Mas essa dispersão terá de ter outra explicação que não o factor tempo.


Os resultados de Cavaco são os mais intrigantes. Grande dispersão, compreensível tendo em conta as maiores margens de erro. Linearmente, uma descida mas, no máximo, ultra-lenta e, na verdade, carecendo de significância estatística (até agora). Mas grandes outliers: Eurosondagem (em Novembro e agora esta última), Aximage (Outubro e esta última), o IPAM (na sondagem para o Diário de Coimbra). Inconsistência de tendências no interior de cada instituto: descida seguida de subida na Aximage, subida seguida de descida na Eurosondagem, descida seguida de subida na Marktest.

As dúvidas não são resolvidas olhando para os resultados brutos. Em regra, não olho para eles porque creio que há opções técnicas que influenciam dramaticamente a percentagem de indecisos e abstencionistas captados pelas diferentes sondagens, quer entre institutos quer entre sondagens feitas pelos mesmos institutos. Contudo, ignorando isso, a análise deste quadro mostra as "intenções directas" de voto a descerem continuamente na Marktest, a descerem e depois a subirem na Aximage e a subirem para logo depois descerem na Eurosondagem.

Assim, em síntese:
1. Sinais muito claros de subida para Soares, com dispersão grandemente explicada pela passagem do tempo;
2. Sinais claros de descida para Alegre;
3. Estabilidade genérica para Jerónimo e Louçã, mas maior incerteza para o segundo;
4. Incógnita (e, à falta de melhor, estabilidade) para Cavaco.

Em Janeiro voltamos a falar.

by Pedro Magalhães

Dispersão

Posted December 26th, 2005 at 12:49 pm4 Comments

Uma das maneiras de interpretar os resultados de diferentes sondagens é olhar para a sua dispersão. Deste ponto de vista, o analista não faz qualquer pressuposição sobre a existência de efeitos sobre as estimativas resultantes da passagem do tempo, dos eventos políticos ou de qualquer outra dinâmica da campanha. No máximo, pressupõe que esses efeitos são erráticos, impossíveis de determinar ou negligenciáveis em relação às restantes fontes de erro, fontes essas ligadas quer ao facto de se usarem amostras para fazer inferências sobre o universo quer à miríade de factores (questionários usados, ordem das perguntas, etc, etc, etc) que podem produzir erro não amostral. Assim, o analista limita-se a constatar que há estimativas diferentes que resultam da medição da intenção de voto nas presidenciais e interpreta a sua maior ou menor dispersão como medida de uma maior ou menor incerteza acerca das intenções de voto num determinado candidato.

Quero manter isto o mais simples possível, e por isso abordo a questão da dispersão dos resultados para cada candidato consiste calculando simplesmente a amplitude (a diferença entre os resultados máximos e mínimo) e o desvio-padrão (distância em relação ao valor médio dentro da qual se encontram 68% das observações). Como se vê no gráfico seguinte, os resultados que vêm exibindo maior dispersão são os atribuidos pelas sondagens a Cavaco Silva e Mário Soares.
















Contudo, feita assim, a comparação entre os candidatos é enganadora. Por exemplo, seria sempre de esperar que a dispersão obtida para os resultados de Cavaco Silva fosse elevada em comparação com a obtida para os restantes candidatos, dado que a margem de erro amostral é tanto maior quanto mais próximos os resultados estejam de 50%.

Logo, uma maneira melhor de comparar a dispersão dos resultados é comparar aquela que se verifica nos resultados com a que deveria ser esperada se a única fonte de diferenças entre as sondagens fosse a margem de erro amostral. Para esse efeito, calculei a amplitude esperada em torno da estimativa média para cada candidato causada pelo erro amostral para uma amostra de 945 (a média da dimensão das amostras nas 14 sondagens publicadas até ao momento) e, de seguida, dividi a amplitude real por essa amplitude esperada para cada candidato:


Como se interpreta este gráfico? A diferença entre os resultados máximo e mínimo obtidos pelas sondagens para Mário Soares é 2,3 vezes superior ao que seria de esperar caso a única fonte de discrepâncias entre as sondagens fosse o erro amostral. No extremo oposto, temos Jerónimo de Sousa, cujos resultados nas 14 sondagens publicadas até ao momento têm estado quase todos dentro das variações expectáveis tendo em conta o erro amostral.

Por outras palavras: na hipótese de que não se consiga apoiar com os dados disponíveis qualquer teoria plausível sobre como a passagem do tempo está a determinar variações entre os resultados obtidos para cada candidato ou sobre como a utilização de determinadas opções técnicas está a conduzir a enviesamentos em relação à realidade, o maior nível de incerteza existe em relação às intenções válidas de voto em Mário Soares, cujos resultados exibem disparidades muito superiores ao que seria de esperar tendo apenas em conta o erro amostral associado às várias estimativas. Apesar da variação nos resultados de Cavaco Silva ser, em absoluto, igualmente grande, ela é bastante menos significativa, tendo em conta que se estão a estimar resultados mais próximos dos 50%.

by Pedro Magalhães

Actualização

Posted December 26th, 2005 at 12:34 pm4 Comments

Quadro com sondagem SIC/Eurosondagem:



Título da notícia: Vitória à primeira garantida.

É extraordinário como, neste título com apenas quatro palavras, se consegue, pegando numa sondagem feita a um mês da eleição, interpretar a estimativa pontual obtida como indicando um "resultado eleitoral garantido", e ainda por cima não perceber que aquilo que a sondagem diz é que, tendo apenas em conta a margem de erro amostral, a inferência para o universo é que Cavaco terá neste momento entre 49% e 55% de intenções de votos válidas.

by Pedro Magalhães

Sim e sim

Posted December 26th, 2005 at 11:08 am4 Comments

Sobre os efeitos dos debates:

No Blogo Existo:
Como se torna evidente quando ouvimos as pessoas discutir o debate, uma pergunta dessas pode ser entendida de várias maneiras. Eis algumas:
1. Quem acha que revelou maior capacidade de argumentação?
2. Quem acha que foi mais convincente?
3. Quem acha que se defendeu melhor?
4. Quem o convenceu a si?
5. Quem acha que convenceu os outros?
6. Quem conseguiu alterar a seu favor a opinião do eleitorado?

Ontem, logo após o debate, o Director do Público opinou que a vitória táctica foi de Soares, mas a vitória estratégica foi de Cavaco. Entendo perfeitamente o que ele quer dizer, mas fico a pensar como responderia JM Fernandes à sondagem realizada.A ideia de perguntar às pessoas se mudaram de opinião em função do debate parece boa, mas tampouco funciona. Poucas pessoas estarão disponíveis para admitir que um mero debate inflectiu o seu sentido de voto, porque isso fá-las parecer algo volúveis, ou mesmo tontas.


De um leitor do Bloguítica:
Procurando acrescentar um dado adicional à questão, refiro que o resultado de um debate pode alterar-se de dia para dia. Isto é, na noite do debate pode ser um determinado resultado, no dia seguinte outro e assim sucessivamente. Nos estudos que costumo promover, só me "decido" acerca do resultado de um debate (por exemplo) ao fim de 4 ou 5 dias, isto é, enquanto avalio se as opiniões dos inquiridos não foram alteradas por outros acontecimentos. Os resultados vão-se alterando de dia para dia, em parte certamente pelas circunstâncias do próprio estudo, mas em parte também pelos comentários entretanto produzidos, pelas repercussões nos outros media, pelas repetições do best of nas várias televisões. Mas, em parte também porque o racional vai-se sobrepondo ao emocional, isto é, as pessoas deixam de olhar para o debate pelo debate propriamente dito e passam a reflectir sobre o debate em função dos seus objectivos políticos – intenções de voto.

by Pedro Magalhães

Síntese

Posted December 23rd, 2005 at 5:33 pm4 Comments

Apesar das dúvidas, aqui fica o quadro actualizado (hoje à noite será conhecida mais uma, mas atendo-lhe para a semana):



Bom Natal..

by Pedro Magalhães

O debate

Posted December 23rd, 2005 at 5:19 pm4 Comments

Na sondagem da Aximage, cujo universo é o dos eleitores residentes em Portugal em lares com telefone fixo, 82,5% dos inquiridos manifestam uma opinião sobre "quem esteve melhor" no debate Soares/Cavaco (com manifesta vantagem para Cavaco, 58,3% contra 24,1%). A acreditar nos dados da audiometria, que apontam para 14,6% de audiência média, e mesmo contando com o facto de esta última se reportar, suponho, ao total da população (incluindo não eleitores), isto só pode significar que a maioria dos eleitores formou uma opinião sobre quem esteve melhor no debate sem sequer lhe ter assistido. E pensando bem, por que não?

by Pedro Magalhães

As sondagens de hoje: resultados e dúvidas

Posted December 23rd, 2005 at 4:09 pm4 Comments

Foi divulgada ontem uma sondagem da Intercampus para a TVI, seguida de outra hoje da Aximage para o Correio da Manhã. Confesso-vos que eu próprio já não me consigo ler nem ouvir a escrever ou a falar sobre estas coisas, e não estranharei se a vossa paciência já se tiver esgotado há muito. Mas vejamos:

1. Intercampus, TVI, 22 de Dezembro: temos os resultados brutos. Os "não sabe/não responde" e dos "não vou votar" são agregados numa mesma categoria (14,5%). Depois apresentam-se os resultados após uma redistribuição de indecisos onde são tratados como abstencionistas. As minhas contas dão uma diferença de uma décima em dois dos candidatos, mas tudo bem: está tudo claro e bem explicado.

Mais confuso é o tratamento da notícia pela TVI. Escreve-se o seguinte:

De acordo com a sondagem Intercampus/TVI, se as eleições fossem hoje e tendo em conta os indecisos, o candidato da direita venceria com 45,6 por cento dos votos, um resultado que não chega para se eleito Presidente da República.

Bem, mas logo a seguir escreve-se:

Na verdade, e de acordo com a sondagem Intercampus/TVI, retirando os indecisos, Cavaco Silva obtém 53,3 por cento dos votos, um resultado que tendo em conta a margem de erro da sondagem garante a eleição à primeira volta.

Que confusão. Outro problema é que a TVI continua a não informar na ficha técnica como selecciona os locais do país onde escolhe alojamentos, como escolhe esses alojamentos onde faz inquéritos nem como selecciona os inquiridos dentro de cada alojamento, ou seja, não descreve o método de amostragem. Como calculo que não seja nada que não se possa explicar de forma relativamente simples, não seria melhor fazê-lo? Já agora, interpreto "entrevista directa e pessoal" como significando que foi um inquérito face-a-face, presencial. A ser assim, trata-se do primeiro do género divulgado na comunicação social desde que todos os principais candidatos estão confirmados.


2. Aximage, CM, 23 de Dezembro: Temos, na página 8, um gráfico de "tarte" com os resultados brutos, a saber:

Cavaco Silva: 56,5%
Mário Soares: 11,4%
Manuel Alegre: 10,3%
Jerónimo de Sousa: 3,7%
Francisco Louçã: 3,4%
Outros: 0,9%
Indecisos: 13,8%

A soma disto dá 100%. São apresentadas também estimativas para, cito, os "votos sem indecisos". Não se faz menção a qualquer método específico de redistribuição, pelo que a primeira interpretação possível é a de que as percentagens foram recalculadas redistribuindo proporcionalmente os indecisos pelos votos válidos, ou seja, tratando-os como abstencionistas. Os resultados apresentados no jornal são os seguintes:

Cavaco Silva: 61%
Mário Soares: 17,1%
Manuel Alegre: 13,1%
Jerónimo de Sousa: 4%
Francisco Louçã: 3,8%
Outros: 1%

Como se chegou a estes números? Não sei, mas sei outra coisa: de certeza que não foi redistribuindo os 13,8% indecisos proporcionalmente pelas restantes opções. Se assim tivesse sido, os resultados teriam sido estes:

Cavaco Silva: 65,5%
Mário Soares: 13,2%
Manuel Alegre: 11,9%
Jerónimo de Sousa: 4,3%
Francisco Louçã: 3,9%
Outros: 1,0%

Não passa de uma regra de três simples, simples mesmo: no caso de Cavaco, 56,5 está para 86,2 (100-13,8) como x está para 100. X é igual a 56,5*100/86,2=65,5. Para os outros é só repetir a operação. É possível que esteja a ver a coisa mal mas, sinceramente, não creio. Logo, das duas uma: ou a Aximage e/ou o Correio da Manhã se enganaram nas contas, ou usam um método de redistribuição diferente deste, mas que não é explicado.

Vou supor que estamos perante o segundo caso, aceitando como "bons" - respeitando as decisões de quem apresenta os dados - os resultados "sem indecisos" apresentados pelo jornal. Contudo, sendo assim, acho que teria sido melhor ter-se explicado o método de redistribuição de indecisos usado.

E mais uma vez, desculpem o que pode parecer excesso de zelo, mas eu só quero perceber bem o que é feito para obter estes resultados, e assim não se vai lá.

by Pedro Magalhães

Actualização

Posted December 21st, 2005 at 11:33 am4 Comments

Como prometido, a actualização dos resultados na base dos dados que me foram enviados ontem pela Marktest. Para além disso, incluo uma nova sondagem, de cuja publicação não me tinha apercebido, realizada pela GEMEO/IPAM e publicada no Diário de Coimbra.



A evolução da "poll of polls" (média móvel das últimas três sondagens) fica assim:



Sobre os debates:

1. Sondagem Eurosondagem, Telefónica, 780 entrevistas:
Mário Soares: 25%
Cavaco Silva: 23,7%
Não sabe/Não responde/ não assistiu: 51,3%

2. O post do Bloguítica sobre os debates e as sondagens exprime dúvidas sobre a utilidade da informação sobre o "vencedor" do debate, afirmando que o interessante seria saber "independentemente de quem foi o vencedor, na sequência dos debates, no universo dos sondados, quem é que mudou de orientação de voto? Mudou como? Que percentagem?".

Estou completamente de acordo, como aliás se depreende do que escrevi aqui, aqui e aqui. E para que a sondagem fosse mais útil, nem se tratava exactamente de fazer o que diz aqui o Ivan - "estratificar" a amostra por identificação partidária ou posicionamento ideológico - mas, tão só ... de perguntar qual essa identificação e posicionamento. A partir daí, teria sido possível ficar a conhecer que amostra temos desse ponto de vista, e a forma diferencial como a direita e a esquerda e os eleitores dos diversos partidos viram o debate.

Um exemplo, muito simplista mas que pode servir: estes resultados agregados obtidos na sondagem sobre o "vencedor" do debate podem ter acontecido porque a esmagadora maioria dos eleitores do PS e a maior parte dos eleitores sem identificação partidária ou "centristas" deram a vitória a Mário Soares. Isso significaria um excelente resultado para esse candidato, dado que é esse eleitorado que tem tido dificuldade em hegemonizar (os eleitores do PS, havendo uma parte deles que tem afirmado tencionar votar Cavaco) ou sequer atingir (os eleitores sem simpatias partidárias claras).

Mas os mesmos resultados na sondagem podem ter ocorrido apenas porque os actuais eleitores de Soares e dos restantes candidatos de esquerda deram a vitória a Soares por mera hostilidade genérica a Cavaco, sem que isso implique a capacidade de atingir o eleitorado que pode fazer a diferença. Mas nada sabemos sobre isto, porque a sondagem nada mais perguntou, aparentemente, do que "quem ganhou".

Dito isto, é evidente que o resultado, em si mesmo, enquanto facto político, pode não ser destituído de consequências, servindo potencialmente para galvanizar a candidatura de Soares e os seus apoiantes ou, por exemplo, para aumentar a percepção entre os eleitores de esquerda de que é o único adversário viável de Cavaco (minando assim, especialmente, a candidatura de Alegre). Mas isso seria ainda mais difícil de medir e apreciar.

by Pedro Magalhães

Marktest, resultados brutos

Posted December 20th, 2005 at 7:30 pm4 Comments

Neste post, mencionei de passagem que "a Marktest, sempre tão certinha na apresentação completa dos resultados brutos, esqueceu-se de o fazer desta vez."

Recebi dois e-mails, ambos muito amáveis. Um, de Luis Queirós, da Marktest, que me envia a ficha técnica completa depositada na AACS. Outro, de João Fernandes, do DN, onde se me rectifica a informação, dizendo que "os resultados brutos estão no DN".

Das duas uma: ou eu me enganei (e já não tenho comigo o DN para confirmar) ou então não me fiz entender. O que vi no DN foi um gráfico com os resultados brutos, mas não completos, ou seja, faltando-lhes a percentagem de inquiridos que declararam não tencionar votar e que declararam tencionar votar em branco (e/ou nulo). Daí que tenha deixado ambos os campos no meu quadro com um ponto de interrogação.

Desculpem o excesso de zelo, mas só acontece porque a Marktest nos habituou a fichas técnicas impecáveis. Mas é possível que não tenha visto bem. Será?

Seja como for, aqui vai o que faltava:

Não voto: 4,2%
Voto em branco:2,6%

E se quiserem a desgregação dos "ns/nr":

Ns:16,9%
Nr:4,7%

Amanhã actualizo o quadro.

by Pedro Magalhães

Petição

Posted December 20th, 2005 at 3:31 pm4 Comments

O autor deste blogue pede, ou melhor, implora à SIC e à Eurosondagem que, dado terem decido empregar os seus recursos técnicos e financeiros na realização de sondagens após o debates com o fim de determinar quem foi o vencedor, não se esqueçam hoje de colocar alguma pergunta que permita caracterizar e desagregar a amostra do ponto de vista político ou ideológico, de forma a se poder saber, no mínimo dos mínimos, as percepções dos eleitores por identificação partidária, posicionamento ideológico, ou qualquer coisa do género. Aquela coisa da semana passada do "esquerda", "centro-esquerda", etc, já não era mau. É só uma pergunta. Vá lá.

Assinado,
A Gerência

by Pedro Magalhães