Pedro Magalhães

Margens de Erro

Interlúdio 2

Posted January 11th, 2006 at 1:22 pm4 Comments

Bragança, 10 Jan (Lusa) - A mulher do candidato presidencial Mário Soares, Maria Barroso, divulgou hoje em Bragança um caso que considerou "revelador da forma ínvia e desonesta como são feitas algumas sondagens". Maria Barroso falava para apoiantes na sede de candidatura de Mário Soares, admitindo que "alguns estão desanimados porque as sondagens são feitas para desanimar as pessoas".

A mulher do candidato decidiu partilhar com a plateia um caso que disse ter ocorrido há três dias quando uma amiga, professora de Filosofia em Coimbra, lhe telefonou a contar uma "história que parece anedota, mas que é verdadeira". Segundo Maria Barroso, "telefonaram para casa dela a perguntar se havia alguém na faixa etária entre os 30 e os 45 anos". "Ela mandou a funcionária ao telefone e perguntaram-lhe assim: então em quem é que vai votar? Eu vou votar no dr. Mário Soares, que é em quem eu votei sempre. E eles disseram de lá: desculpe, foi engano", contou.

"Isto não se faz, isto é uma desonestidade, é uma forma ínvia de fazer as sondagens. Se dizem que é a favor de um determinado candidato que não é o que eles querem, então dizem que já não tem efeito e que não lhes interessa", acrescentou.

Cada um tira as conclusões que quiser. Mas a mim interessa-me por outras razões: repararam como, inicialmente, o(a) inquiridor(a) aceitou a entrada na amostra de uma "funcionária" que "havia lá", sem indagar se era residente, só pelo facto de preencher a quota? É para verem o que acontece com as quotas...

by Pedro Magalhães

Interlúdio

Posted January 11th, 2006 at 12:33 pm4 Comments

Kadima aguenta após AVC de Sharon. Partido "personalista", "carismático", inteiramente dependente da personalidade de Sharon, queda inevitável? Ah, como Israel é complicado...

by Pedro Magalhães

It ain’t necessarily so…(1)

Posted January 10th, 2006 at 5:20 pm4 Comments

Este post, em duas partes, pode ter duas leituras políticas, que julgo poder antecipar. Haverá quem ache que estou ainda a tentar manter aberta a esperança de uma segunda volta. E haverá quem ache que estou a tentar evitar a desmobilização do eleitorado de Cavaco Silva em face do que pode parecer uma vitória certa. A intenção não é uma nem outra, mas façam como entenderem. A intenção, de facto, é chamar a atenção para os limites das sondagens que conhecemos até agora, quer como instrumentos de descrição do que vem sucedendo ao longo dos últimos meses (neste post) quer como instrumentos de previsão do que vai suceder dia 22 (no post seguinte).

Como instrumentos de descrição, as sondagens que conhecemos têm um problema fundamental: não são suficientemente variadas do ponto de vista técnico e metodológico para nos garantirem que as medições que têm estado a obter são independentes dessas opções técnicas e metodológicas. Note-se, por exemplo, que todas as sondagens usaram inquirição telefónica, com uma única excepção que, mesmo assim, não é para mim inteiramente clara (na ficha técnica da sondagem Intercampus de 22 de Dezembro fala-se em "entrevista pessoal", o que eu interpreto como sendo uma sondagem "face-a-face", mas não estou seguro).

Não quero com isto dizer que haja um problema genérico em fazer sondagens telefónicas (já perorei muitas vezes sobre o assunto aqui, defendendo que, até agora, e ceteris paribus, não é isso que parece fazer a diferença) ou que elas tenham tido até agora um enviesamento intrínseco numa direcção ou noutra. Quero apenas dizer que cada eleição é uma eleição, nunca sabemos se tem características podem fazer com que uma dada opção produza enviesamento, e que ficava muito mais descansado com estes resultados se visse maior variedade de técnicas de inquirição.

Acresce a isto que, quando essas variações metodológicas existem no nosso conjunto de sondagens, o seu impacto parece ser grande. Falo, por exemplo, do contraste entre sondagens que usam informação socio-demográfica para a construção da amostra (quotas) ou ponderação dos resultados (ponderadores) e aquelas que se limitam a confiar na aleatoriedade pura. Nas primeiras, que são a maioria, a média das estimativas para Cavaco, Alegre e Soares é, respectivamente, 59%, 16% e 14%. Nas segundas, é de 53%, 14% e 20%. E se excluirmos as sondagens da Católica - de classificação mais ambígua deste ponto de vista (porque seleccionam inquiridos aleatoriamente mas ponderam os resultados com dados do Censos) - do primeiro grupo, a média fica, respectivamente, 60%, 15% e 14%. São diferenças muito importantes.

É certo que parte destas discrepâncias se poderão atribuir ao facto de as diferentes sondagens serem feitas em momentos diferentes, sendo por isso afectadas pela passagem do tempo. Foi essa a perspectiva que, por exemplo, adoptei aqui, aqui e aqui. E é também verdade que tenho convicções próprias acerca de que sondagens e de que métodos obtêm medições mais fiáveis.

Mas a perspectiva do céptico, que foi a que adoptei aqui, limita-se a constatar diferenças e a interpretá-las como sintomas de incerteza. Neste momento, a amplitude dos resultados de Soares desde finais de Outubro (a diferença entre a estimativa mais baixa e a mais alta) é de 10,7 pontos percentuais, mais de duas vezes superior àquilo que seria de esperar exclusivamente apenas na base do erro amostral. A amplitude dos resultados de Cavaco é de 10,9 pontos percentuais, 1,7 vezes acima do que se poderia esperar na base do erro amostral. É bastante. O céptico só pode sentir-se algo incerto.

by Pedro Magalhães

Actualização, 10 de Janeiro

Posted January 10th, 2006 at 11:51 am4 Comments

Com a sondagem Marktest de ontem o quadro completo fica assim:



Não vou introduzir os resultados das sondagens diárias da Marktest/DN/TSF. É uma tracking poll, o que significa que foge à lógica das anteriores: dia a dia, a base amostral é apenas parcialmente renovada. Vou introduzir sim esses resultados assim que a base amostral tiver sido completamente renovada, ou seja, pelas minhas contas, na sondagem a divulgar esta 6ª feira. Entretanto, os resultados da tracking poll podem ser consultados aqui.

by Pedro Magalhães

Mais questões

Posted January 10th, 2006 at 11:21 am4 Comments

De um e-mail (que me chamou a atenção para o lapso que cometi no post anterior):

Apenas um reparo aos últimos posts, espero que não pareça um preciosismo.Quando se fala da retirada dos indecisos tratando-os como abstencionistas isso na prática é o mesmo que fazer uma distribuição proporcional e não equitativa. Ou seja quando se trata os indecisos como abstencionistas é o mesmo (matematicamente) que dizer que 60% deles votam Cavaco, 16 Alegre, 13 Soares, etc, etc....E por isso mesmo penso que seria pertinente que o Pedro Magalhães se pronunciasse sobre esta distribuição proporcional de indecisos num cenário de candidato consensual (e estabilizado - há cerca de um ano ou mais) à direita em contraponto a uma esquerda espartilhada. Pode ou não este método de estimativa introduzir um erro sistemático? Porque não fazer como a Intercampus, que noticia sempre primeiro os resultados brutos e só depois a estimativa, menorizando assim a estimativa em detrimento dos resultados brutos?

Certíssimo. Enganei-me no post anterior: quando se "eliminam" indecisos, tratando-os como abstencionistas, está-se a redistribuí-los proporcionalmente pelas opções "válidas". Já tinha explicado isto em muitos posts anteriores, mas ontem enganei-me.

Quanto à questão substantiva, diria o seguinte:

Como já disse aqui e aqui, "parece-me plausível a ideia de que a indecisão é maior entre o eleitorado potencial dos candidatos de esquerda, especialmente o eleitorado do PS". A sondagem de Novembro da Católica não confirmava essa ideia, mas a mais recente confirma-a, como sabemos. Como proceder na posse desta informação? Uma hipótese, comum em vários institutos de sondagens noutros países e em eleições legislativas, é usar a simpatia partidária como elemento informativo para a redistribuição. Por exemplo: se eu souber que, em geral, os simpatizantes do PS tendem a votar mais em Alegre e Soares, uso esta informação para redistribuir os simpatizantes do PS que não me dizem em que candidato irão votar, presumindo que se irão redistribuir da mesma forma que aqueles que partilham a mesma identificação psicológica com um partido. Isto, contudo, levanta dois problemas. Por um lado, presume-se assim que a "simpatia partidária" é, em Portugal, um fenómeno fortemente estruturante das atitudes e comportamentos políticos. Por outro lado, presume-se assim que a simpatia partidária é um fenómeno fortemente estruturante do comportamento eleitoral em eleições presidenciais. Tenho, por razões demasiado longas para explicar aqui, fortes dúvidas sobre a validade de cada uma dessas pressuposições.

Logo, a alternativa que achámos - sugerida por um dos colaboradores do CESOP - foi, como expliquei no post anterior, usar uma questão sobre "em que candidato(s) nunca votaria" para não redistribuir votos de indecisos por candidatos em que nos dizem que "nunca votariam". Contudo, como também já expliquei, o resultado dessa operação foi que encontrámos resultados em tudo semelhantes aos anteriores.

Isto não impede que eu ache que esta indecisão actual, fortemente concentrada nos simpatizantes do PS, acabe por se resolver parcialmente, mais tarde ou mais cedo, num voto por um dos candidatos próximos da área socialista. Mas em que números? Com que intensidade? Por qual candidato? Quando estas questões se multiplicam e quando a sua resolução implica aplicarmos pressuposições sobre o comportamento dos eleitores de cuja validade não estamos minimamente certos, devemos recordar-nos do fundamental: a sondagem dá um retrato do momento, e a estimativa deve ter, como função básica, a de mostrar esse retrato de forma que seja comparável a um resultado eleitoral, e não de forma a que procure tudo prever acerca de qual virá a ser esse resultado eleitoral duas semanas depois. É a minha opinião.

E no que respeita à comparação com a Intercampus, penso que há um lapso do leitor: a Intercampus e a Católica fornecem aos seus clientes os resultados brutos e as estimativas. Os clientes divulgam os resultados como entendem, desde que cumpram a lei (ou seja, divulgando ambos), que é, creio, o que fazem, com diferentes destaques. E quanto a dar mais valor aos "resultados brutos", já falei dos problemas que isso levanta muitas vezes neste blogue. Por exemplo, aqui, há cerca de um ano.

by Pedro Magalhães

Dúvidas (com correcção a um anterior lapso meu, a vermelho)

Posted January 9th, 2006 at 3:01 pm4 Comments

Recebidas por e-mail ou colocadas noutros blogues:

1. O nível de confiança é, por norma, complementar da margem de erro; isto é, para o clássico nível de confiança de 95% existe uma margem de erro de 5% e, portanto, uma flutuabilidade dos dados apresentados; a sondagem apresenta para um nível de confiança uma margem de erro de 3,4%.

Importa não confundir o erro amostral com o nível de confiança na base do qual se pode dizer que o erro amostral é x ou y.
"Using a sample of 1000 as an example, the statement could read: the chances are 95% of coming within +/- 3% of a hypothetical survey conducted among all members of the population. This means that 95% of all samples which could possibly be drawn will yield an outcome within 3% of the true percentage among the population."


2. Os inquéritos optam, por norma, por um universo [suponho que aqui se queria dizer "amostra"]de cerca de 1.000 entrevistas validadas para a representação do eleitorado nacional; esta sondagem tem 815 inquéritos válidos.

Desconheço a existência desta "norma". Dependendo dos objectivos- o que se quer medir e a margem de erro amostral que se está disposto a tolerar - uma amostra pode ser muito mais pequena ou muito maior que 1000. Explicação muito técnica aqui, explicações mais simples e com exemplos aqui (powerpoint). A money quote: "for very large populations, 500-700 is usually adequate".


3. Há uma distribuição de indecisos de modo equitativo pelas seis candidaturas e, portanto, beneficia-se artificialmente Cavaco ao dar-lhe, por exemplo, mais indecisos dos que possui e ao minorizar a percentagem de indecisos na área socialista (isto é, Alegre e Soares poderão conseguir muitos mais votos que os assinalados).

Lamento, mas não houve, na sondagem da Católica, uma distribuição de indecisos de modo equitativo. Os indecisos foram colocados perante uma segunda pergunta, onde se lhes pedia que indicassem uma "inclinação de voto" por um dos candidatos. E essas inclinações, se dadas por inquiridos que disseram "ter a certeza" que vão votar, foram contadas como votos efectivos. Os restantes foram distribuídos de modo proporcional (ou seja, tratados como abstencionistas). Tudo isto está, desta vez, bem explicado na notícia do Público, mais do que uma vez. Para além disso, ensaiámos no inquérito uma experiência: perguntar aos indecisos que se recusaram a indicar inclinações "em que candidatos nunca votariam", e usar essa informação para não redistribuir os seus votos por candidatos assim indicados. Os resultados obtidos foram iguais aos anteriores, pelo que se optou por não usar essa informação (para não complicar a apresentação nem mudar de metodologia a meio caminho). Isso não nos impediu de assinalar o facto de haver um número desproporcional de simpatizantes do PS entre os indecisos. Cada um usa essa informação como entender, mas não me peçam para pressupor que todos os indecisos do PS vão votar Soares, Alegre ou de outra maneira qualquer...


4. A distribuição aleatória foi afectada pela significativa taxa de recusas (a edição de hoje já não as trazia) o que introduzir mortalidade na amostra, ou seja, uma nova distribuição não aleatória que afecta a chamada validade interna (e, portanto, inferencial) do estudo (veja-se que os resultados se reportam aos que respondem, não aos que votam ou aos que foram inquiridos), porém, este é um critério recorrente em todas as sondagens.

A obtenção de uma amostra genuinamente aleatória é obviamente afectada pelo facto de inquiridos seleccionados aleatoriamente se recusarem a fazer parte da amostra, assim como pelo facto de não se conseguir inquirir (por ausência) inquiridos seleccionados aleatoriamente. Logo, a amostra não é verdadeiramente aleatória. Isto gera problemas para a qualidade dos dados? Há alternativas? O que se pode fazer? Recomendo a leitura disto (.pdf) e disto (.pdf). As respostas são menos óbvias do que parecem à primeira vista...

5. Numa sondagem em que se proceda à ponderação dos resultados [seja de acordo com a distribuição da população em relação a variáveis sócio-demográficas como idade, sexo, habilitação, etc., ou de acordo com o sentido de voto nas ultimas eleições] será legítimo continuar a pressupor que a margem de erro é a mesma caso essa ponderação não tivesse sido feita?

Não. Os valores de erro amostral pressupõem uma amostra puramente aleatória. Pelas razões explanadas no ponto 4., nenhuma sondagem é verdadeiramente aleatória, mesmo que o tente. Logo, nesses casos, a margem de erro amostral é um mero valor de referência, baseado na dimensão da amostra. Por maioria de razão, nas alternativas - utilização de quotas ou ponderação pós-amostral - aplica-se o mesmo princípio: a margem de erro é apenas um valor de referência, baseado na dimensão da amostra, e não algo que possa ser interpretado como transmitindo a real probabilidade de que os resultados se situem dentro de um dado intervalo. É por isso mesmo que a ficha técnica da Católica não diz que a margem de erro é desta amostra, e sim de uma amostra aleatória.

Assim sendo, porque se usa?

- Porque a lei obriga;

- Porque é uma maneira fácil de transmitir ao leitor as possíveis consequências de diferentes dimensões da amostra;

- Porque a pesquisa mostra que as amostragens por quota tendem a errar na estimação de valores reais dentro das mesmas margens que amostras aleatórias;

- Porque a pesquisa mostra que, quanto maior uma amostra, menor o erro na estimação de valores reais, pelo que o conceito de margem de erro, se bem que possa não ter rigor em termos absolutos, deverá tê-lo em termos relativos (ceteris paribus, quanto maiores as amostras, maior a precisão).

5. Nesta sondagem afirma-se que 52% dos inquiridos eram do sexo feminino. Depois, diz-se que os resultados foram ponderados tendo em conta, entre outras variáveis, o sexo. Ora sendo a percentagem da população do sexo feminino de aproximadamente 52%, não percebo o sentido dessa eventual ponderação.

O facto de, numa amostra, haver tantas mulheres como no universo não significa que elas estejam distribuídas por idades e graus de instrução da mesma forma como no universo. Daí a necessidade de ponderação.

Mandem sempre.

by Pedro Magalhães

Marktest

Posted January 9th, 2006 at 2:55 pm4 Comments

As fichas técnicas das sondagens da Marktest já eram as mais completas de todas as publicadas na comunicação social. Agora temos direito a isto (.pdf). Um estímulo para os outros (nós) darmos ao público o mesmo nível de informação. Por enquanto, eles vão à frente.

Um aspecto importante da sondagem divulgada hoje no DN: é uma "tracking poll". Ou seja: combina os resultados de vários dias consecutivos - digamos, três - e depois, ao juntar os resultados do quatro dia, deita fora os resultados do primeiro.

Para além da leitura atenta da documentação da Marktest, vale a pena ver este site CNN/Gallup onde explicam o que fazem e como se devem ler os resultados.

by Pedro Magalhães

Marktest, Presidenciais, 8 de Janeiro

Posted January 9th, 2006 at 11:47 am4 Comments

O quadro completo dos resultados terá de ficar para amanhã. Para já, temos:

Marktest, 4-7 Janeiro, Telefónica

Votos válidos:
Cavaco Silva:61%
Mário Soares:14,3%
Manuel Alegre:11,5%
Jerónimo de Sousa:6,9%
Francisco Louçã:6,1%

Em relação às duas sondagens anteriores, tinha assinalado algumas aparentes tendências que careceriam de confirmação. Pois ela aqui está:

- subida de Cavaco Silva de 2005 para início de 2006: intenções válidas de voto subiram em relação a anteriores sondagens da Católica (finais de Novembro) e da Marktest (meados de Dezembro), mantendo-se estáveis em relação a última sondagem Aximage (antes do Natal). Se nas próximas sondagens Eurosondagem e Intercampus Cavaco tiver qualquer coisa acima dos 53%, então a tendência de subida vê-se confirmada para além de qualquer dúvida razoável.





















-descida ou, no máximo, estabilização de Mário Soares: intenções válidas de voto em Soares desceram em relação a anteriores sondagens da Católica e da Aximage, para além de ligeira descida em relação a Marktest . Se não desce, pelo menos, parou de subir. Se nas próximas sondagens Eurosondagem ou Intercampus Soares não passar, respectivamente, dos 20% ou dos 18%, a tendência de estabilização (ou descida) confirma-se para além de qualquer dúvida razoável.

by Pedro Magalhães

Divulgações antecipadas

Posted January 7th, 2006 at 5:38 pm4 Comments

Não deve ser fácil para as redacções dos órgãos de comunicação manterem, sequer por poucas horas, confidencialidade sobre dados de sondagens que encomendaram. Um telefonema daqui e dali, a passagem de resultados antecipadamente a candidatos para "obter reacções", e a coisa está feita: dois minutos depois, metade do país já sabe. Poder-se-ia mesmo defender que, nalguns casos, a transmissão dessa informação aos candidatos é uma obrigação legal, se bem que nada seja dito sobre "comunicação prévia":

Lei 10/2000, Art. 12.º Comunicação da sondagem aos interessados. Sempre que a sondagem de opinião seja realizada para pessoas colectivas públicas ou sociedades de capitais exclusiva ou maioritariamente públicos, as informações constantes da ficha técnica prevista no artigo 6.º devem ser comunicadas aos órgãos, entidades ou candidaturas directamente envolvidos nos resultados apresentados.

Um pouco mais estranho é que, dois minutos depois da Antena 1 ter anunciado os resultados, o Diário Digital já tivesse alinhado uma notícia completa sobre o tema, com dados não ainda mencionados pela Antena 1, e cujo texto reproduz em vários pontos, ipsis verbis, o relatório de análise dos dados enviado pela Católica à RDP, RTP e Público. Isto significa que alguém do Diário Digital teve acesso a esse relatório. Como? Não faço ideia. Mas nada disto tem grande importância. Se os órgãos de comunicação que encomendam sondagens não conseguem mantê-las sob embargo, o problema é deles e nosso para resolver.

O problema é outro. Quem nos garante que os dados divulgados antecipadamente por outros órgãos de comunicação ou por blogues são os correctos? Quem nos garante que não são postos a circular dados falsos, como meros fins de desinformação? A mim, por exemplo, meia-hora antes do fecho das urnas nas autárquicas, juraram-me a pés juntos que a Eurosondagem ia dar o Carrilho à frente do Carmona na sondagem à boca das urnas da SIC. A coisa cheirava a esturro à distância, mas pode haver casos menos claros. Nos Estados Unidos, por exemplo, vários blogues colocaram durante a tarde do dia das eleições resultados brutos parciais das sondagens à boca das urnas que davam a vitória a Kerry, mesmo antes das necessárias análises e ponderações finais que sempre se têm de fazer. Estão a imaginar o que sucederia, no próximo dia 22, se blogues como o Mau Tempo no Canil começassem a dar resultados parciais de sondagens à boca das urnas porque alguém lhos transmitiu ao telefone, e blogues como o Acidental começassem a amplificar essa notícias porque "a informação já circulava" ou porque "não é só o Jorge Coelho que tem direito" ? Não me parece grande ideia.

Mas o Francisco Trigo de Abreu está mais do que perdoado. Primeiro, porque a quem ele tem de pedir desculpas é a quem lhe lê o blogue, e não a mim (se bem que eu também seja leitor). E segundo, porque quem tem um filho chamado Joaquim, como o meu, dispõe de indulgência automática aqui do Margens de Erro.

by Pedro Magalhães

Tendências, 2ª parte

Posted January 7th, 2006 at 4:41 pm4 Comments

Neste post, apresentei os resultados das sondagens conduzidas desde Outubro até ao Natal de forma a se poderem detectar tendências de mudança, caso existissem. Na altura, disse que havia duas maneiras de o fazer: presumindo uma relação linear entre a passagem do tempo e os resultados (o que poderia ocultar outro tipo de oscilações e tendências não lineares) e aplicando uma regressão polinomial ponderada (ou "regressão local") aos dados, sensível a evoluções não lineares. O que sucede quando se fazem as mesmas análises às sondagens, acrescentado agora os resultados das duas primeiras sondagens de 2006 (Católica e Aximage)?

Cavaco Silva:

Em 2006, subida, aferida pelas sondagens Católica e Aximage, compensando assim anterior descida mostrada pela Eurosondagem e pela Intercampus. O facto de estas diferentes tendências serem mostradas por sondagens de diferentes institutos sugere a possibilidade de que subidas e descidas sejam,na realidade, inexistentes , reflectindo apenas diferentes opções técnicas. Contudo, o facto da Católica colocar Cavaco nos 60% é intrigante, porque se é verdade que a Aximage tem dado valores acima da média a Cavaco, o mesmo não sucedeu, até agora, com a Católica.

Mário Soares:



Se fosse só a Aximage, poder-se-ia atribuir isto ao acaso. Se fosse só a Católica, idem. Mas ambas as sondagens mostram Soares a ver interrompida a sua constante ascensão até ao Natal. É preciso mais sondagens para validar esta nova tendência que, como se verifica, é invisível quando se pressupõe uma relação linear entre o tempo e os resultados. Mas será essa relação linear? É sempre arriscado avançar teorias após as observações, mas pensemos um pouco. Será que a imagem de Soares que ficou dos debates, assim que a poeira assentou, lhe foi favorável? Será que as altas expectativas depositadas pelos seus apoiantes nos debates foram satisfeitas? Terá sido o ataque aos meios de comunicação social logo no início do ano uma estratégia sensata?

Manuel Alegre:

O facto de Alegre surgir à frente de Soares na sondagem Católica pode trazer alguma satisfação aos seus apoiantes, mesmo sabendo que a diferença entre um e outro nessa sondagem é inferior à margem de erro amostral. O que já não pode trazer satisfação é que nem esse resultado serve para inverter a tendência desde Outubro, que continua a ser de descida. A não se que a sondagem Aximage tenha estado muito ao lado, a sondagem da Católica não chega para validar uma forte convicção de que essa tendência foi estancada.


Jerónimo de Sousa:

Com uns resultados melhores e outros piores, Jerónimo de Sousa é, no entanto, o candidato cujas intenções válidas de voto têm permanecido mais estáveis.

Francisco Louçã:

Quase indistinguível de Jerónimo de Sousa, se bem que com maior instabilidade. Nada de novo.


Temos assim duas novas hipóteses levantadas pelas duas sondagens mais recentes: a de que Cavaco subiu na passagem de 2005 para 2006, e a de que Soares perdeu o gás na mesma altura. Aguardemos por mais sondagens para vermos se estas hipóteses se confirmam.

by Pedro Magalhães