Pedro Magalhães

Margens de Erro

Colecção

Posted May 4th, 2009 at 4:00 pm4 Comments

O CDS-PP e as sondagens

Posted May 4th, 2009 at 11:37 am4 Comments

Eu sei que os partidos e aqueles que com eles simpatizam têm de reagir de qualquer forma a sondagens que pareçam desfavoráveis. Têm de as desvalorizar, especialmente para fins de consumo interno, de forma a aquietar a oposição dentro do partido e não deixar os apoiantes esmorecerem. Tudo isso é perfeitamente compreensível e não costumo comentar. Cada macaco no seu galho.

O problema, contudo, é quando se fazem afirmações que colidem, de forma comprovável, com a realidade. Essas, lamento, não posso deixar passar. Já mencionei um deputado do CDS-PP que imaginou uma sondagem inexistente do CESOP. E agora, quer em comentários abaixo quer em num post de Paulo Pinto Mascarenhas, aparece a ideia de que "a Católica costuma falhar redondamente nas previsões sobre o CDS."

Sugiro que dêem uma vista de olhos no quadro abaixo. Contém, para as eleições mais recentes em que o PP concorreu sozinho e para as quais o CESOP fez sondagens, assim como para todas as legislativas e europeias com as mesmas características:

- as estimativas para o CDS-PP da última sondagem publicada pelo CESOP antes das eleições;
- a média dos resultados das restantes sondagens;
- o resultado do CDS-PP nas eleições;
- o confronto entre as estimativas do CESOP e a média das restantes sondagens com os resultados reais;
- o erro amostral associado às estimativas feitas pelo CESOP para o CDS-PP, tendo em conta a dimensão da amostra e pressupondo aleatoriedade;
- se a estimativa ficou, no confronto com o resultado, dentro do erro amostral.



Quem queira olhar para isto, verificará o seguinte:

1. Em nove eleições consideradas, a estimativa do CESOP esteve cinco vezes abaixo do resultado que o CDS-PP acabou por ter, e quatro vezes acima desse resultado.
2. Em quatro desses cinco vezes que subestimou o resultado do CDS-PP, o CESOP subestimou-o menos que a média das restantes sondagens realizadas para as mesmas eleições.
3. Em duas dessas cinco vezes, a estimativa do CESOP ficou dentro dos limites do erro amostral.

Quer isto dizer que está tudo óptimo para mim? Não. Há quatro dos nove casos que me aborrecem: as legislativas de 2002 e as Europeias de 1999, em que apesar de termos subestimado o CDS-PP menos do que a média das restantes sondagens, as estimativas ficaram fora do erro amostral; Lisboa 2005, em que sobrestimámos a votação no CDS-PP (pouco) mais do que admissível pelo erro amostral ; e as legislativas de 2005, em que subestimámos o CDS-PP mais do que a média das restantes sondagens e fora do erro amostral.

Dito isto, espero que tenha ficado claro que a afirmação "a Católica costuma falhar redondamente nas previsões sobre o CDS" é falsa. Não tem outra classificação possível. Primeiro, porque a Católica não costuma "falhar redondamente" nas "previsões" sobre o CDS. Segundo, porque quando a Católica subestimou o CDS-PP, subestimou-o quase sempre menos que a média das restantes sondagens. Isto não impede que reflictamos sobre a possibilidade de que haja um problema geral na estimação dos votos no CDS-PP, como tive a oportunidade a de discutir aqui há uns anos neste mesmo blogue. Mas isso não autoriza a afirmação citada.

O post aqui fica, como registo, e para aqui farei ligação quando voltar a ouvir o "lapso" (vamos designá-lo com benevolência) do costume. Da maior parte das pessoas que agitam esta ideia, que espero ter mostrado ser comprovadamente falsa, não espero que venham agora a público corrigir as suas afirmações. A não ser de um: Paulo Pinto de Mascarenhas. É o único caso em que vou ficar desapontado se aguardar em vão.
P.S. Diogo Belford Henriques faz várias perguntas sobre este assunto. Primeiro, quer saber os resultados das sondagens do CESOP vários meses antes das eleições de 2002 e 2005. Com todo o gosto. Em ambos os casos, os resultados confirmam a ideia de "late surge" (mas falamos apenas de duas eleições, e ver ponto 4 deste post). Em 2002, as duas sondagens imediatamente anteriores à última davam, respectivamente, 3% e 5%. Em Novembro de 2004, 3%.
Duas notas sobre isto. Primeiro, não tenho dados destes sobre as outras sondagens, pelo que não posso contextualizar isto. Também se passou o mesmo nas outras? Não sei. Segundo, não, este facto não sugere que se deva rever o "método da estimativa". A meses das eleições, quem faz sondagens quer medir intenções e, para além disso, apresentar os resultados de forma comparável aos de uma eleição para esclarecimento dos eleitores. Não quer e não deve "forçar" os resultados para que uma sondagem feita a meses das eleições dê supostamente os resultados que vão ocorrer meses depois, especialmente (ver mais abaixo) quando não faz a mínima ideia sobre como o poderia fazer. Claro que a dias das eleições também quer fazer o mesmo. Mas a diferença é crucial: a dias das eleições, há boas razões para supor que sondagens feitas exactamente ao mesmo tempo hão-de ser afectadas (ou não) pelas mesmas mudanças do eleitorado quando se trata de comparar as suas estimativas com resultados eleitorais. E boas razões para supor que, a dias das eleições, as mudanças que ocorram não serão tão dramáticas como as que podem ocorrer a meses ou mesmo semanas de distância. Daí que, nessas, faça sentido compará-las com resultados eleitorais, exigir-lhes precisão e indagar sobre razões que podem aumentar ou diminuir essa precisão. Nas outras, estas questões não se podem colocar da mesma forma, como o próprio Diogo reconhece.
Em segundo lugar, DBH quer conhecer as freguesias. Mando-lhas por e-mail.
Finalmente, permanece uma confusão que parece resistir a qualquer explicação, mas lá vai outra tentativa. Quando afirma que há um "padrão de subvalorização do resultado de um partido por um método de sondagem" e que "o normal seria questionar o método", DBH ignora o quadro que diz ter lido com júbilo: é que não se descortina um padrão de subvalorização do resultado do partido por razões metodológicas. Há sondagens onde o CDS é subestimado pela generalidade das sondagens, outras onde é sobrestimado. Casos onde sondagens presenciais (como a do CESOP) sobestimaram o CDS e outros onde o subestimaram. Casos onde sondagens telefónicas fizeram uma coisa ou outra. Etc, etc, etc. Eu gostava de saber o que está por detrás destes padrões, mas a não ser que me esteja a escapar algo, são erráticos.
As únicas coisas claras são:
1. Há mais casos onde as sondagens subestimaram o CDS-PP do que casos em que o tenham sobrestimado. É sobre isto que falava no post citado por DBH. Desconheço as razões. E como desconheço, não posso, nem ninguém em seu perfeito juízo pode, fazer correcções ad hoc para um fenómeno que é, de resto, muito menos frequente do que DBH sugere.
2. Quando há subestimação, o CESOP subestima quase sempre menos que a média das restantes,e várias vezes o faz dentro do erro amostral (ou seja, não se pode falar, nesse caso, de qualquer tipo de subestimação "real"). É isto, de resto, que mais me aborrece na leviandade dos comentários feitos por algumas pessoas do CDS-PP.
Repito: compreendo perfeitamente a frustração de alguém que trabalha num partido e se vê perante uma sondagem desfavorável. Mas o máximo que se pode pedir a quem faz sondagens é que use os melhores métodos que conhece para dizer ao público quais são as intenções de voto do eleitorado e outras opiniões prevalecentes num dado momento. Não se pode exigir que responda às frustrações dos partidos introduzindo correcções cegas e inadequadas em face de um track record passado e que não fornece suficiente informação, nem que queira, com sondagens, prever os resultados de uma eleição a um mês ou mais de distância.
E já agora, de outro ponto de vista: para quê tanto dramatismo? Se há sinais de que pode ter existido um late surge nas duas legislativas mais recentes é porque uma mera sondagem não teve os efeitos tão bombásticos que DBH lhe atribui. Ao dramatizarem agora este assunto e ao chamarem a atenção para ele, por vezes de forma tão evidentemente incorrecta e manipulativa (não é o caso do seu post, que agradeço), não estarão algumas pessoas do CDS-PP a criar precisamente aquilo que gostariam de evitar?
Desculpem a resposta tão longa. Sobre isto, estou convencido que não há mais a dizer da minha parte.

by Pedro Magalhães

Base de dados sobre estimativas eleitorais

Posted May 4th, 2009 at 11:36 am4 Comments

Foi actualizada, aqui ao lado.

by Pedro Magalhães

Estimativas mensais, controlados "house effects"

Posted May 4th, 2009 at 11:36 am4 Comments


by Pedro Magalhães

Estimativas de resultados eleitorais

Posted May 4th, 2009 at 11:35 am4 Comments


by Pedro Magalhães

Europeias e legislativas.

Posted May 4th, 2009 at 7:09 am4 Comments

Num comentário a um post abaixo, uma questão muito interessante. "Não é estranho que o resultado da sondagem CESOP para as legislativas seja tão parecido com o resultado das europeias?"

A minha primeira reacção, automática, quando olhei para os resultados pela primeira vez, foi pensar que sim. Fiquei a matutar nas razões. Por um lado, como vimos, são raros os eleitores que conhecem os cabeças de lista ou a data das eleições. É perfeitamente possível que, nesta fase, estejam a responder à pergunta das europeias da mesma forma que responderiam a uma pergunta sobre legislativas. Isto pode vir a dissipar-se com o tempo, à medida que a eleição se tornar mais "sobre as europeias" ou, pelo menos, sobre os cabeças de lista. Acresce a isto que as duas perguntas foram feitas no mesmo inquérito às mesmas pessoas. Houve uma separação clara entre elas, e a pergunta sobre as europeias foi prececida de uma série de estímulos específicos sobre essas eleições. Mas não se pode excluir a possibilidade de "contaminação".

Mas depois lembrei-me de que esta eleição europeia é atípica, no sentido em que se dá no final do ciclo eleitoral das legislativas. Já se sabe que isso costuma implicar uma punição menor para os grandes partidos em geral e para o governo em particular. Em Portugal é também assim, pelo menos a julgar pelo único caso em que as europeias precederam as legislativas por poucos meses, em 1999. E quais foram os resultados nessas duas eleições?

Europeias, Junho de 1999:
PS: 43,1%
PSD: 31,1%
PCP-PEV: 10,3%
CDS-PP: 8,2%
BE: 1,8%

Legislativas, Outubro de 1999:
PS: 44,1%
PSD: 32,3%
PCP-PEV: 9,0%
CDS-PP: 8,3%
BE: 2,4%

Olhando para isto, e mesmo (ou especialmente) tendo em conta que os níveis de participação eleitoral foram muito diferentes (61% nas legislativas, 40% nas europeias), a minha preocupação agora é que os resultados das sondagens possam não ter sido suficientemente semelhantes...

by Pedro Magalhães

Legislativas. CESOP/Católica, 25-26 Abril, N=1244, Presencial.

Posted May 4th, 2009 at 7:06 am4 Comments

PS: 41%
PSD: 34%
BE: 12%
CDU: 7%
CDS-PP: 2%
OBN: 4%

Mais detalhes aqui.

Em grande medida, esta sondagem CESOP/Católica mostra continuidades com o estudo anterior (de Dezembro passado) e com outras sondagens de outros institutos. O PS continua a ser o partido com mais intenções de voto, como em todas as sondagens de todos os institutos realizadas desde, pelo menos, Novembro de 2005. Da mesma forma, está aquém da maioria absoluta, como em quase todos os estudos divulgados desde o "caso da licenciatura". O Bloco de Esquerda, que nos dois estudos anteriores do CESOP estava praticamente empatado com a CDU, passa-lhe desta vez à frente, na linha das outras sondagens entretanto divulgadas. Francisco Louçã continua a ser o líder partidário avaliado mais favoravelmente pelos eleitores, ao passo que José Sócrates continua em terreno negativo. A avaliação que é feita do governo pela maioria dos eleitores - e não apenas pelos votantes prováveis - continua também negativa: 61% classificam-no como "mau" ou "muito mau", contra 60% no estudo de Dezembro. E da mesma forma, a maioria (54%, contra 56% em Dezembro passado) continua a achar que nenhum partido da oposição faria melhor que o actual governo se estivesse no poder. Até a votação no CDS-PP, que nas últimas sondagens do CESOP tem aparecido com valores particularmente baixos, não foge àquilo que a tem caracterizado nos últimos meses: uma enorme instabilidade. Em todas as sondagens feitas desde Outubro, mesmo retirando as do CESOP, o CDS tem obtido valores que oscilam entre os 4% e os 10%.

Dito isto, estes resultados suscitam uma questão interessante. Uma das tendências do conjunto de todas as sondagens conduzidas por todos os institutos desde 2005 é a de uma aparente diminuição da bipartidarização do sistema, expressa na soma de votos do PS e do PSD. Nas eleições de 2005, PS e PSD obtiveram, em conjunto, 74% dos votos. Mas se olharmos para todas as sondagens conduzidas nos últimos seis meses, são raros os casos em que essa soma correspondeu a mais de 70%. Este estudo, contudo, recoloca a soma dos dois partidos em 75%, dada a subida do PSD em quatro pontos percentuais desde Dezembro. Várias hipóteses se levantam aqui. A primeira, que não podemos excluir, é que esta sondagem não esteja a captar, por razões metodológicas difíceis de inventariar ou por mero erro amostral, essa real queda do Bloco Central. A segunda é que, pelo contrário, a queda do Bloco Central tenha sido algo sobrestimada por outras sondagens. A verdade é que as sondagens do CESOP nunca apontaram para perdas tão drásticas como as de outros institutos (o valor mais baixo desde 2005 foi, precisamente, o de Dezembro passado, 71%). E a terceira, mais interessante, é que a aproximação das eleições esteja agora a reconduzir eleitores aos principais partidos - especialmente ao PSD - , motivados, entre outras coisas, por considerações de natureza estratégica (ou seja, pelo "voto útil"). Teremos de esperar por mais estudos (ou pelas próprias eleições) para percebermos qual delas (se alguma) é a mais plausível.

(comentário publicado também em versão abreviada no DN; o título foi atribuído pelo jornal)

by Pedro Magalhães

Ainda o CDS-PP

Posted May 3rd, 2009 at 8:01 am4 Comments

No Twitter, depois de admitir o erro (obrigado), o @solechuva volta à carga:




Então vamos lá:


Lisboa 2007:

Última sondagem CESOP pré-eleitoral: 4% para o CDS-PP; resultado final: 3,7%


Madeira 2007:´

Última sondagem CESOP pré-eleitoral: 5% para o CDS-PP; resultado final: 5,3%


Lisboa 2005:

Última sondagem CESOP pré-eleitoral: 7% para o CDS-PP; resultado final: 5,9%


Legislativas 2005:

Última sondagem CESOP pré-eleitoral: 6% para o CDS-PP; resultado final: 7,2%


Nas Europeias estamos assim:


1999:

Última sondagem CESOP pré-eleitoral: 6% para o CDS-PP; resultado final: 7,2%



by Pedro Magalhães

Dois a mais

Posted May 2nd, 2009 at 9:44 pm4 Comments

Um senhor chamado António Carlos Monteiro, que parece que é deputado e já foi Presidente do Conselho de Administração da EMEL, "vereador a meio tempo na CML" e "docente na Universidade Moderna" (ena) esteve há momentos na RTP-N a dizer que, nas últimas regionais dos Açores, o CDS-PP teve o dobro dos votos que aquilo que uma sondagem da Católica previa. Para quem estiver a ver, queria só informar que não faço ideia do que está este senhor a falar. Por um lado, o CESOP/Católica não conduziu qualquer sondagem antes do dia das eleições nos Açores. Por outro lado, na sondagem à boca das urnas, o CESOP estimou que o CDS-PP teria um valor entre 7 e 9 por cento. Teve 8,7%. No Twitter, há outra pessoa - ou será a mesma - que acha que uma mentira repetida muitas vezes se torna verdade.

Ainda bem que eu sei que o CDS-PP não é só isto. Caso contrário, ficaria a pensar que 2% de votos eram dois a mais.

by Pedro Magalhães

Sondagens, esta e as outras

Posted May 2nd, 2009 at 2:18 pm4 Comments

No post abaixo, há perguntas e respostas. Quero apenas esclarecer dúvidas, mas é inevitável que, perante certos comentários, passe à defensiva (ou, como neste caso mais infeliz, mais à ofensiva). Mas não deixem que o facto de estar a explicar (e num certo sentido, claro, "defender") a sondagem faça com que percam a bola de vista. E a bola, para esta sondagem como para todas as outras, é esta:

1. Uma sondagem é só uma sondagem. Precisamos de mais para perceber se o que aqui aparece estará a captar algo real ou será fruto de erro aleatório ou outro problema qualquer. Os resultados do PS e do PSD parecem-me muito congruentes com o que ando a dizer sobre isto há algum tempo. Mas claro que estou surpreendido com os resultados da CDU e do CDS-PP. Surpreendido, mas não disposto a trocar estes resultados por "intuições" ou outras "crenças".

2. Esta sondagem, apesar de, do ponto de vista temporal, estar a uma distância curta das eleições, está, pelos vistos, para os eleitores, a uma distância mental imensa. Quando mais de 80% das pessoas recenseadas não sabem que são os cabeças de lista do PS ou do PSD, e quando mesmo entre os simpatizantes de cada partido, os valores são superiores a 70%, isto significa que há muito muito caminho para percorrer.

by Pedro Magalhães