Pedro Magalhães

Margens de Erro

Sondagens nas autárquicas

Posted September 4th, 2013 at 10:24 am4 Comments

Dei uma olhada pelas sondagens autárquicas que têm sido divulgadas na comunicação social e depositadas na ERC. Tinha em mente um post que me ia demorar um dia a fazer, com gráficos e quadros. Mas a informação disponível é tão escassa que o modo narrativo me parece suficiente. Julgo não me enganar se disser que há oito concelhos que têm despertado maior interesse por parte de quem encomenda sondagens: Lisboa, Porto, Braga, Oeiras, Matosinhos, Aveiro, Viseu e Gaia. Mas "maior interesse" é relativo: se recuarmos até Maio, os concelhos onde houve mais sondagens foram Lisboa e Porto, mas em cada um foram conduzidos apenas 5 estudos, sendo que desse total de 10, 6 são da Eurosondagem. É bom quando há muitas sondagens de muitas empresas diferentes, até para podermos controlar possíveis house effects. Não é o caso.

Destes oito concelhos, as maiores dúvidas estão em Oeiras, Braga, Matosinhos e Gaia. Em Lisboa, a margem mínima dada a António Costa é de 16 pontos, e isso foi em Maio passado. As três sondagens seguintes deram-lhe margens de vitória ainda maiores. Não há qualquer indicação de que Ribau Esteves não esteja  seguro em Aveiro. Almeida Henriques tem 10 pontos sobre José Junqueiro na última sondagem em Viseu. No Porto, as coisas estão menos seguras para Menezes, mas a mínima vantagem que as sondagens lhe deram agora foi de 7 pontos sobre Rui Moreira (nos dois últimos estudos da Eurosondagem, de 27 de Julho e de 7 de Agosto).

Nos restantes quatro concelhos, os resultados são mais incertos e, nalguns casos, até um pouco estranhos. Em Oeiras, a sondagem mais recente (de 14 de Agosto) coloca Paulo Vistas com uma vantagem de apenas 3 pontos sobre Moita Flores. Mas o estudo imediatamente anterior (de Maio) dá uma vantagem brutal a Moita Flores, da ordem dos 20 pontos. Note-se que esta última foi encomendada pela própria candidatura de Moita Flores, o que não quer dizer que isso seja a explicação.

Em Braga, três sondagens desde Maio, duas da Eurosondagem e uma da Intercampus. A diferença máxima entre Ricardo Rio (PSD/CDS/PPM) e Vítor Sousa (PS) é de 3 pontos, no último estudo de Julho da Eurosondagem.

Em Matosinhos, Guilherme Pinto (ex-PS, agora independente) lidera nos quatro estudos conduzidos. Mas nos mais recentes (da GTriplo e da Eurosondagem, de finais de Julho/início de Agosto), a sua vantagem sobre António Parada (PS) está em 2 pontos.

Em Gaia, 4 sondagens. Mas numa delas, os resultados nem sequer estão disponíveis na ERC. Nos dois estudos da Eurosondagem, de Maio e Julho, Guilherme Aguiar  (independente) e Eduardo Vitor Rodrigues (PS) estão praticamente empatados a 30%, e empate era também o resultado do estudo da DOMP de Maio.

Sintra é um caso estranho, por ter suscitado tão pouco interesse. A ERC reporta duas sondagens, uma da Aximage outra da Eurosondagem mas, consultados os ficheiros, ambos remetem para um único estudo, com Marco Almeida e Basílio Horta basicamente empatados. [ver P.S. abaixo]

Duas notas finais, de resto relacionadas entre si:

1. Se incluirmos Sintra, é perfeitamente possível que, destes nove, quatro venham a ser presididos por independentes (Oeiras, Matosinhos, Sintra e Gaia).

2. É também possível que, desde nove concelhos, o PS conquiste apenas uma câmara (Lisboa).O Porto parece fora do alcance do PS, Braga e Matosinhos (onde o PS NUNCA perdeu) estão em risco e Gaia e Sintra estão longe de estarem certos. Para além disto, o que temos? Guimarães deverá estar seguro. Mas a notoriedade de Bernardino Soares pode trazer problemas em Loures. E se a isto somarmos Gondomar (onde Marco Martins terá dificuldades em bater Fernando Paulo), Santarém (onde o incumbente Ricardo Gonçalves do PSD tem vantagem), Coimbra (onde não é nada certo que Manuel Machado destrone Barbosa de Melo) e Vila Real (onde Rui Santos e António Carvalho aparecem par a par na única sondagem que conheço), o PS arrisca-se a ter uma noite eleitoral algo complicada.

P.S. - Entretanto, avisam-me que a sondagem da Aximage já está disponível na ERC. O trabalho de campo terminou a 4 de Julho, e aí Basílio Horta aparece com 6.5 pontos sobre Marco Almeida, antes de redistribuição de indecisos. Muito obrigado.

by Pedro Magalhães

Portal de Opinião Pública: alguns dados novos

Posted September 2nd, 2013 at 2:49 pm4 Comments

O Portal de Opinião Pública, da FFMS, teve uma actualização com dados recentes, do Eurobarómetro da Primavera de 2013. Essa actualização incidiu apenas sobre alguns indicadores, e na maioria dos casos prolongando tendências já conhecidas. Mas vale a pena revisitar algumas, colocando Portugal em comparação com outros países que mostram tendências semelhantes, por razões óbvias. 1. Depois de um pequeno blip positivo em Novembro passado, avaliação da situação da economia retoma valores anteriores muito desfavoráveis. Em Espanha e na Grécia, a percepção é ainda pior.     2. Já quanto à percepção da economia na Europa como um todo, tendência (modesta) de melhoria a partir de Maio de 2012:     3. Níveis muito baixos de satisfação com o funcionamento do regime democrático. Em Portugal, os mais baixos desde que há dados. Dinamarca como ponto de comparação.     4. Confiança no governo também no ponto mais baixo desde que há dados.     5. Em 1999, mais de 80% dos portugueses tendiam a confiar na Comissão Europeia. A queda, particularmente desde o início da crise financeira, é brutal.  

by Pedro Magalhães

Filtrar o ruído das sondagens

Posted August 9th, 2013 at 2:48 pm4 Comments

Escrito conjuntamente com Luís Aguiar-Conraria.

Analistas políticos encontram muitas vezes dificuldades em lidar com a imensa variabilidade nas sondagens. A principal dificuldade é mesmo compreender o motivo de tal variabilidade. Se hoje observarmos uma sondagem com resultados radicalmente diferentes da maioria das anteriores, deveremos interpretar essa diferença como sendo o resultado de uma forte alteração da opinião pública ou, pelo contrário, olhar para esse resultado como um mero resultado estatístico de uma sondagem que, pela sua própria natureza é sempre incerta?

Intuitivamente a resposta é simples. Se presumirmos que a opinião pública é estável ao longo do tempo, então a melhor abordagem é, simplesmente, calcular uma média das várias sondagens (eventualmente, ponderada pelo tamanho da amostra de cada uma). Se, pelo contrário, admitirmos que a opinião pública é extremamente volátil ao longo do tempo, então o melhor será olhar para os resultados da última sondagem e praticamente esquecer as anteriores.

A dificuldade em avaliar o que está descrito no parágrafo anterior é óbvia. Como separar a variabilidade da opinião pública da variabilidade das sondagens quando a única forma de medir a opinião pública é recorrendo a sondagens? Haverá forma de interpretar de forma sistemática estatisticamente rigorosa as novas informações que nos chegam diariamente? Felizmente, a resposta é sim.

No Público de hoje apresentamos a ideia geral, mas aqui damos uma explicação mais detalhada. A técnica que vamos usar, o filtro de Kalman, nasceu em 1960 na engenharia e é actualmente usada em todos os domínios científicos. O filtro de Kalman original já foi generalizado em várias direcções. Nas ciências sociais, o filtro de Kalman é bastante usado em modelos de estimação do estado latente (state-space models) — lamentamos o jargão, mas não sabemos como evitá-lo.

A ideia principal destes modelos, aplicados ao nosso caso, é considerar que há dois tipos de variáveis. Um tipo de variáveis, a que chamamos variáveis latentes, que não observamos directamente — no nosso caso a opinião pública — e um tipo de variáveis que observamos e que são uma medida imperfeita das variáveis não observadas — no nosso caso, as sondagens. O modelo a estimar reduz-se então a um sistema de duas equações. Uma equação — a que chamamos equação de transição — descreve a evolução do estado latente, ou seja da opinião pública. A outra descreve a relação entre o estado latente e a variável observada, ou seja entre a opinião pública e as sondagens.

No nosso modelo, vamos considerar que, se nada de especial acontecer, então a opinião pública não muda. Ou seja, a percentagem que apoia um dado partido hoje é igual à de ontem. Se houver algum choque externo, então a percentagem de apoiantes pode mudar. Matematicamente:

%Partidot = %Partidot-1+ ut

Em que ut representa os choques externos ou inovações, que presumimos serem gaussianos com média zero e variância σu2. Para já presuma que sabemos o valor de σu2.

A segunda equação capta relação entre as sondagens e a realidade. Aqui vamos presumir que cada sondagem é uma estimativa não enviesada da realidade que, no entanto, está sujeita a um termo de erro:

%Sondagemt= %Partidot + εt

em que εt representa o termo de erro que, mais uma vez, presumimos ser gaussiano de média zero. Neste caso, em princípio, saberíamos exactamente a variância do termo de erro: uma sondagem feita no dia t com Nt entrevistados que atribuísse ao partido uma percentagem de votos π teria variância de σ2ε,t = πt (1 – πt) / Nt.

Com excepção de σu2, todos estes dados estão disponíveis e já poderíamos processar de forma bastante eficiente a informação oferecida por cada nova sondagem. Mas, na verdade, podemos fazer um pouco melhor. Infelizmente, para explicar exactamente o que fazemos, teremos de recorrer a uma linguagem mais técnica.

Em primeiro lugar, podemos aproveitar o facto de podermos facilmente generalizar o modelo para analisar várias variáveis em simultâneo. Pelo que podemos considerar um vector com as intenções de voto de todos os partidos, bem como considerar simultaneamente as sondagens para os cinco partidos com representação parlamentar, podendo ainda considerar um sexto “partido” chamado OBN (Outros, Brancos e Nulos).

Tudo se resume ao seguinte modelo a estimar por máxima verosimilhança:

yt = zt + νt , νt ~ N(0,Σν,t)

zt = zt-1 ωt , ωt ~ N(0,Σω)

em que Yt é um vector com as sondagens para os seis partidos sob análise (PS, PSD, BE, CDS, CDU e OBN), Zt é um vector com o valor latente de cada um dos partidos, νt é o vector com os termos de erro associados às sondagens e ωt o vector com as inovações que afectam cada um dos partidos.

Note-se que as únicas variáveis observáveis são as sondagens (Yt). Todas as outras são estimadas. A matriz de variâncias e covariâncias associadas aos erros das sondagens é dada por Σν,t e, como o subscrito indica, varia de sondagem para sondagem. Na diagonal principal, temos as variâncias, cujo valor teórico será yi,t (1 – yi,t) / Nt, para i = PS, PSD, BE, CDS-PP, CDU e OBN. As covariâncias teóricas também são conhecidas: (–yi,t yj,t ) / Nt.

Infelizmente, a variância do erro amostral será maior do que yi,t (1 – yi,t) / Nt. Este valor para a variância é um valor teórico mínimo que só seria possível se as sondagens fossem feitas com um rigor impossível de garantir, não sofrendo de nenhum dos problemas de que as sondagens tipicamente padecem (erros de cobertura da amostra, erros de medição, etc.). Assim, ao estimarmos o modelo consideraremos que a variância dos termos de erro será igual a σ2ν,t= yi,t(1 – yi,t)/Nt + αi , em que αi será uma constante não negativa a estimar. Vale a pena referir que os vários αi’s estimados são estatisticamente bastante significativos, com excepção do associado à CDU. Tal indica que o erro não-amostral é muito importante e que poderá ainda haver margem para as empresas de sondagem melhorarem nos seus métodos de amostragem e de inquirição, mesmo tendo em conta as limitações de tempo e de recursos que este tipo de trabalho impõe.

O mesmo exercício foi feito para as covariâncias. No entanto, as constantes acrescentadas às 15 diferentes covariâncias teóricas deram quase todas estatisticamente não significativas, pelo que por uma questão de parcimónia, resolvemos excluí-las do modelo. Também não incluímos no modelo variáveis que permitissem considerar os chamados house effects, o que implica que todas as casas de sondagens são tratadas da mesma forma. É algo que poderemos mudar no futuro, mas para já consideramos ser a melhor opção, especialmente à luz de trabalhos anteriores. O pressuposto de que as variáveis latentes seguem um passeio aleatório também poderia ser relaxado para, por exemplo, um processo auto-regressivo mais geral, mas a verdade é que a literatura demonstra que os ganhos com tal modelização são mínimos.

A nossa modelização é diária. Isto quer dizer que sempre que sai uma nova sondagem, actualizamos as nossas previsões relativamente ao estado de cada um dos partidos. Consideramos que o dia da sondagem corresponde ao último dia de trabalho de campo da mesma. Naturalmente, em dias em que não se revelam novas sondagens, não há novas informações pelo que a estimativa não se altera. No entanto, o intervalo de confiança em torno da estimativa aumenta dado que com o decorrer do tempo aumenta a incerteza a ela associada. Desta forma, em cada momento do tempo apresentamos a melhor estimativa possível (bem como o seu intervalo de confiança) dada a informação disponível até ao momento.

Os gráficos abaixo resultam da estimação do modelo referido com base em todas as sondagens publicadas desde as últimas eleições legislativas: PSPSD pequenos A partir de Outubro, no âmbito do projecto POPSTAR (Public Opinion and Sentiment Tracking, Analysis, and Research, http://www.popstar.pt), uma parceria entre o Instituto de Ciências Sociais e o INESC-ID, da ULisboa, a Faculdade de Engenharia da Universidade do Porto e a Escola de Economia e Gestão da Universidade do Minho apoiada pela Fundação para a Ciência e Tecnologia, estes e outros indicadores estarão disponíveis diariamente para a consulta do público em geral.

Nunca é demais realçar que o que estamos a fazer mais não é do que um método tecnicamente sofisticado de agregação de sondagens. Tal como uma refeição não pode ser melhor do que os ingredientes que a compõem, as nossas previsões só podem ser exactas na exacta medida em que as sondagens nos dêem uma fotografia não enviesada da realidade. Contudo, esperamos contribuir para que, de cada vez que sai uma sondagem, possamos olhar para ela não como um ilusório retrato definitivo da opinião pública, mas sim como uma (importante) fonte de informação que ajuda a compor um retrato mais geral e mais completo da opinião pública num determinado momento.

by Pedro Magalhães

Dois posts muito instrutivos

Posted August 5th, 2013 at 10:49 am4 Comments

Ambos do Luís Aguiar-Conraria, no Destreza das Dúvidas: Amostras e populações, ou quão pequeno é o infinito, sobre o facto de, para grandes populações, o tamanho da amostra ser irrelevante para a margem de erro das estimativas. É razoável observarmos sondagens tão díspares?, sobre a incerteza que o erro amostral comporta para as estimativas e como isso implica que sondagens com resultados díspares possam estar a captar uma mesma realidade.

by Pedro Magalhães

Eurosondagem, 25-31 julho, N=1020, Tel.

Posted August 2nd, 2013 at 2:32 pm4 Comments

PS: 37.4% (+0.4)
PSD: 24.4% (-0.6)
CDU: 12.5% (+0.5)
CDS-PP: 7.7% (-0.3)
BE: 7.5% (-0.5)

Aqui.

by Pedro Magalhães

Pie/Doughnut Chart Fail

Posted August 2nd, 2013 at 12:34 pm4 Comments


by Pedro Magalhães

Pitagórica, 24-28 Julho, N=507, Tel.

Posted August 2nd, 2013 at 6:59 am4 Comments

PS: 34,6% (+0.7)
PSD: 24,1% (+0.4)
CDU: 13,1% (-0.1)
BE: 8,7% (-0.2)
CDS-PP: 8,1% (-1)

Aqui. E também isto:



by Pedro Magalhães

Sondagem U. Católica, avaliação líderes políticos

Posted August 1st, 2013 at 8:20 pm4 Comments

Daqui.

by Pedro Magalhães

CESOP/Católica, 27-29 julho, N=1096, Face a face

Posted August 1st, 2013 at 8:12 pm4 Comments

Entre parêntesis, resultados de Março passado:

PS: 35% (+4)
PSD: 32% (+4)
CDU: 11% (-1)
BE: 7% (-1)
CDS-PP: 3% (-2)
OBN: 12% (-4)

Aqui.

by Pedro Magalhães

Crisis and party system change: Greece, Portugal, and others

Posted July 29th, 2013 at 3:40 pm4 Comments

Alexandre Afonso makes interesting points about how and why the financial crisis and austerity policies hit the Greek party system more severely than the Portuguese one (here, in Spanish and here, in English). A summary, hoping to do it justice:

1. First, according to Afonso, Greek parties relied more on state-sponsored clientelism and patronage than the Portuguese ones. Economic crisis and austerity thus hurt the Greek parties more severely in terms of their ability to sustain mass support.

2. Second, PASOK ruled alone in 2009 and thus could not avoid being held responsible and massively punished for the economy and economic policies. In contrast, the Portuguese Socialists were a minority government since 2009, implemented austerity policies negotiated with the PSD even before the bailout, and this made “responsibility more difficult to attribute,” thus mitigating incumbent losses.

3. Finally, according to Afonso, “technocratic governments” and “grand coalitions”, creating “a political cartel where participants make a commitment to avoid blaming each other in order to minimize electoral costs” (…)”may be the only one available for parties to survive in the current situation”.

My feeling is that the first point sounds about right, the second only partially so, and the third not at all, at least to me.

I’m ready to accept that Greek parties relied more extensively on patronage to muster support, and thus that it is plausible that the crisis and the austerity policies forced by the EU/IMF bailout had bigger consequences in Greece than in Portugal from that point of view. I also agree (I have made that point myself on the basis of a post-election survey) that, in the Portuguese 2011 elections, voters’ propensity to assign blame not only to the incumbent Socialists but also to a variety of other forces and factors (although not so much to the opposition parties) seems to have mitigated the punishment exacted upon the PS for the economic situation then faced and for the very need for a bailout.

However, from the point of view of Afonso’s arguments, it sometimes seems that the debacle of the Greek party system was basically something very bad that happened to the incumbent PASOK. But that’s not exactly right, is it? “Very bad” things have also happened to other incumbents in financially troubled European countries, including to Fianna Fáil in Ireland, to the Independence Party in Iceland, or even, for that matter, to the Socialists in Portugal (with a cumulative loss of 17 percentage points from 2005 to 2011). What makes the Greek crisis  different from said countries was the overall massive level of electoral volatility, including the fact that the major party of the opposition (New Democracy) was also punished in 2012, even in comparison with its 2009 loss (as Afonso shows in his own graph), as well as the dramatic rise of other parties that were either new or previously much less relevant. Nothing like that happened in the 2009 elections in Iceland, in the January February 2011 elections in Ireland, or in the June 2011 elections in Portugal, where the existing major alternatives to incumbents did predictably well. In fact, an even longer view shows us that the defeats suffered by the incumbents in those elections did not prevent their later (at least partial) electoral recovery since then, as the performance of the Independence Party in the 2013 Iceland elections (or of Fianna Fáil and the Portuguese PS in the opinion polls today) show.

So, if we want to treat party system “resilience” or ”change” as the thing we want to explain, what are the two cases among the ”financial crisis” countries where party systems were more badly shaken? Interestingly, and, I think, countering Afonso’s argument, these are precisely the two cases where ”technocratic” or “national unity” governments were formed. In Greece, it is fascinating to see how the performance of ND in the polls plummeted in the aftermath of the formation of the Papademos cabinet in November 2011. In Italy, one and a half years of Monti (as well as Berlusconi’s tactical withdrawal of support by the end of the term) ended up leaving the Democratic Party awkwardly associated with austerity and crisis, something that, in other circumstances, an opposition party would probably be able to avoid (if not capitalize from). The result, in both countries, is that the punishment of incumbents was not accompanied by a reward for the main challengers in the party system. Instead, protest voting appeared with enormous strength and new parties emerged or strengthened, a result, I would argue, of the shared responsibility of the major traditional parties for increasingly detested policies and their consequences.

So to me, the question is: why have the Greek and Italian party systems been so transformed, while the Portuguese, Irish, and Icelandic ones were  less so? The answer, I think, may be the opposite to the one provided by Afonso: cases of “national unity”/”technocratic” governments were followed by the deeper manifestations of party system transformation. In contrast, where party government prevailed, punishments for incumbents may have been very large in some cases and smaller in others, but party systems seem (so far) to have basically preserved most of their main features.

P.S.- I cautiously avoided Spain where, in the absence of any sort of “national unity” or “technocratic” cabinets, there’s an argument to be made about an important change away from a basic two-party system and towards a more fragmented one. However, this is mostly based on polling data, and I would reserve judgment on this until an actual election takes place…

by Pedro Magalhães