Pedro Magalhães

Margens de Erro

Filtrar o ruído das sondagens

Posted August 9th, 2013 at 2:48 pm4 Comments

Escrito conjuntamente com Luís Aguiar-Conraria.

Analistas políticos encontram muitas vezes dificuldades em lidar com a imensa variabilidade nas sondagens. A principal dificuldade é mesmo compreender o motivo de tal variabilidade. Se hoje observarmos uma sondagem com resultados radicalmente diferentes da maioria das anteriores, deveremos interpretar essa diferença como sendo o resultado de uma forte alteração da opinião pública ou, pelo contrário, olhar para esse resultado como um mero resultado estatístico de uma sondagem que, pela sua própria natureza é sempre incerta?

Intuitivamente a resposta é simples. Se presumirmos que a opinião pública é estável ao longo do tempo, então a melhor abordagem é, simplesmente, calcular uma média das várias sondagens (eventualmente, ponderada pelo tamanho da amostra de cada uma). Se, pelo contrário, admitirmos que a opinião pública é extremamente volátil ao longo do tempo, então o melhor será olhar para os resultados da última sondagem e praticamente esquecer as anteriores.

A dificuldade em avaliar o que está descrito no parágrafo anterior é óbvia. Como separar a variabilidade da opinião pública da variabilidade das sondagens quando a única forma de medir a opinião pública é recorrendo a sondagens? Haverá forma de interpretar de forma sistemática estatisticamente rigorosa as novas informações que nos chegam diariamente? Felizmente, a resposta é sim.

No Público de hoje apresentamos a ideia geral, mas aqui damos uma explicação mais detalhada. A técnica que vamos usar, o filtro de Kalman, nasceu em 1960 na engenharia e é actualmente usada em todos os domínios científicos. O filtro de Kalman original já foi generalizado em várias direcções. Nas ciências sociais, o filtro de Kalman é bastante usado em modelos de estimação do estado latente (state-space models) — lamentamos o jargão, mas não sabemos como evitá-lo.

A ideia principal destes modelos, aplicados ao nosso caso, é considerar que há dois tipos de variáveis. Um tipo de variáveis, a que chamamos variáveis latentes, que não observamos directamente — no nosso caso a opinião pública — e um tipo de variáveis que observamos e que são uma medida imperfeita das variáveis não observadas — no nosso caso, as sondagens. O modelo a estimar reduz-se então a um sistema de duas equações. Uma equação — a que chamamos equação de transição — descreve a evolução do estado latente, ou seja da opinião pública. A outra descreve a relação entre o estado latente e a variável observada, ou seja entre a opinião pública e as sondagens.

No nosso modelo, vamos considerar que, se nada de especial acontecer, então a opinião pública não muda. Ou seja, a percentagem que apoia um dado partido hoje é igual à de ontem. Se houver algum choque externo, então a percentagem de apoiantes pode mudar. Matematicamente:

%Partidot = %Partidot-1+ ut

Em que ut representa os choques externos ou inovações, que presumimos serem gaussianos com média zero e variância σu2. Para já presuma que sabemos o valor de σu2.

A segunda equação capta relação entre as sondagens e a realidade. Aqui vamos presumir que cada sondagem é uma estimativa não enviesada da realidade que, no entanto, está sujeita a um termo de erro:

%Sondagemt= %Partidot + εt

em que εt representa o termo de erro que, mais uma vez, presumimos ser gaussiano de média zero. Neste caso, em princípio, saberíamos exactamente a variância do termo de erro: uma sondagem feita no dia t com Nt entrevistados que atribuísse ao partido uma percentagem de votos π teria variância de σ2ε,t = πt (1 – πt) / Nt.

Com excepção de σu2, todos estes dados estão disponíveis e já poderíamos processar de forma bastante eficiente a informação oferecida por cada nova sondagem. Mas, na verdade, podemos fazer um pouco melhor. Infelizmente, para explicar exactamente o que fazemos, teremos de recorrer a uma linguagem mais técnica.

Em primeiro lugar, podemos aproveitar o facto de podermos facilmente generalizar o modelo para analisar várias variáveis em simultâneo. Pelo que podemos considerar um vector com as intenções de voto de todos os partidos, bem como considerar simultaneamente as sondagens para os cinco partidos com representação parlamentar, podendo ainda considerar um sexto “partido” chamado OBN (Outros, Brancos e Nulos).

Tudo se resume ao seguinte modelo a estimar por máxima verosimilhança:

yt = zt + νt , νt ~ N(0,Σν,t)

zt = zt-1 ωt , ωt ~ N(0,Σω)

em que Yt é um vector com as sondagens para os seis partidos sob análise (PS, PSD, BE, CDS, CDU e OBN), Zt é um vector com o valor latente de cada um dos partidos, νt é o vector com os termos de erro associados às sondagens e ωt o vector com as inovações que afectam cada um dos partidos.

Note-se que as únicas variáveis observáveis são as sondagens (Yt). Todas as outras são estimadas. A matriz de variâncias e covariâncias associadas aos erros das sondagens é dada por Σν,t e, como o subscrito indica, varia de sondagem para sondagem. Na diagonal principal, temos as variâncias, cujo valor teórico será yi,t (1 – yi,t) / Nt, para i = PS, PSD, BE, CDS-PP, CDU e OBN. As covariâncias teóricas também são conhecidas: (–yi,t yj,t ) / Nt.

Infelizmente, a variância do erro amostral será maior do que yi,t (1 – yi,t) / Nt. Este valor para a variância é um valor teórico mínimo que só seria possível se as sondagens fossem feitas com um rigor impossível de garantir, não sofrendo de nenhum dos problemas de que as sondagens tipicamente padecem (erros de cobertura da amostra, erros de medição, etc.). Assim, ao estimarmos o modelo consideraremos que a variância dos termos de erro será igual a σ2ν,t= yi,t(1 – yi,t)/Nt + αi , em que αi será uma constante não negativa a estimar. Vale a pena referir que os vários αi’s estimados são estatisticamente bastante significativos, com excepção do associado à CDU. Tal indica que o erro não-amostral é muito importante e que poderá ainda haver margem para as empresas de sondagem melhorarem nos seus métodos de amostragem e de inquirição, mesmo tendo em conta as limitações de tempo e de recursos que este tipo de trabalho impõe.

O mesmo exercício foi feito para as covariâncias. No entanto, as constantes acrescentadas às 15 diferentes covariâncias teóricas deram quase todas estatisticamente não significativas, pelo que por uma questão de parcimónia, resolvemos excluí-las do modelo. Também não incluímos no modelo variáveis que permitissem considerar os chamados house effects, o que implica que todas as casas de sondagens são tratadas da mesma forma. É algo que poderemos mudar no futuro, mas para já consideramos ser a melhor opção, especialmente à luz de trabalhos anteriores. O pressuposto de que as variáveis latentes seguem um passeio aleatório também poderia ser relaxado para, por exemplo, um processo auto-regressivo mais geral, mas a verdade é que a literatura demonstra que os ganhos com tal modelização são mínimos.

A nossa modelização é diária. Isto quer dizer que sempre que sai uma nova sondagem, actualizamos as nossas previsões relativamente ao estado de cada um dos partidos. Consideramos que o dia da sondagem corresponde ao último dia de trabalho de campo da mesma. Naturalmente, em dias em que não se revelam novas sondagens, não há novas informações pelo que a estimativa não se altera. No entanto, o intervalo de confiança em torno da estimativa aumenta dado que com o decorrer do tempo aumenta a incerteza a ela associada. Desta forma, em cada momento do tempo apresentamos a melhor estimativa possível (bem como o seu intervalo de confiança) dada a informação disponível até ao momento.

Os gráficos abaixo resultam da estimação do modelo referido com base em todas as sondagens publicadas desde as últimas eleições legislativas: PSPSD pequenos A partir de Outubro, no âmbito do projecto POPSTAR (Public Opinion and Sentiment Tracking, Analysis, and Research, http://www.popstar.pt), uma parceria entre o Instituto de Ciências Sociais e o INESC-ID, da ULisboa, a Faculdade de Engenharia da Universidade do Porto e a Escola de Economia e Gestão da Universidade do Minho apoiada pela Fundação para a Ciência e Tecnologia, estes e outros indicadores estarão disponíveis diariamente para a consulta do público em geral.

Nunca é demais realçar que o que estamos a fazer mais não é do que um método tecnicamente sofisticado de agregação de sondagens. Tal como uma refeição não pode ser melhor do que os ingredientes que a compõem, as nossas previsões só podem ser exactas na exacta medida em que as sondagens nos dêem uma fotografia não enviesada da realidade. Contudo, esperamos contribuir para que, de cada vez que sai uma sondagem, possamos olhar para ela não como um ilusório retrato definitivo da opinião pública, mas sim como uma (importante) fonte de informação que ajuda a compor um retrato mais geral e mais completo da opinião pública num determinado momento.

by Pedro Magalhães

Dois posts muito instrutivos

Posted August 5th, 2013 at 10:49 am4 Comments

Ambos do Luís Aguiar-Conraria, no Destreza das Dúvidas: Amostras e populações, ou quão pequeno é o infinito, sobre o facto de, para grandes populações, o tamanho da amostra ser irrelevante para a margem de erro das estimativas. É razoável observarmos sondagens tão díspares?, sobre a incerteza que o erro amostral comporta para as estimativas e como isso implica que sondagens com resultados díspares possam estar a captar uma mesma realidade.

by Pedro Magalhães

Eurosondagem, 25-31 julho, N=1020, Tel.

Posted August 2nd, 2013 at 2:32 pm4 Comments

PS: 37.4% (+0.4)
PSD: 24.4% (-0.6)
CDU: 12.5% (+0.5)
CDS-PP: 7.7% (-0.3)
BE: 7.5% (-0.5)

Aqui.

by Pedro Magalhães

Pie/Doughnut Chart Fail

Posted August 2nd, 2013 at 12:34 pm4 Comments


by Pedro Magalhães

Pitagórica, 24-28 Julho, N=507, Tel.

Posted August 2nd, 2013 at 6:59 am4 Comments

PS: 34,6% (+0.7)
PSD: 24,1% (+0.4)
CDU: 13,1% (-0.1)
BE: 8,7% (-0.2)
CDS-PP: 8,1% (-1)

Aqui. E também isto:



by Pedro Magalhães

Sondagem U. Católica, avaliação líderes políticos

Posted August 1st, 2013 at 8:20 pm4 Comments

Daqui.

by Pedro Magalhães

CESOP/Católica, 27-29 julho, N=1096, Face a face

Posted August 1st, 2013 at 8:12 pm4 Comments

Entre parêntesis, resultados de Março passado:

PS: 35% (+4)
PSD: 32% (+4)
CDU: 11% (-1)
BE: 7% (-1)
CDS-PP: 3% (-2)
OBN: 12% (-4)

Aqui.

by Pedro Magalhães

Crisis and party system change: Greece, Portugal, and others

Posted July 29th, 2013 at 3:40 pm4 Comments

Alexandre Afonso makes interesting points about how and why the financial crisis and austerity policies hit the Greek party system more severely than the Portuguese one (here, in Spanish and here, in English). A summary, hoping to do it justice:

1. First, according to Afonso, Greek parties relied more on state-sponsored clientelism and patronage than the Portuguese ones. Economic crisis and austerity thus hurt the Greek parties more severely in terms of their ability to sustain mass support.

2. Second, PASOK ruled alone in 2009 and thus could not avoid being held responsible and massively punished for the economy and economic policies. In contrast, the Portuguese Socialists were a minority government since 2009, implemented austerity policies negotiated with the PSD even before the bailout, and this made “responsibility more difficult to attribute,” thus mitigating incumbent losses.

3. Finally, according to Afonso, “technocratic governments” and “grand coalitions”, creating “a political cartel where participants make a commitment to avoid blaming each other in order to minimize electoral costs” (…)”may be the only one available for parties to survive in the current situation”.

My feeling is that the first point sounds about right, the second only partially so, and the third not at all, at least to me.

I’m ready to accept that Greek parties relied more extensively on patronage to muster support, and thus that it is plausible that the crisis and the austerity policies forced by the EU/IMF bailout had bigger consequences in Greece than in Portugal from that point of view. I also agree (I have made that point myself on the basis of a post-election survey) that, in the Portuguese 2011 elections, voters’ propensity to assign blame not only to the incumbent Socialists but also to a variety of other forces and factors (although not so much to the opposition parties) seems to have mitigated the punishment exacted upon the PS for the economic situation then faced and for the very need for a bailout.

However, from the point of view of Afonso’s arguments, it sometimes seems that the debacle of the Greek party system was basically something very bad that happened to the incumbent PASOK. But that’s not exactly right, is it? “Very bad” things have also happened to other incumbents in financially troubled European countries, including to Fianna Fáil in Ireland, to the Independence Party in Iceland, or even, for that matter, to the Socialists in Portugal (with a cumulative loss of 17 percentage points from 2005 to 2011). What makes the Greek crisis  different from said countries was the overall massive level of electoral volatility, including the fact that the major party of the opposition (New Democracy) was also punished in 2012, even in comparison with its 2009 loss (as Afonso shows in his own graph), as well as the dramatic rise of other parties that were either new or previously much less relevant. Nothing like that happened in the 2009 elections in Iceland, in the January February 2011 elections in Ireland, or in the June 2011 elections in Portugal, where the existing major alternatives to incumbents did predictably well. In fact, an even longer view shows us that the defeats suffered by the incumbents in those elections did not prevent their later (at least partial) electoral recovery since then, as the performance of the Independence Party in the 2013 Iceland elections (or of Fianna Fáil and the Portuguese PS in the opinion polls today) show.

So, if we want to treat party system “resilience” or ”change” as the thing we want to explain, what are the two cases among the ”financial crisis” countries where party systems were more badly shaken? Interestingly, and, I think, countering Afonso’s argument, these are precisely the two cases where ”technocratic” or “national unity” governments were formed. In Greece, it is fascinating to see how the performance of ND in the polls plummeted in the aftermath of the formation of the Papademos cabinet in November 2011. In Italy, one and a half years of Monti (as well as Berlusconi’s tactical withdrawal of support by the end of the term) ended up leaving the Democratic Party awkwardly associated with austerity and crisis, something that, in other circumstances, an opposition party would probably be able to avoid (if not capitalize from). The result, in both countries, is that the punishment of incumbents was not accompanied by a reward for the main challengers in the party system. Instead, protest voting appeared with enormous strength and new parties emerged or strengthened, a result, I would argue, of the shared responsibility of the major traditional parties for increasingly detested policies and their consequences.

So to me, the question is: why have the Greek and Italian party systems been so transformed, while the Portuguese, Irish, and Icelandic ones were  less so? The answer, I think, may be the opposite to the one provided by Afonso: cases of “national unity”/”technocratic” governments were followed by the deeper manifestations of party system transformation. In contrast, where party government prevailed, punishments for incumbents may have been very large in some cases and smaller in others, but party systems seem (so far) to have basically preserved most of their main features.

P.S.- I cautiously avoided Spain where, in the absence of any sort of “national unity” or “technocratic” cabinets, there’s an argument to be made about an important change away from a basic two-party system and towards a more fragmented one. However, this is mostly based on polling data, and I would reserve judgment on this until an actual election takes place…

by Pedro Magalhães

Uma frincha

Posted July 16th, 2013 at 10:56 am4 Comments

Vou fazer agora uma coisa para a qual não tenho jeito nenhum: aquilo a que se costuma chamar "análise política". O meu negócio é outro, mas perdoem a incursão em terreno alheio. É porque há uma passagem muito curiosa num artigo de Leonete Botelho e Sofia Rodrigues no Público de hoje que não resisto comentar:

Desde há muito que a maioria e o Governo pediam um entendimento com o PS que tinha por objectivo fazer pressão à troika para ganhar vantagens nas negociações. Com isso, a maioria apresentava como argumento perante a troika um apoio reforçado no Parlamento, mas também ganhava margem para negociar matérias, como a flexibilização do défice, a coberto do PS, com o argumento de que os socialistas eram menos receptivos a medidas que implicam cortes na despesa social.
Só comprovo a minha distracção e a minha ignorância, mas confesso que não sabia nada disto. Eu sabia, por exemplo, que o Primeiro-Ministro não excluía a possibilidade de flexibilizar a meta do défice para 2014, "mas faremos tudo o que está ao nosso alcance para cumprir as metas que foram agora acordadas no sétimo exame regular", e até já tem "prontos os diplomas que terminam os cortes de 4,3 mil milhões de euros que foram acordados para 2014". Sabia também que o CDS considerava que "factores externos" faziam com que fosse "prudente" admitir a possibilidade de nova flexibilização das metas do défice para 2014, mas pouco mais para além de dezenas de notícias injectadas nos jornais sobre nunca claramente assumidas posições do partido e do seu líder sobre o programa de ajustamento. O que eu não sabia era que o Governo, por considerar essas metas impossíveis (ou até, quem sabe, indesejáveis), andava há muito a pedir um entendimento com o PS para, usando o PS como "desculpa" ou para mostrar base de apoio doméstico, ganhar poder negocial frente à troika para renegociar as metas acordadas.

Para além de eu ser distraído e ignorante, há também a possibilidade destes "pedidos" feitos há muito terem sido privados, ou até, que sei eu, de estarmos perante uma oportuna reconstrução da história política recente. Mas isso agora não interessa muito. O interessante é que de repente vejo, não uma "janela de oportunidade", mas pelo menos uma pequenina frincha por onde pode passar um acordo entre os três partidos. O PS consensualiza objectivos de ajustamento mais modestos com o Governo, os nossos credores aceitam a coisa e continuam a mandar os cheques, Seguro reclama para si o mérito de "fazer ver" à maioria os seus erros passados e o PSD e o CDS evitam eleições antecipadas potencialmente catastróficas (especialmente para o segundo, se as indicações desta sondagem se confirmarem).

Contudo, a frincha continua a ser muito estreita. Se esses objectivos consensualizados incluírem "concordar com despedimentos, cortes nas pensões", a coesão interna no PS deverá estar em risco, se José Sócrates servir de barómetro para esse efeito (e provavelmente serve). E mesmo sem contar com isso, para o PS, a equação eleitoral não é inequivocamente favorável a qualquer espécie de acordo com os partidos de governo: CDU e BE espreitam, e um ano (até menos que isso) de "salvação nacional" é muito, muito tempo. Mas a frincha está lá.


by Pedro Magalhães

Mais sobre a sondagem Aximage

Posted July 15th, 2013 at 9:54 am4 Comments

A Aximage pede aos inquiridos que avaliem os principais líderes políticos como tendo actuado "bem", "mal" ou "assim-assim". Depois atribui valores de 3, -3, e 1 a cada uma das opções (-1 sem opinião). Depois agrega e converte numa numa escala de 0 a 20. É um pouco complicado (porventura excessivamente complicado), mas a regra é explicada e consistente, e logo a comparabilidade é possível. Eis a evolução:

 O tombo do líder do CDS-PP é grande. Em consistência com os resultados de intenção de voto do PSD na mesma sondagem, Passos Coelho sobe. Para já, a indicação é esta: o conjunto de episódios em torno da demissão de Portas penalizou-o fundamentalmente a ele e ao seu partido, mas não o seu parceiro de coligação. Mas são indicações a confirmar (ou não) com mais sondagens que sejam realizadas após a crise da coligação.

by Pedro Magalhães