Pedro Magalhães

Margens de Erro

Tudo o que precisa de saber sobre o poder judicial em Portugal

Posted October 27th, 2005 at 1:27 pm4 Comments

A Associação Sindical dos Juízes Portugueses anunciou uma taxa de adesão à greve de 95%. Contudo, segundo notícias de ontem da TSF, e ao contrário do que é habitual, o Governo não pode fornecer números alternativos. Ao que parece, isso sucede porque não existe qualquer mecanismo regular e institucionalizado de verificação da presença dos magistrados nos seus locais de trabalho. Logo, o Governo aguardará pela divulgação de números por parte do Conselho Superior de Magistratura. Sim, esse CSM cujo Conselho Permanente é composto por 8 membros, 5 deles obrigatoriamente juízes.

Ou de como num único facto se condensa quase tudo o que precisamos de saber sobre o funcionamento do poder judicial em Portugal nos últimos 30 anos.

Adenda: josé, na Grande Loja do Queijo Limiano, tece algumas críticas a este post. A não perder, mas não pelas razões que ele julga. O josé manifesta aqui e ali grande indisposição com o facto de eu ter usado este meu blogue, dedicado a sondagens e opinião pública, para transmitir aos leitores uma opinião pessoal sobre o funcionamento e organização interna do poder judicial. Parece que não só procurei "cercear o poder judicial e arreatar o exercício da sua independência" (mais um canalha), como também o fiz violando os estatutos editorais desta publicação. Estou mortificado. Mas quanto à minha suposta ignorância de "sapateiro" sobre estes temas, algo me diz que o josé não terá feito todo o trabalhinho de casa antes de escrever o seu delicado post...

by Pedro Magalhães

Ainda sobre sondagens e resultados eleitorais

Posted October 26th, 2005 at 2:44 pm4 Comments

Ver aqui três análises (.pdf) das sondagens nas eleições do Reino Unido onde não se dispensa uma comparação com os resultados das eleições, e onde se usa essa comparação para reflectir do ponto de vista metodológico.

Algumas lições para nós:

1. A informação pública e divulgada acerca das metodologias utilizadas no Reino Unido é incomensuravelmente mais completa do que aquela que é divulgada em Portugal;

2. O facto de se reconhecer que sondagens são "fotografias" de um momento e não "previsões" não impede que a comparação com resultados eleitorais seja informativa do ponto de vista metodológico;

3. Mas isso não impede por sua vez, a tensão entre a busca de "boas fotografias" ou "boas previsões" nas diferentes práticas dos institutos de sondagens, gerando confusão entre a opinião pública e diminuindo a utilidade da análise das sondagens à luz dos resultados eleitorais. Sobre isto, Nick Sparrow, da ICM:

"When pollsters come up with a final poll that is close to the outcome of an election, with much pride they say their predictions were accurate. When they get it wrong they may often say that the poll was right when it was taken but was a snapshot of a moving situation. Clients who have sponsored an accurate poll will also use the opportunity to poke fun at their competitors who may have carried a somewhat less accurate prediction.

Some pollsters argue that all polls are snapshots but their final poll is a prediction. If this leads to rather different methods being employed on the final poll, it would seem to undermine any claim to accuracy of any poll except one taken immediately before an election.
(...)

If polls are snapshots that report what people think they would do in an immediate election, the fact that they have produced estimates a little too kind to Labour over the last few years seems more defendable, simply on the basis that they measure support for each party at any given point in time, and cannot accurately predict who will state that support in the polling booth. If they claim to be predictions then the persistent Labour bias needs to be addressed. The pollsters cannot idly flit between the two.

One solution would be for pollsters and their clients to publish snapshots AND predictions. It would seem to be quite fair to point out to readers where the uncertainties lie in the data and what direction of error those uncertainties imply.

(...)
Perhaps pollsters and their clients should openly do both, telling consumers of polls what the data says, but also adding notes of caution about any data that may lead to a somewhat different prediction of the actual outcome.


4. Talvez se em Portugal houvesse uma instituição de natureza semelhante ao British Polling Council no Reino Unido ou ao National Council on Public Polls americano muitos destes assuntos e problemas pudessem ser resolvidos de forma mais transparente para a opinião pública...

by Pedro Magalhães

Off topic: Amesterdão

Posted October 25th, 2005 at 6:53 pm4 Comments

















Estive aqui a semana passada e lembrei-me logo dele. Tem uma certa graça isto de haver blogues que começam a fazer parte da nossa paisagem mental.

by Pedro Magalhães

Sondagens no DN (e a comparação com resultados eleitorais)

Posted October 25th, 2005 at 11:03 am4 Comments

Sobre as sondagens autárquicas publicadas pelo DN, uma queixa de um leitor, a resposta do director e o comentário do provedor, aqui.

Alguns comentários:

1.Parece-me correctíssimo que se relembre que as sondagens medem intenções num momento t e que os resultados eleitorais são comportamentos no momento t+1 e que, logo, as diferenças entre as primeiras e os segundos são inevitáveis. E estou de acordo com quase tudo o resto que é escrito quer pelo provedor quer pelo director do jornal.

2. Mas gostaria de, amigavelmente, expressar o meu desacordo com a ideia de que (citando a resposta de Luis Queirós, responsável da Marktest, a uma reclamação de um candidato de Matosinhos) "não se pode comparar o incomparável". Vou tentar explicar porquê.

-Imaginem que duas empresas fazem sondagens num mesmo momento. Imaginem também que, confrontados os resultados das suas descrições de intenções de voto no momento t com os resultados eleitorais no momento t+1, as descrições de uma se aproximaram mais desses resultados que as descrições de outra;

- Não poderemos tentar saber por que razão terá isso sucedido? É claro que as diferenças se podem dever a um mero acaso, e se só tivermos duas sondagens não poderemos eliminar essa hipótese. Mas se tivermos muitas sondagens, é possível que certos padrões comecem a emergir. Se as sondagens cujas intenções de voto detectadas no momento t mais se aproximam dos resultados no momento t+1 tenderem a partilhar determinadas características de forma estatisticamente significativa, então passamos a poder dizer que essas características tendem a produzir descrições no momento t que se aproximam mais dos resultados eleitorais;

- É claro que, numa única eleição em Portugal, raramente há "muitas sondagens", e mesmo que haja (nestas autárquicas, por exemplo), nem todas são realizadas no mesmo concelho ou no mesmo momento t. Mas isso não é obstáculo à análise: a distância entre o trabalho de campo e as eleições e as características relevantes de cada eleição ou concelho podem ser integradas no modelo explicativo como variáveis de controlo, permitindo que se possa testar se, ceteris paribus, as restantes variáveis potencialmente explicativas (por exemplo, dimensão da amostra ou opções metodologias adoptadas) produzem de facto efeitos na "precisão" da sondagem (ou seja, na diferença entre a descrição das intenções num determinado momento e aqueles que vêm a ser os comportamentos);

- Quando se faz isto, não se nega que "intenções" antes das eleições e "comportamentos" nas eleições são coisas diferentes, sendo os primeiros medidos pelas sondagens e os segundos não. Mas sugere-se também que há opções técnicas que são tomadas que, previsível e significativamente, podem fazer com que determinadas "descrições" sejam melhores do que outras. Por que razão não deveremos fazer esta análise comparativa? Comparar duas coisas não é dizer que são iguais. Comparar é...comparar, detectar semelhanças e diferenças, e tentar apurar as suas causas.

3. Há um argumento algo mais sofisticado contra a comparação entre sondagens e resultados eleitorais, e é o seguinte. Há sondagens que se podem revelar extremamente "precisas" (cujas descrições de intenções no momento t se aproximam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente imprecisas, dado que as suas "descrições" no momento t estariam, de facto, muito desfazadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, precisas. Pelo contrário, pode haver sondagens extremamente "imprecisas" (cujas descrições de intenções no momento t se afastam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente precisas, dado que as suas "descrições" no momento t estavam, de facto, muito aproximadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, imprecisas.

4. O argumento faz, em abstracto, algum sentido, mas tem dois problemas. Por um lado, ele remete para uma comparação com uma realidade nunca mensurável e que permanecerá desconhecida para sempre ("as intenções de voto 'reais' no momento t). Por outro lado, ela colide com a realidade. Como diversos estudos têm demonstrado, a verdade é que, quando comparamos sondagens pré-eleitorais com resultados eleitorais, a sua "precisão" (a diferença entre as intenções de voto detectadas no momento t e os resultados eleitorais no momento t+1) é de facto determinada não apenas pelo acaso, mas sim por factores metodológicos previsíveis, tais como, pura e simplesmente, a dimensão da amostra, mesmo quando se controla a passagem de tempo entre o trabalho de campo e as eleições. Se intenções e comportamentos fossem duas realidades estanques, autónomas e incomparáveis, isso não aconteceria. Há descrições das intenções de voto no momento t mais precisas do que outras, e isso pode ser apreciado, com uma correcta especificação dos modelos explicativos utilizados, comparando sondagens e resultados eleitorais. E receio que, quanto mais se insistir no argumento da incomparabilidade, mas a opinião pública vai pensar que quem faz sondagens não quer ver o seu trabalho sujeito a análise e escrutínio públicos.

5. Há, contudo, um problema. Imaginem que, enquanto alguns andam a fazer sondagens que procuram "descrever" da melhor maneira possível a opinião pública no momento t, outros, seja aplicando modelos de previsão seja por mero palpite, modificam os resultados que obtêm das suas descrições no momento t de forma a aproximarem-se o mais possível daquilo que julgam que virão a ser os resultados no momento t+1. Aqui ficamos com um problema, porque diferentes resultados estão medir coisas diferentes: uns descrevem; outros prevêem. Lembram-se nas eleições inglesas quando, de repente, sondagens que davam resultados claramente distintos passaram a dar resultados muito semelhantes? Pois. Se isso se dever a opções metodológicas e de tratamento dos dados expressas, o exercício de comparar sondagens entre si e com resultados eleitorais ainda faz sentido, desde que o modelo integre essas opções como variáveis de controlo. Mas se alguns trabalham apenas na base do "palpite", então já não há maneira de modelar essas variações, e o exercício perde sentido.

6. A não ser que tenhamos muitas observações ao longo de muito tempo. Os palpites falham umas vezes e acertam outras, e com grandes números, é presumível que tudo se transforme em ruído aleatório. O que me parece mal é que, com o argumento da não comparabilidade entre sondagens e resultados eleitorais, desistamos de procurar quais as opções metodológicas que permitem melhores descrições da realidade. E acho que a opinião pública não deve ficar a pensar - erradamente, claro - que quem faz sondagens julga que se pode refugiar nesse argumento para justificar todo e qualquer desfazamento entre o resultado de uma sondagem e um resultado de uma eleição.

by Pedro Magalhães

Nação

Posted October 24th, 2005 at 4:38 pm4 Comments

Um pequeno equívoco, esclarecido aqui.

A Constituição Espanhola está cheia destas coisas, ambiguidades, palavras proibidas, ou palavras-código que significam umas coisas para uns e outras para outros. O resultado do "consenso" (estas aspas já são ligeiramente irónicas, mas era complicado explicar agora porquê...). Por exemplo, "Federalismo" é quase palavra proibida, se bem que nada falte à Espanha para ser uma federação (um federalismo assimétrico e competitivo, claro, mas federalismo nonetheless).

Sobre a discussão acerca da utilização do termo "Nação" no Estatut, e para ficarmos só pela imprensa recente, ver aqui ou aqui. Um estudo aprofundado destas e doutras questões do domínio do simbólico (mas não por isso menos relevantes) na transição espanhola é este.

by Pedro Magalhães

Governing without consent

Posted October 14th, 2005 at 10:32 am4 Comments

Análise do Polling Report. Excertos:

Not only are Bush’s overall approval ratings low and doubts about his leadership growing, but on a variety of issues he has been judged seriously deficient. A Zogby International survey gives Bush poor marks on a host of domestic and foreign concerns. Overall, the ratio of poor-to-excellent scores ranges from a low of 1:1 (managing the war on terror and Hurricane Rita) to a high of 8:1 (handling gasoline prices). If this were a parliamentary system, there would be a vote of no confidence and a new election held.
(...)
Six presidents since FDR have failed to recoup their public standing: Harry S. Truman, Lyndon B. Johnson, Richard M. Nixon, Gerald Ford, Jimmy Carter, and George H. W. Bush. What unites these six failed presidencies is each man’s inability to change the subject. Harry Truman could not get the public’s mind off the Korean War. Lyndon Johnson could not get people to focus on anything else except Vietnam and race riots. Richard Nixon could not erase the airing of the Watergate tapes (even as he tried to erase them in fact). Gerald Ford could not ameliorate voter anger over the Nixon pardon. Jimmy Carter became identified with his malaise speech and the Iranian hostage crisis. And George H. W. Bush was a foreign policy president at a time when voters could have cared less. George W. Bush is likely to share the fates of his predecessors for one reason: he can’t change the subject. Bush cannot take the focus away from the aftereffects of Hurricanes Katrina and Rita; Iraq continues to drain U.S. lives and resources with no end in sight; and (thanks to Iraq and the hurricanes) the fiscal crisis facing the next president has come four years early.
(...)
Forty-five years ago political scientist Richard Neustadt (in Presidential Power) noted that governing without consent has its consequences, as elites constantly gauge a president’s prestige: "[T]he prevalent impression of a president’s public standing tends to set a tone and to define the limits of what Washingtonians do for him, or do to him." The remainder of the Bush presidency will be more about limits, since his status has suffered a fatal blow. Consequently, the next three years will be marking time until another president with a popular mandate assumes the office.

by Pedro Magalhães

It made sense at the time

Posted October 13th, 2005 at 2:03 pm4 Comments

Aqui ao lado, o estado de graça também acabou:

Sigma-Dos, 4-6 Out., N=1000.
PP: 40.5%
PSOE: 40.1%
Other: 19.3%

Um dos factores que empurra o PP para cima é o verdadeiro molho de bróculos em que Zapatero se meteu quando, em 2003, prometeu em pleno Palau Sant Jordi "respeitar e apoiar" o "autogoverno e a identidade catalãs" e votar a favor de um novo Estatuto proposto pelo parlamento caso chegasse a Primeiro Ministro. Agora, o Parlamento da Catalunha reclama os "direitos históricos" da "Nação" catalã. "It made sense at the time" (...) since few people expected Zapatero would win the 2004 election. Pois.

Está a favor ou contra o Estatuto proposto pelo Parlamento Catalão?
A favor: 24,0%
Contra: 57,2%
Ns/Nr: 19,8%

by Pedro Magalhães

Off topic: Pinter Nobel (aditado)

Posted October 13th, 2005 at 12:20 pm4 Comments

Que bela e inesperada escolha. Ainda por cima, dá-nos a oportunidade de ver, dentro de momentos - escrevo isto às 12.25h do dia 13 - os blogues previsíveis a espernearem com o percurso político do homem, a falência ideológica da Academia Sueca, etc. Sit back and enjoy the play.

Aditamento: Já podem ir aqui, e não precisam de agradecer. Quem me dera que fazer sondagens fosse tão fácil como isto.

by Pedro Magalhães

Os efeitos das sondagens

Posted October 12th, 2005 at 2:22 pm4 Comments

De outro e-mail:

"Sei que deve ser complicado, mas deve haver alguma maneira de se poder medir o grau de Auto-Regressividade que as sondagens pré-eleitorais contêm. Penso que no Porto as Sondagens pré-eleitorais foram decisivas para a Maioria do Rui Rio no Porto, foi factor de mobilização. E penso que as sondagens em Braga , ( duas com resultados largamente favoráveis ao incumbente , outro com resultados em empate técnico) foram factor de desmobilização."

Complicado é pouco. Em 2001 foi apresentado um paper na conferência da World Association of Public Opinion Research, em Roma, intitulado "Towards a Systematic Assessment of the Impact of Polls on Voters: A Meta-analytical Overview and Theoretical Framework" escrito por dois investigadores da Universidade de Zurique (Sibylle Hardmeier e Hubert Roth) onde, com paciência e meticulosidade suíças, se fazia uma "meta-análise" dos efeitos das sondagens no comportamento eleitoral. Proceder a uma "meta-análise", uma metodologia comum nas ciências biomédicas, significa, para abreviar, procurar detectar relações entre fenómenos usando não observações empíricas directas mas sim os resultados de outros estudos publicados. Por outras palavras, uma "super-recensão".

Depois de analisarem 74 estudos publicados em revistas peer-reviewed em todo o mundo, os autores concluíram o seguinte:

1. Nunca se detectaram efeitos significativos e robustos das sondagens na abstenção/participação eleitoral;

2. A maioria dos estudos que detectam efeitos na escolha de voto detectam efeitos bandwagon (sondagens que apontam um vencedor tendem a aumentar a probabilidade de que os eleitore votem nesse vencedor), se bem que também existe um número significativo de estudos que apontam efeitos underdog (favorecendo o "perdedor" nas sondagens);

3. Os resultados são claramente contrastantes consoante a metodologia usada: estudos na área da psicologia social, utilizando desenhos experimentais, tendem a encontrar efeitos bandwagon; estudos usando inquéritos de opinião produzem resultados mais variados.

Em resumo, os autores concluem que as sondagens produzem quase certamente efeitos, mas não é evidente em quem, como, em que direcção e em que circunstâncias. Certo certo é que, em resposta à sugestão do leitor, nunca se encontraram efeitos das sondagens na mobilização ou desmobilização eleitoral, mas apenas na intenção ou escolha de voto, e mesmo assim em direcções contraditórias. Isto quer dizer que não existem? Não. Quer dizer que estamos à espera que alguém prove que eles existem. E não é por falta de tentativas...

O problema é este: como saber se as expectativas que as pessoas formam sobre os resultados das eleições resultam directamente das sondagens em si mesmas ou de outra coisa qualquer? A verdade é que, quando questionados, antes das eleições, sobre o que esperam que venham a ser os resultados, os indivíduos que estiveram expostos a sondagens tendem a dar palpites muito aproximados aos daqueles que não estiveram expostos a elas. E se estar "exposto" directamente é apenas uma pequena parte dos efeitos gerais que as sondagens podem ter nas expectativas dos eleitores (porque podem condicionar indirectamente essas expectativas ao afectaram a cobertura mediática e o discurso político), como se demonstram esses efeitos indirectos? E se há sondagens contraditórias num mesmo momento, quais delas têm efeitos em quem, e como? Complicado, deveras.

O leitor relata ainda um episódio interessante destas eleições (mais um):

Chamo a sua atenção para o que se passou em Braga. No dia seguinte à publicação de uma sondagem em que se dava conta de um empate técnico num jornal diário, num outro, fortemente identificado com o poder local, dava-se uma sondagem com diferença de 17 % entre os dois maiores candidatos (ver http://www.marktest.com/wap/a/p/conc~Braga/id~cd.aspx) No entanto esta sondagem, a última a ser apresentada , foi realizada duas semanas antes da outra, e três semanas antes da sua publicação! É errado pressupor que houve manipulação do timing da sondagem? É normal congelarem sondagens durante 3 semanas?

"Pressupor" parece-me errado, mas normal não será, concerteza.

by Pedro Magalhães

Presidenciais (com atraso)

Posted October 12th, 2005 at 11:31 am4 Comments

Intercampus, 3-6-Outubro 2005, N=1004

1ª volta, cenário 1 (indecisos redistribuidos);
Cavaco Silva: 53%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 6%
Jerónimo de Sousa: 4%

1ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 50%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 7%
Jerónimo de Sousa: 4%
Paulo Portas: 2%

2ª volta, cenário 1 (indecisos redistribuidos):
Cavaco Silva: 66%
Mário Soares: 34%

2ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 63%
Manuel Alegre: 37%

by Pedro Magalhães