Pedro Magalhães

Margens de Erro

Marktest, 24 Out, N=806, Tel.

Posted November 6th, 2009 at 6:32 pm4 Comments

Os resultados podem ser encontrados aqui.

by Pedro Magalhães

O relatório sobre as sondagens, 2ª parte (longo)

Posted November 4th, 2009 at 10:16 am4 Comments

O relatório feito por uma comissão nomeada pela ERC para fazer um "diagnóstico sobre a situação das sondagens" foi divulgado há duas semanas. Num post anterior, disponibilizei esse relatório e um resumo das suas principais conclusões.

A primeira coisa que queria notar é o silêncio sepulcral com que as conclusões desse relatório foram recebidas, com excepção de meia-dúzia de notícias divulgadas no próprio dia. Esse silêncio era expectável, mas não por isso menos instrutivo. Nos últimos meses, foram muitas as dezenas de comentadores, políticos e bloggers, dos mais inteligentes e informados até aos semi-analfabetos, que acharam que tinham coisas interessantes e importantes para dizer sobre as sondagens, os institutos que as fazem, os seus resultados, os seus métodos e as suas consequências. Passadas as eleições, e havendo informação produzida por uma fonte independente quer dos partidos quer dos institutos de sondagens, verifica-se que quase ninguém tem nada para dizer sobre o assunto. Só se podem tirar duas conclusões. Ou todas estas pessoas foram atingidas por uma súbita falta de tempo e disponibilidade para pensar no assunto, ou então a esmagadora maioria desses comentários - com raríssimas excepções - não foram feitos por pessoas interessadas nas sondagens, na sua qualidade ou nas suas consequências. Foram feitos com motivações estrita, única e exclusivamente políticas. Não é que não se soubesse, mas é bom dispormos agora da prova categórica.

Dito isto, passemos ao relatório. Neste post, dividi as conclusões em três tipos: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações. Quanto às primeiras, não tenho comentários para fazer. As coisas são o que são, e só resta esperar que todos se sintam alertados para algumas omissões que continuam a existir nas fichas técnicas depositadas na ERC e que contribuam para as corrigir. O mesmo não sucede quer em relação à análise dos resultados das sondagens propriamente ditos quer em relação às recomendações contidas no relatório.

Sobre as recomendações, subscrevo facilmente muitas das que são feitas: a indicação clara dos procedimentos de amostragem; a inclusão do questionário completo no depósito feito na ERC; a apresentação dos resultados em números inteiros; a indicação de todas as variáveis usadas para a ponderação pós-amostral; ou a elaboração de manuais e cursos para jornalistas. O tema do abandono das casas decimais nos resultados foi aparentemente controverso na conferência onde o relatório foi apresentado, mas Portugal deve ser dos poucos países onde isso sucede:

"The field is not an exact science, nor can it measure minute degrees of difference. Readers should be skeptical of studies that report poll results in terms as exact as two decimal places (7.03 percent, for example). Even one decimal place is usually misleading."

"The figures for the actual election result are given to the nearest decimal place, since they are real figures. The polls results, on the other hand, are expressed only as whole percentages. This is because they are estimates, subject to sampling error (...), and while it is possible to express the poll results to any number of decimal places, it is implying a spurious level of accuracy to quote a figure of 34.3%, when it is really 34.3% plus or minus 3%."


"Don't use decimals. In reporting polling numbers, you should always use whole percentages, never results with decimal points. Since these results are always subject to error, using decimals implies a precision that does not exist."


Dito isto, há recomendações com as quais não concordo:

- Em primeiro lugar, a recomendação de que, em amostras por quotas, se utilize ponderação pelo último voto. Isto significa que, nas sondagens, os inquiridos deverão ser questionados sobre o partido em que votaram nas últimas eleições e, caso haja discrepâncias entre os resultados obtidos na amostra e os resultados eleitorais reais das últimas eleições, se deve proceder a reequilíbrio amostral. Não creio que caiba à ERC, nem a uma comissão de diagnóstico nomeada pela ERC, a recomendação da adopção de opções técnicas e metodológicas cuja bondade na melhoria das estimativas não seja inequívoca. E a verdade é que não é de todo evidente que isso suceda com a ponderação por recordação de voto. O tema é controverso, há quem utilize esta ponderação e quem não a utilize, e, mais importante, não há qualquer evidência empírica para o caso português de que a sua utilização melhore os resultados. Isto não implica que não se deva discutir a sua adopção. E até possível que se conclua que, afinal, é mesmo a melhor opção no caso português. Mas é matéria para discussão e estudo, não para uma "recomendação" emanada de uma comissão nomeada pelo regulador sem bases factuais.

- O relatório sugere que, em amostras por quotas, se mencione que "o erro é desconhecido". Mas isto é enganador. É uma recomendação que, à partida, parece fundada em bases técnicas, mas é-o apenas superficialmente. É verdade que o conceito de erro amostral e a sua estimação presume amostras probabilísticas, coisa que as amostras por quotas, por definição, não são. Mas a verdade é que as amostras ditas aleatórias também não o são. Mesmo quando seleccionam números de telefone por puro random digit dialing, a incapacidade de estabelecer contacto com inquiridos que teriam sido seleccionados aleatoriamente ou de obter deles respostas faz com que a amostra deixe de ser uma amostra probabilistica do universo que se pretende e se diz representar. E em sondagens presenciais, mesmo que seleccionem localidades, domicílios e inquiridos aleatoriamente, a utilização de cluster sampling introduz erro adicional ao erro subjacente a uma amostragem puramente aleatória. Não é impossível estimar esse erro, mas é bastante complicado e, de resto, controverso. Logo, a única coisa que uma ficha técnica pode razoavelmente dizer em qualquer sondagem é aquilo que a comissão sugere na 2ª parte da sua recomendação: "Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%". O erro, em rigor, é sempre desconhecido, e dizer isso apenas nas amostras por quotas é que é, isso sim, enganador.

- A indicação da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção seria sem dúvida uma informação útil a adicionar à ficha técnica depositada na ERC. Mas iludimo-nos se pensarmos que essa informação pode ser sempre depositada antes da divulgação pública de uma sondagem pré-eleitoral. Em estudos académicos ou qualquer outro tipo de sondagem que não esteja sujeito a um calendário apertado de divulgação, não hesito em apoiar a ideia. Mas é muito frequente que, de forma a que uma sondagem seja conduzida o mais perto possível da data das eleições, minimizando diferenças entre resultados de sondagens de intenção de voto e resultados eleitorais, não sobre depois tempo para conduzir todos os controlos e inspecções antes da divulgação pública dos resultados. Logo, em muitos casos, a indicação que a comissão sugere para a ficha técnica depositada na ERC antes da divulgação pública dos resultados não pode, pura e simplesmente, ser feita.

- O relatório sugere que é importante que as fichas técnicas passem conter informação sobre "abstenção estimada". Não contesto de forma alguma que as fichas técnicas depositadas na ERC e a divulgação que é feita das sondagens junto de amostras que visam representar a totalidade dos eleitores incluam informação sobre a parte que, quando questionada sobre se vai ou não votar, responde que não o tenciona fazer. Também me inclino bastante - por achar o tema quase consensual na literatura - para que um questionário contenha sempre uma ou várias questões, separadas da questão de intenção de voto propriamente dita, destinadas a apurar a probabilidade de que um inquirido vá votar. Nuns casos, essas perguntas servirão para estimar um "eleitorado provável" de entre o conjunto de eleitores inquiridos, dando às intenções de voto desses um peso maior (ou exclusivo). Noutros casos - que me parecem pouco inventariados no relatório - parecem servir mesmo para definir a própria amostra, fazendo com que seja exclusivamente composta de "eleitores prováveis". O que já não compreendo bem é a recomendação de que se apresente sempre um valor para a "abstenção estimada". "There is no standard, widely accepted way for estimating a person's likelihood of voting. Most polling organizations combine the answers to several questions to estimate the likely electorate, and some methods work better than others". Obrigar os institutos a apresentarem as frequências das perguntas que utilizaram para estes efeitos é uma coisa. Obrigá-los a apresentar uma "estimativa" da abstenção é outra. Não creio que a segunda deva ser exigida.

- Finalmente, o relatório recomenda a criação de um "programa informático" que "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão". Acho óptimo que a ERC ou seja quem for recolha e disponibilize resultados de sondagens e de todos os aspectos técnicos ligados à sua realização. De resto, a ERC vai fazendo cada vez melhor trabalho neste domínio. Mas não sei como vai a ERC compatibilizar esta recomendação do relatório, especialmente no que diz respeito aos intervalos de confiança, com esta outra:

"No caso de sondagem por quotas, a indicação da margem de erro tem um sentido meramente indicativo do erro que se correria se ela fosse probabilística. Mas como não o é, o erro pode ser muito maior, maior, menor ou muito menor, pelo que em nosso entender se deve claramente referir que “o erro é desconhecido." (p. 23)

De resto, a afirmação de que "o erro pode ser muito maior, maior, menor ou muito menor" aplica-se igualmente a amostragem aleatória. E mais importante, claro, é este conceito de "saiam fora dos limites previstos". Na base do que acabam por a ser os resultados das eleições? Ah, mas isso é matéria para o próximo post.

by Pedro Magalhães

A banda sonora da minha adolescência

Posted November 1st, 2009 at 11:15 pm4 Comments

O primeiro responsável pela banda sonora da minha adolescência morreu ontem. Houve outros, como Ricardo Saló e Aníbal Cabrita (no "Noites de Luar"), mas António Sérgio foi o primeiro que fez com que, na altura, a música que ouvíamos fosse a coisa mais importante das nossas vidas.

Duas canções que, estou quase certo, ouvi pela primeira vez no "Som da Frente". Mais adolescente que a segunda não existe. E contudo, ainda a tenho no i-Pod.



by Pedro Magalhães

Um dia

Posted October 29th, 2009 at 4:36 pm4 Comments

Planet Money é o nome de um blog e de um podcast da National Public Radio dedicado a temas económicos, tratados de forma acessível e divertida mas nunca simplista. Não perco um podcast.

Há duas semanas, um desses podcasts foi dedicado a um funcionário da Exxon em Angola e a Minguito, um rapaz que vive nas ruas de Luanda vendendo pastilha elástica e cigarros. O dia em que um órgão de comunicação social português disser algo de semelhante ao que aqui é dito sobre Angola e o seu governo será um dia feliz para a imprensa portuguesa. Receio que esse dia não esteja para breve.

by Pedro Magalhães

O Trocas

Posted October 28th, 2009 at 6:08 pm4 Comments

Há uma série de novidades na calha para o Trocas, que serão implementadas a pouco e pouco. A principal será a introdução em tempo real das melhores ordens de venda e de compra para cada contrato, para que quem queira negociar se oriente melhor. Mais e melhores gráficos, novas formas de participação e discussão no mercado, etc.

Entretanto há um novo contrato com um novo putativo futuro líder do PSD: Morais Sarmento (e a ver se não teremos de meter outro em breve). Em geral, contudo, o mercado nunca teve certezas sobre o PSD. Foram raras transacções feitas a mais de 50. Mas importa dizer que o título mais valorizado desde o início dos contratos quase nunca deixou de ser Pedro Passos Coelho.

by Pedro Magalhães

Relatório sobre sondagens e inquéritos de opinião

Posted October 28th, 2009 at 1:03 pm4 Comments

Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.

Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.

Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.

1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.


2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.


3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.

Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.

Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.

by Pedro Magalhães

Thompson Library, OSU

Posted October 25th, 2009 at 7:51 pm4 Comments





by Pedro Magalhães

Seven Nation Army

Posted October 25th, 2009 at 7:43 pm4 Comments

by Pedro Magalhães

Outono a sério

Posted October 25th, 2009 at 7:39 pm4 Comments






by Pedro Magalhães

Uma ideia para Alberto Martins

Posted October 25th, 2009 at 7:37 pm4 Comments

by Pedro Magalhães