Pedro Magalhães

Margens de Erro

Intercampus, Presidenciais, 25 de Novembro

Posted November 30th, 2005 at 11:47 am4 Comments

Sei que já tem uns dias, mas tenho andado ocupado. Seja como for, não há novidades.



P.S. - Começa a tornar-se um hábito que a Intercampus - ou os órgãos de comunicação que divulgam as suas sondagens - não explique na ficha técnica os critérios de selecção dos domicílios ou dos inquiridos.

by Pedro Magalhães

Conflitos de interesses

Posted November 27th, 2005 at 8:18 pm4 Comments

Eduardo Pitta, no Da Literatura, insurge-se contra o facto de eu, ao mesmo tempo que colaboro com um instituto de sondagens, ter também um blogue sobre sondagens e opinião pública, e ver esse blogue citado no jornal para o qual o instituto com que colaboro faz sondagens. Segundo Eduardo Pitta,

Era como se os juízes viessem comentar nos seus blogues os processos que estão a julgar. Aparentemente, muita gente considera o procedimento benigno. Por este andar, vamos ter analistas a comentar nos jornais que encomendam as amostragens, os «resultados» da concorrência, contextualizando-os de forma a levar água ao moinho de eleição.

Não é nada que não me tivesse ocorrido. Há cerca de um ano, quando pensava se havia de começar este blogue ou não, questionei-me se isso representava um conflito de interesses. Pensei em vários exemplos. Poderá um novelista/poeta, especialmente um que escreva sobre literatura num blogue, criticar livros dos seus colegas de ofício em revistas literárias onde mantenha uma colaboração regular? Enfim, exemplos desse género. Nunca me ocorreu comparar as sondagens divulgadas na comunicação social e obrigatoriamente depositadas na Alta Autoridade para a Comunicação Social com matéria em segredo de justiça, mas se calhar foi falta de lembrança.

Creio que deverão ser os leitores a ajuízar. Sei que nunca ocultei onde trabalho. Cheguei mesmo a avisar que, tendo em conta que as opções metodológicas tomadas pelas sondagens da Católica são, em parte, da minha responsabilidade, tenderia a defendê-las pelo simples facto de que as defendo em abstracto, seja onde for que trabalhe, e por isso mesmo as ponho em prática. Interpreto os dados de que disponho, e nessas interpretações serei sempre, inevitavelmente, falível e subjectivo. Mas nunca interpreto dados que não coloque imediatamente aos dispor daqueles que lêem o que escrevo, para que todos possam fazer os seus próprios juízos e avaliar até que ponto sou ou não objectivo e isento. E procuro sempre sê-lo. Mas mais uma vez, terá de ser o leitor a dizer se isto chega.

Registo apenas que, mesmo tendo lido este blogue e especialmente este post, Eduardo Pitta não se tenha disposto a corrigir no seu blogue um único dos muitos erros que cometeu nesta sua análise dos resultados das sondagens de 5ª feira. Pelos vistos, questionar as coisas que escrevi não lhe interessa; o que lhe interessa é questionar o meu direito de as escrever.

by Pedro Magalhães

Numeracia, precisa-se (continuação)

Posted November 24th, 2005 at 11:44 pm4 Comments

De um leitor:
Dizer que os jornalistas deviam ser melhores (mais consistentes, mais fundamentados, mais enquadrados) mediadores de informação é apenas parte da solução para um problema complexo.Uma outra parte da solução deverá - creio que concorda - ser conseguida com uma maior literacia mediática de quem elabora os estudos. Quando queremos que a nossa mensagem passe de forma clara devemos, a montante, fazer todo o possível para assegurar que dela não podem ser tiradas conclusões erradas ou - o que acontece no mais das vezes - visões parcelares. E, no caso em apreço, ajudaria também acordar entre os principais operadores uma tipologia de comportamento idêntica, sobretudo quando os estudos são alvo de tanta atenção.

E de outro:
Não será que as empresas de sondagens poderiam definir uma metodologia comum (ou com ou sem ponderação de indecisos)? É que, tal como aconteceu hoje, basta chegar ao quiosque para se ficar perplexo. (...) Qual é o papel das empresas de sondagens nesta questão? Eu acho que não se podem demitir...

Gostava que ficasse claro que estou inteiramente de acordo com o que se diz nestas mensagens. Aliás, na próxima 4ª feira, no programa Clube de Jornalistas (gravado antes dos acontencimentos de hoje), ouvir-me-ão defender isto mesmo: quem faz as sondagens deve exercer, junto de quem as divulga, uma função pedagógica, esclarecendo os "clientes" sobre o que as sondagens "dizem" e "não dizem".

Mais: tal como defendi aqui e aqui há quase um ano (peço-vos a paciência de relerem), quem faz as sondagens, independentemente ou não de exercer essa "função pedagógica", deve à partida apresentar os resultados de forma a que este tipo de confusões nem tenham oportunidade de suceder. Não de trata de usar metodologias comuns, que quanto a isso cada um terá as suas opções, mas sim de apresentar sempre os resultados de formas comparáveis, esclarecendo as virtudes e limites de cada forma de os apresentar.

E mais ainda: estou perfeitamente convencido que, muito mais até do que através de qualquer imposição externa, a melhor maneira de resolver este tipo de problemas seria através de uma instância de auto-regulação, à semelhança do que existe nos Estados Unidos ou no Reino Unido, tal como defendi aqui.

Finalmente soube entretanto que a discussão ocorrida durante o Fórum TSF (que não ouvi), serviu, em grande medida, para esclarecer algumas das confusões criadas.

A responsabilidade é de todos, institutos de sondagens e jornalistas incluídos. Entendamo-nos, então.

by Pedro Magalhães

Ponto de situação

Posted November 24th, 2005 at 12:19 pm4 Comments

1. Se bem que haja sondagens onde a existência de uma maioria absoluta de intenções válidas de voto para Cavaco Silva é incerta (Eurosondagem), todas as estimativas de todas as sondagens apontam para essa maioria absoluta. Ou seja, a probabilidade de que essa maioria absoluta seja fruto de erro amostral é cada vez mais diminuta. Pode mais, sim, ser fruto de um qualquer enviesamento comum a todos os estudos, mas não há sinais sobre que enviesamento poderá ser esse. Convém esperar pelas primeiras sondagens presenciais para discutir melhor esta questão.

2. Cinco das seis sondagens apontam para mais intenções de voto em Alegre do que em Soares, pelo que o raciocínio no ponto anterior se pode aplicar: é cada vez mais provável que, no universo, haja mais eleitores de Alegre do que de Soares. Contudo, ao contrário com o que sucede com a votação de Cavaco Silva, tem havido uma grande instabilidade nas estimativas atribuídas a Mário Soares, que oscilaram entre 11% e 18%, ou seja, uma amplitude de nada menos que 7 pontos (mais de metade que a sua estimativa mais baixa). É certo que as estimativas de Cavaco oscilam entre 52,6 e 62 (9,4 pontos), mas do ponto de vista relativo (em relação ao total de intenções de voto) essa dispersão é muito menos significativa do que se passa com Soares. Logo, creio que temos menos razões para estarmos seguros da existência actual de uma vantagem clara de Alegre sobre Soares do que sobre a existência actual de uma vantagem clara das intenções de voto em Cavaco em relação à barreira dos 50%.

3. Quanto a Francisco Louçã e Jerónimo de Sousa, quem disser que sabe qual deles têm actualmente mais apoio eleitoral não saberá o que está a dizer.

4. Na sondagem da Católica, alguns resultados interessantes:

- Eleitorado do PS é o mais dividido, não só entre Soares e Alegre, mas também (mais grave para as perspectivas da esquerda) entre Cavaco e a abstenção;

- Cavaco mobiliza o eleitorado sem simpatias partidárias com maior eficácia do que qualquer outro candidato;

- Entre que tencionam votar mas se dizem "indecisos" sobre em quem votar, o eleitorado do PS encontra-se ligeiramente sobrerepresentado, o que sugere algum (modesto) potencial de crescimento para os candidatos à esquerda de Cavaco. Contudo, o eleitorado do PS encontra-se fortemente sobrerepresentado entre os dizem ter a certeza que não irão votar. Aqui, o potential de crescimento será praticamente nulo, sabendo nós que as sondagens subestimam (em vez de sobreestimarem) os abstencionistas;

- Perante cenários hipotéticos de uma 2ª volta, Cavaco tem acima de 60% (tal como em todas as sondagens até agora) de intenções válidas de voto. Mas Alegre sai-se, neste momento e perante o cenário de uma 2ª volta, melhor do que Soares. Porque Soares tem muito maiores dificuldades em atrair numa 2ª volta os votantes dos restantes candidatos da esquerda, perdendo muitos para a abstenção;

- Mais de metade dos que se declaram eleitores de Manuel Alegre na 1ª volta acham que Soares é o candidato que pode obter melhores resultados perante Cavaco Silva. Leram bem? Repito: mais de metade dos que se declaram eleitores de Manuel Alegre na 1ª volta acham que Soares é o candidato que pode obter melhores resultados perante Cavaco Silva. Logo, o seu voto não decorre (se é que alguma vez decorreu) de uma decisão estratégica sobre "quem pode derrotar Cavaco Silva", mas sim da expressão de uma posição política independente do desfecho concreto da eleição.

Em resumo, na base destes dados, apesar de a maioria dos portugueses achar que é Mário Soares quem tem melhor hipóteses de contrariar a vitória de Cavaco Silva, a situação é-lhe muito pouco propícia. À parte a possibilidade de roubar eleitores ao próprio Cavaco Silva, que não pode ser excluída (Cavaco parte de um ponto tão alto que dificilmente poderá subir, apenas descer), o potencial de crescimento do eleitorado de Soares à esquerda parece depender em grande medida da captação de pessoas que, a esta hora, já serão dificilmente convertíveis:

- os que já dizem à partida que não tencionam votar, especialmente o eleitorado desmobilizado do PS;

- e os eleitores de Manuel Alegre, maioritariamente compostos por pessoas que declaram tencionar votar em Alegre apesar de acharem que Soares é quem tem hipóteses de obter um melhor resultado contra Cavaco Silva, o que mostra que a argumentação "estratégica" - o voto em Soares como única maneira de derrotar Cavaco - não deverá ser suficiente para os converter.

by Pedro Magalhães

Numeracia, precisa-se

Posted November 24th, 2005 at 10:56 am4 Comments

As primeiras páginas do Público e do Diário de Notícias de hoje, assim como os noticiários da TSF sobre as sondagens presidenciais, constituem magníficos exemplos da forma como os resultados de sondagens NÃO devem ser divulgados, e terão lançado, de forma totalmente evitável, uma enorme confusão entre a opinião pública.

O Público coloca na primeira página o título Cavaco aumenta vantagem para vitória à primeira. Já o DN coloca na primeira página o título Cavaco Silva mais longe da vitória à primeira volta. Confusos? Não precisam de estar. Vamos por partes.

O Público devia, desde logo, ter evitado falar de "aumento de vantagem". Por alguma razão, na documentação que recebeu do Centro de Sondagens da Católica, os resultados da sondagem hoje divulgada não foram comparados com os resultados da sondagem de Setembro. Porquê? Porque nessa sondagem, Alegre nem sequer era ainda candidato, e Cavaco ainda não tinha oficializado a sua candidatura. Os resultados da sondagem de hoje e da sondagem de Setembro não são directamente comparáveis. Falar de "aumento de vantagem" em relação a uma sondagem em que o menu de candidatos nem sequer era o mesmo é, no mínimo, insensato.

Contudo, o que se passou no DN e na TSF hoje foi bastante mais grave. Fala-se na notícia do facto de Cavaco Silva ter perdido terreno (de 48,8% para 44%), o que já me parece correcto, dado que se toma como referência uma sondagem da Marktest do mês passado onde todas as candidaturas já eram contempladas. Contudo, toda a cobertura da sondagem por parte do DN e da TSF se orienta para a ideia de que, com este resultado, Cavaco Silva ficou mais longe de ultrapassar a barreira de 50% que lhe daria a vitória à primeira volta. Mais: à hora que escrevo isto, decorre um "Fórum TSF" cujo tema, cito de cor, é o seguinte disparate:

"Será que o vencedor das presidenciais é uma incógnita, como sugere a sondagem DN/TSF/Marktest de hoje, ou que a vitória de Cavaco Silva é uma certeza, como sugere outra sondagem divulgada hoje"

Já nem falo do absurdo que constitui dizer-se que uma qualquer sondagem, sejam quais forem os seus resultados, dá certezas seja do que for sobre eleições que vão ter lugar daqui a dois meses. Mas o pior é isto: estão a comparar-se coisas totalmente incomparáveis. Os resultados divulgados na primeira página do Público apresentam os resultados da sondagem como se fossem resultados de eleições, excluindo indecisos, abstencionistas e votos brancos e nulos, única maneira de se dizer se as intenções válidas de voto em Cavaco Silva estarão, neste momento, acima dos 50%. Mas os resultados da sondagem divulgada no DN e na TSF estão a ser tratados como se pudessem ser comparados como resultados de eleições e com os resultados da Católica, quando não podem, porque são calculados em relação a uma base que inclui abstencionistas, votos em branco e respostas "não sabe/não responde".

E o mais irónico de tudo é isto:



Quando se tornam as sondagens comparáveis - seja porque na sondagem Marktest redistribuímos proporcionalmente as opções "não válidas" de voto pelas opções válidas/ equivalentes a resultados eleitorais, seja porque na sondagem da Católica se adopta o procedimento habitual para esse fim (redistribuir indecisos na base de uma squeeze question sobre inclinação de voto e redistribuir proporcionalmente as restantes opções não válidas pelas válidas) - os resultados são muito semelhantes: 56/57 para Cavaco, 19/17 para Alegre e 5/6 para Jerónimo de Sousa. As diferenças só são maiores nos casos de Soares (13/16) e Louçã (6/4), confirmando aliás um padrão anterior de maior instabilidade nas estimativas para estes candidatos nas sondagens feitas até ao momento.

Será isto tão difícil de entender? Será assim tão difícil às direcções editorais imporem requisitos mínimos de numeracia a quem trata estas notícias? Será assim tão difícil evitar lançar a opinião pública na confusão total quanto aos resultados das sondagens? Há dias em que, confesso, me apetece mudar de ramo...

by Pedro Magalhães

Revisitar as sondagens presidenciais

Posted November 21st, 2005 at 4:17 pm4 Comments

Sugere-me um leitor que revisite as sondagens para as presidenciais de 1986 e 1996.

Tenho hesitado em fazê-lo (ao contrário do que fiz aqui, aqui, aqui ou aqui para as legislativas). O que se passa é que me falta informação metodológica importante, especialmente em relação aos resultados das últimas sondagens publicadas por cada órgão de comunicação social. Para além disso, baseio-me nalguns casos em fontes indirectas, ou seja, artigos de jornal sobre as sondagens publicados após as eleições, especialmente em 1996 (quando nem sequer estava no país). Tudo isto retira alguma utilidade ao exercício.

Contudo, se o exercício é inútil quanto às diferenças metodológicas entre as sondagens e suas consequências, é particularmente útil no que respeita às diferenças entre eleições e entre a regulação da actividade das sondagens que prevalecia à data dessas eleições. Já veremos como.

Junto portanto os resultados de 1996 e 2001. Eleições antes dessas é inútil, dado que só durante 1991 se tornou possível divulgar resultados uma semana antes das eleições. Claro que toda a gente se lembra das sondagens de 1986. Mas o que eventualmente muitos não recordam é que as sondagens que foram conhecidas foram publicadas um mês antes das eleições, ou seja, antes da campanha começar! Qualquer comparação delas com os resultados eleitorais é inútil do ponto de vista da apreciação da qualidade da informação prestada à opinião pública (se bem que não do ponto de vista das dinâmicas de campanha).

Em 1996, foram estes os últimos resultados divulgados antes das eleições:



Seguem-se as projecções divulgadas na noite eleitoral em 1996 (não lhes chamo sondagens à boca das urnas porque, em rigor, não o eram, dada a proibição de fazer inquéritos à saída dos locais de voto; os institutos usavam soluções mais ou menos criativas para contornar o problema):



Em 2001, as pré-eleitorais:



E as (agora sim) sondagens à boca das urnas:



As lacunas na informação metodológica impedem grandes reflexões sobre estas sondagens, e recordo mais uma vez que, especialmente em relação a 1996, alguma da informação que recolhi foi indirecta, o que levanta a possibilidade de imprecisões. Mas é possível dizer-se rapidamente o seguinte:

1. Mais abstenção, maior distância entre sondagens pré-eleitorais e resultados eleitorais: restam-me poucas dúvidas que o severo encurtamento da vantagem de Jorge Sampaio em 2001, na comparação entre sondagens e resultados, se deveu em parte a elevadíssima abstenção e, especialmente, a desmobilização dos eleitores do actual Presidente;

2. A diferença que fazem as sondagens à boca das urnas: a precisão das "projecções" na noite eleitoral em 2001 foi muito grande e, na altura, muito maior do que a atingida em qualquer eleição anterior, presidential ou outra. É impossível não relacionar isto com a mudança da legislação em 2000, que permitiu a realização de verdadeiras sondagens à boca das urnas.

by Pedro Magalhães

Sobre sondagens

Posted November 21st, 2005 at 3:06 pm4 Comments

A ler, um artigo de Tiago Mendes no Diário Económico.

Sobre a interdependência entre as sondagens e os resultados eleitorais, só me resta remeter para este post.

E se o autor me permite uma correcção, importa notar que uma sondagem à boca das urnas não é uma previsão. Uma sondagem à boca das urnas mede comportamentos já ocorridos (questionando eleitores à saída das urnas, após o voto), permitindo que se faça, na base da amostra, uma inferência acerca daquilo que ocorreu (pretérito) no universo dos eleitores.

Pode-se dizer, sim, que precisamente por não ser (nem poder ser encarada como) uma previsão, uma sondagem à boca das urnas elimina algumas das fontes de incerteza associadas a qualquer estimativa pré-eleitoral de resultados eleitorais (tais como a instabilidade nas intenções de voto, a abstenção diferencial, etc.), seja ela baseada numa sondagem pré-eleitoral propriamente dita ou em outros preditores para além das intenções de voto (estado da economia, popularidade dos líderes, etc.), para além de ter a vantagem de contar, geralmente, com amostras de maior dimensão do que as usadas em sondagens pré-eleitorais.

by Pedro Magalhães

A exposição dos candidatos nos media

Posted November 21st, 2005 at 11:33 am4 Comments

As observações de Jorge Candeias fazem sentido. Por um lado, a questão de medição. O que significa "notícias protagonizadas por cada personalidade"? Suponho que uma notícia é contada como tal quando os candidatos são explicitamente objecto de notícia, mas não posso estar seguro. Não descobri no site da Marktest a definição operacional desta variável.

Por outro lado, o período coberto. Observa-se na Lâmpada Mágica:

E também pergunto a mim próprio por que motivo foi escolhido o período de tempo que foi. É que desde 22 de Agosto até hoje houve as eleições autárquicas e uma campanha eleitoral (e uma longa pré-campanha) em que os líderes dos partidos se fartaram de aparecer, por inerência de cargo. E adivinhem quem são os líderes partidários que se candidataram a Belém? Nem mais: Louçã e Jerónimo, os dois mais "protagonistas" entre os "protagonistas". Dá-me a sensação de que aqui estamos a comparar coisas que não são comparáveis, o que é capaz de criar enviezamentos no método e, portanto, nos resultados.

A data de início deve-se, creio, ao lançamento das primeiras candidaturas, mas o problema mantém-se. Mas resolve-se. Basta ir aqui e tomar como âmbito temporal um período mais curto. Olhemos, por exemplo, para o que se passou desde a semana 42 (uma semana depois das autárquicas) até à semana 45 (que terminou no dia 13 de Novembro):

Mário Soares: 79 notícias, 215 minutos;
Cavaco Silva: 54 notícias, 163 minutos;
Manuel Alegre: 55 notícias, 147 minutos;
Jerónimo de Sousa: 52 notícias, 139 minutos;
Francisco Louçã: 51 notícias, 139 minutos.

De facto, faz diferença a exclusão do período das autárquicas. Após este período, Mário Soares conseguiu aparecer nas televisões com uma frequência e duração superior à dos restantes candidatos. Cavaco Silva surge em segundo lugar, mas muito por força daquele dia em que as televisões acompanharam o lançamento da sua candidatura, o que levou a notícias com muito longa duração.

Isto mede aquilo que mede. Não mede conteúdo/enviesamento da notícia, não mede o seu posicionamento na hierarquia do alinhamento noticioso, nem deve contar com notícias indirectamente relacionadas com os candidatos. Vale o que vale, como se diz das sondagens...

by Pedro Magalhães

Tudo o que precisa de saber…

Posted November 18th, 2005 at 1:37 pm4 Comments

Plus ça change…

Posted November 16th, 2005 at 1:25 pm4 Comments

1. Entre 53% e 63% dos franceses (dependendo da formulação da pergunta) aprovam a actuação de (ou têm confiança em) Sarkozy em face da violência urbana (BVA, 10 Novemebro, em .pdf; IFOP, 13 de Novembro, aqui e aqui; IPSOS, 16 de Novembro, aqui);

2. 61% dos franceses declaram que, caso Sarkozy se apresente às eleições presidenciais, votarão certamente (19%) ou possivelmente (42%) nele, mantendo-o acima de qualquer outro candidato potencial (IPSOS, aqui);

3. As soluções mais apontadas pelos franceses para resolver a "crise dos banlieus" a médio prazo consistem em "dar mais meios para a educação" (47%), "assegurar uma melhor mixité social(como traduzir?) (45%) e "desenvolver policiamento de proximidade" (40%) - CSA, 8 Novembro, aqui.

P.S. - Os resultados descritos nos pontos 1 e 2 ganham novo sentido se lidos à luz de uma crónica, onde (para variar em relação a um seu recente registo jornalístico mais, digamos, engagé) Rui Ramos faz uma interessante análise da "alta política" por detrás da violência urbana em França.

by Pedro Magalhães