Pedro Magalhães

Margens de Erro

Empresas e instituições credenciadas em Portugal

Posted April 11th, 2005 at 6:58 pm4 Comments

Já agora, FYI, esta é a lista das empresas e instituições credenciadas pela AACS para fazerem sondagens de opinião:

AXIMAGE - Comunicação e Imagem, Lda
DOMP - Desenvolvimento Organizacional Marketing e Publicidade, S.A
DATA CRÍTICA - Estudos de Opinião e Mercado, Lda
EUREQUIPA - Opinião, Marketing e Consultoria, Lda
EUROEXPANSÃO - Análises de Mercado e Sondagens, S.A
EUROSONDAGEM, Estudos de Opinião, S.A
EUROTESTE - Marketing e Opinião, S.
AGBN - Gabinete de Estudos de Mercado, Lda
GEMEO - Gabinete de Estudos de Mercado e Opinião do IPAM, Lda
I SEE - Comunicação e Marketing, Lda
IMR - Instituto de Marketing Research, Lda
INTERCAMPUS - Recolha, Tratamento e Distribuição de Informação, Lda.
Instituto Superior de Ciências Sociais e Políticas da Universidade Técnica de Lisboa
IPOM - Instituto de Pesquisa de Opinião e Mercado, Lda.
MARKTEST - Marketing, Organização, Formação, Lda.
MOTIVAÇÃO - Estudos Psico-Sociológicos, Lda
NORMA - AÇORES, Sociedade de Estudos e Apoio ao Desenvolvimento Regional, S.A
NOVADIR - Estudos de Mercado e Consultadoria de Marketing, Lda
PITAGÓRICA - Investigação e Estudos de Mercado, SA
REGIPOM - Pesquisa e Opinião de Mercado, Lda
Universidade Católica Portuguesa

by Pedro Magalhães

Autárquicas 2005: Odivelas

Posted April 11th, 2005 at 6:41 pm4 Comments

Sem propósitos de ser "polícia" das sondagens que vão saindo (não tenho vocação nem informação suficientes), deixo a informação relatada por um leitor, as questões que levanta, e as minhas respostas na base da informação que fornece:

Sondagem efectuada no concelho de Odivelas a 4 e 5 de Abril epublicada a 6 de Abril no jornal "Nova Odivelas" (...), pela empresa "One Press", mediante 500 entrevistas telefónicas nas 7 freguesias do concelho, com os seguintes resultados, que foram destacados na 1ª página do jornal, associados à fotografia dos respectivos "candidatos" a Presidente de Câmara :

CDU-33,10%
PSD-32,05%
PS-25,50%
(as percentagens restantes dizem respeito ao PP, aoBE e votos brancos).

"Erro de amostragem": 3,41% (com um "índice de confiança" de 95%).

Esta sondagem apresenta as seguintes particularidades:
- a empresa " One Press" não é uma empresa de sondagens, mas a sociedade comercial proprietária do jornal "Nova Odivelas";
- as perguntas das entrevistas foram realizadas com base em pressupostos, uns certos, outros mais variáveis ou indefinidos, tendo em atenção que aindan ão estão definidos todos os Candidatos a Presidente de Câmara pelos principais Partidos. Assim, o único candiadato "certo" é o da CDU, tendo o candidato do PSD sido apresentado como o "provável", e no que respeita ao PS ainda não há candidato, tendo a empresa "partido do princípio" que o candidato do PS "sairá" da escolha feita pelos orgãos nacionais do Partido Socialista, entre o actual Presidente da Câmara de Odivelas e o actual Presidente da Junta de Freguesia de Odivelas ( daí que na 1ª página do jornal aparecem as fotografias dos Candidatos da CDU e do PSD, aparecendo o resultado do PS associado ao respectivo símbolo);
- a sondagem não foi depositada na Alta Autoridade Para a Comunicação Social.

Acresce, ainda, que os resultados desta sondagem causaram uma acrescida perplexidade pelo respectivo confronto com os resultados oficiais dasúltimas autárquicas(em Dezembro de 2001) e das últimas legislativas(emFevereiro de 2005), a saber, respectivamente:- PS-41,03% ; PSD-28,30% ; CDU-20,01%.- PS-47,38% ; PSD-22,43% ; CDU-9,74%.

Posto isto e na qualidade de leigo nestas matérias, atrevo-me a deixar as seguintes dúvidas:

- As sondagens não podem/devem ser só realizadas por empresas "acreditadas" ou "reconhecidas" para esses estudos ?
As quer dizem respeito as eleições, sim. "As sondagens de opinião só podem ser realizadas por entidades credenciadas para o exercício desta actividade junto da Alta Autoridade para a Comunicação Social. " - Lei 10/2000, art. 3º, n.1

- Não é obrigatório, por lei, o "depósito" das mesmas na AACS ?
Sim. "A publicação ou difusão pública de qualquer sondagem de opinião apenas é permitida após o depósito desta, junto da Alta Autoridade para a Comunicação Social, acompanhada da ficha técnica a que se refere o artigo seguinte." - Lei 10/2000, art. 5º, nº1.

- Que rigor técnico-científico tem uma sondagem feita com base em perguntas que não são idênticas e com pressupostos variáveis, do género, "em qual candidato votaria, no candidato A do Partido X ou no candidato B ou C ou D do Partido Y ?" ?
Rigor no que respeita à amostragem, ou seja, à capacidade para obter uma amostra da representativa da população, podem ter. Não sei como exactamente foram feitas as perguntas, nem se o texto das perguntas foi divulgado pela imprensa. Seja como for, quando se trata de decidir o Presidente da Câmara, é muito plausível que a identidade dos candidatos seja pelo menos tão importante como o partido. Pessoalmente, parece-me que fazer sondagens sobre eleições autárquicas sem que se conheça a identidade de todos os candidatos é algo prematuro ou, pelo menos, introduz grandes limitações aos resultados que obrigam a que a sua intepretação tenha de ser extremamente cautelosa.

by Pedro Magalhães

A subida dos Conservadores…

Posted April 7th, 2005 at 1:08 pm4 Comments

confirma-se. Depois das quatro sondagens relatadas aqui, nova sondagem, desta vez da Yougov:

Labour: 36%
Conservatives: 36%
Liberal Democrats: 21%

Outra excelente fonte sobre as sondagens para além desta é este site da BBC. A não perder, também, o decano, mestre dos mestres, da análise das sondagens no Reino Unido: Sir (isso mesmo) Robert Worcester.

by Pedro Magalhães

Eleições UK, a um mês de distância. Mais aberto do que se pensava…

Posted April 5th, 2005 at 12:55 pm4 Comments

Quatro sondagens nos últimos dois dias:

ICM:
Lab:37%
Cons:34%
Lib:21%

NOP:
Lab:36%
Cons:33%
Lib:21%

Populus:
Lab:37%
Cons:35%
Lib:19%

Mori:
Lab:34%
Cons:39%
Lib:21%

O único contraste claro é entre a sondagem Mori/Finantial Times e as restantes, devido ao facto da Mori usar um modelo de probabilidade de voto muito mais exigente que as restantes. Ou seja: só são contabilizados os votos daqueles que dizem "ter a certeza" que vão votar. Mas há duas coisas que estão a suceder e que estes números não dizem: a descida dos Trabalhistas em todas as sondagens; e o eleitorado Conservador está mais mobilizado do que o Trabalhista (como explica John Curtice).

E atenção: como foi dito aqui, devido às distorções actuais no actual sistema eleitoral britânico, os Trabalhistas podem inclusivamente perder por uma margem razoável em número de votos e ganhar em assentos parlamentares; mas perder por 5%, como se sugere na Mori, pode já ser demais, como Anthony Lewis explica aqui. Ainda não chega para Blair entrar em pânico, mas...

by Pedro Magalhães

Referendo Constituição Europeia (França)

Posted April 4th, 2005 at 12:33 pm4 Comments

Pelos lados de França, os resultados do referendo à Constituição Europeia arriscam-se a fazer algumas vítimas entre as empresas de sondagens. Vejamos os resultados mais recentes:

1. Maioria a favor do "sim"

Louis-Harris (1 Março)
Sim: 60%
Não: 40%
BVA (14 Março):
Sim: 56%
Não: 44%

TNS Sofres (10 Março):
Sim:56%
Não: 44%

2. Maioria a favor do "não"
CSA/TMO (23 Março):
Sim: 45%
Não: 55%
IFOP (1 Abril):
Sim: 47%
Não: 53%

IPSOS ( 28 Março):
Sim: 46%
Não: 54%

É possível que parte das discrepâncias se devam ao facto de as sondagens que dão a vitória ao "sim" serem todas anteriores às sondagens que são a vitória ao "não". Mas isso é, certamente, apenas parte da história: quando analisamos as tendências de cada instituto ao longo do tempo, rapidamente verificamos que as diferenças entre institutos são estruturais, e não conjunturais, devendo-se certamente a opções metodológicas.

Estes referendos são o cabo dos trabalhos para quem faz sondagens. Primeiro, devido à alta abstenção, as opções que se façam para seleccionar os "votantes prováveis" são cruciais, e delas dependem os resultados.

Segundo, são eleições "pobres em informação" para os eleitores, levando a grande vulnerabilidade das preferências em relação a factores conjunturais e a que pistas normalmente relevantes noutros actos eleitorais - e que dão estabilidade a essas preferências (identificação partidária, por exemplo) - sejam aqui menos relevantes. Na sondagem Louis-Harris, mais de um terço daqueles que exprimiram uma intenção de voto disseram que ainda podiam mudar de ideias.

Finalmente, do ponto de vista da leitura pública dos resultados, os referendos são impiedosos para as empresas de sondagens: se uma empresa diz que o "não" tem 51% e o resultado acaba por ser 51% para o "sim", essa sondagem"falhou", mesmo que o erro esteja dentro da margem do erro aleatório (que é mais elevada, precisamente, quanto mais próximo de 50% seja o resultado a estimar). Uma grande dor de cabeça, de que eu não me irei livrar daqui a uns meses...

Seja como for, sem querer colocar completamente em causa a realização de referendos sobre estes e outros temas (o assunto é demasiadamente complicado para despachar num post), importa notar como são por vezes usados para outros fins que não apenas os de apreciar os méritos e os deméritos do assunto em análise. Por exemplo, todas as sondagens dizem que os simpatizantes dos partidos da oposição em França são tendencialmente (quando não maioritariamente) a favor do "não", sendo certo que alguns deles irão usar o referendo como punição a um executivo e um presidente que sofrem hoje de uma péssima imagem (no último estudo da TNS Sofres, 62% dos franceses dizem não ter confiança em Chirac, percentagem que aumenta para 71% no caso de Raffarin).

E aquilo que faz muitos sentirem-se à vontade para usar o referendo para fins que não os de apreciar a "bondade" ou "maldade" da CE é o facto de acharem que o desfecho é, em si mesmo, pura e simplesmente irrelevante: na mesma sondagem, 33% dos inquiridos dizem achar que a vitória do sim ou do não não tem qualquer importância para a França (fenómeno que ajuda aqueles que votariam sim a não se desclocarem à urnas e outros a usarem o referendo para enviar sinais de insatisfação com o governo). Um aviso à navegação cá para os nossos lados...

by Pedro Magalhães

Mais autárquicas (actualizado)

Posted April 1st, 2005 at 11:39 am4 Comments

Recebi hoje o seguinte e-mail, enviado por Susana Isabel Silva, directora técnica do IPOM (Instituto de Pesquisa de Opinião e Mercado):

Longe está o período de campanha das eleições autárquicas, mas a polémica já começa a ser lançada em torno das sondagens políticas realizadas a nível autárquico. Será isto ainda um sintoma do que se verificou durante a campanha eleitoral para a Assembleia da República? Ou serão simplesmente dúvidas de quem não tem a correcta informação sobre os dados publicados pela imprensa regional?

Parece-me, em meu entender, ou melhor, quero acreditar, que se trata da segunda hipótese. Digo isto, porque analisando o exemplo enunciado no blog no passado dia 28 de Março, o e-mail comentado apresenta algumas incorrecções face à ficha técnica publicada pelo jornal O Comércio do Porto:

- A sondagem a que o autor do e-mail se refere é constituída por 598 indivíduos inquiridos e não por “cerca de 700”;
- Não existe qualquer referência, nem na ficha técnica nem na peça escrita pela jornalista, ao número de respostas validadas, onde desconheço a proveniência do valor 500.

Quanto à representatividade das sub-amostras obtidas pela desagregação a nível de freguesia, concordo que uma freguesia onde foram inquiridas 8 pessoas não mereça destaque de análise face às restantes, dada a sua reduzida dimensão. Mas isso é um problema comum da análise efectuada pela maior parte dos meios de comunicação social. Parece-me abusivo questionar a credibilidade técnico-científica das sondagens realizadas em função das interpretações que delas se fazem.


Susana Isabel Silva
Directora Técnica
IPOM – Instituto de Pesquisa de Opinião e Mercado


Ora bem. Pela minha parte, queria dizer que nunca cheguei a ver a notícia onde eram publicados os dados da sondagem mencionada no e-mail que citei aqui. Limitei-me a responder a uma pergunta que me foi colocada que, recordo, era a seguinte:

"Parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas?"

Em face do exemplo fornecido (uma freguesia com 8 inquiridos), respondi que não, pelas razões aqui expostas, e recordo também que concentrei a minha análise não na "credibilidade técnico-científica das sondagens realizadas" mas sim, exclusivamente, nas "interpretações que delas se fazem" (terminei o meu post dizendo: "Um erro muito comum nas análises das sondagens feitas na imprensa").

Ou seja, não questionei a credibilidade do trabalho feito: não podia, porque não o conhecia, ainda não o conheço (só agora fiquei a saber quem o conduziu). E também não creio que o mail que recebi tivesse como intenção fazê-lo (dado que a dúvida expressa por quem o enviou se reportava à desagregação dos dados e não a qualquer aspecto técnico ou metodológico da realização do estudo).

Entretanto, estou certo que os responsáveis do IPOM já terão feito notar ao jornalista do Comércio do Porto que o facto de ter andado entretido a calcular e apresentar percentagens por freguesia quando tem sub-amostras de 8 inquiridos é algo que não só "não merece destaque de análise" mas também não faz qualquer espécie de sentido do ponto de vista estatístico...

Actualização: do IPOM, chega-me a informação de que, de facto, contactaram o responsável pela notícia. E mais me dizem que:

Penso que uma forma de evitar este tipo de situações passará pela formação pedagógica dos jornalistas, por parte das empresas de estudos de mercado e sondagens, no sentido de os elucidar em relação às análises e interpretações que poderão ser feitas a partir dos dados fornecidos pelos mesmos. Tentamos ao máximo, no nosso caso, ter sempre este tipo de procedimento junto dos nossos clientes.

100% de acordo.

by Pedro Magalhães

Eleições no Reino Unido

Posted March 28th, 2005 at 5:05 pm4 Comments

Outras sondagens a merecer atenção são as das eleições no Reino Unido, que se realizarão, provavelmente, a 5 de Maio. O "Margens de Erro" deles - descontando aquilo que é, da minha parte, uma irresponsável imodéstia - é o magnífico blog de Anthony Wells, UK Polling Report.

As sondagens em Inglaterra são interessantes por várias razões. Em primeiro lugar, há sobre elas uma produção académica vastíssima, comparável apenas àquela que existe sobre as sondagens nos Estados Unidos. Segundo, há uma tradição de "experimentalismo" metodológico nas sondagens inglesas, também ela só comparável ao que sucede nos EUA. Temos, por exemplo, o caso da YouGov, que faz sondagens pela internet, tendo por base um painel de 40.000 pessoas, do qual se extraem de cada vez amostras aleatórias de cerca de 2000 inquiridos (remunerados para o efeito). E há agora uma outra empresa (creio ser a Rasmussen) que importou a sua prática americana e conduz sondagens telefónicas "automatizadas", ou seja, feitas por um computador em vez de um inquiridor humano, e que permite que as respostas sejam dadas através das teclas do telefone. Cépticos? Vejam isto.

Contudo - e voltaremos a falar disto quando nos aproximarmos da data das eleições - atenção ao sistema eleitoral inglês. A distorção entre votos e assentos parlamentares é enorme, e hoje em dia é favorável aos Trabalhistas. Ou seja:

- os assentos parlamentares são apurados círculo a círculo, por sistema maioritário;
- tendencialmente, os círculos onde os Conservadores costumam ganhar são círculos onde ganham com enorme vantagem sobre os Trabalhistas;
- pelo contrário, os círculos onde os Trabalhistas costuma ganhar são círculos onde os Conservadores são close seconds;
- os círculos Trabalhistas tendem a exibir maiores taxas de abstenção;
- a última revisão do desenho geográfico e composição política dos círculos foi favorável aos Trabalhistas.

Logo, uma votação 35%-34% favorável aos Trabalhistas, como a que resulta da última sondagem YouGov (24 Março), por exemplo, significa, na prática, uma vantagem muito maior em termos de deputados. Ou para ser mais preciso: o Labour pode até perder em número de votos e ganhar confortavelmente em deputados.

Tudo isto foi muito bem explicado, há dias, por Nick Moon, aqui.

by Pedro Magalhães

Autárquicas

Posted March 28th, 2005 at 1:19 pm4 Comments

As sondagens para as autárquicas já mexem. A razão para o silêncio até agora é simples, e parecida com a que levou ao atraso nas contas finais: falta de tempo. Mas vou estar mais atento e, já agora, peço um favor: dado que me é mais difícil seguir a imprensa local, ficaria muito agradecido se fizessem chegar as sondagens que vão encontrando.

Para já, recebi este amável e-mail:

No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).


A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.



by Pedro Magalhães

Outros métodos

Posted March 28th, 2005 at 12:38 pm4 Comments

Há, no entanto, quem critique o uso do "método 3". Por um lado, o "método 3" continua a estar dependente do número de estimativas contabilizadas para medir a precisão das sondagens, o que pode impedir comparações internacionais (especialmente com aqueles países com sistemas maioritários, onde as estimativas que contam são as dos dois principais partidos, e não as dos quatro ou cinco maiores). Logo, em vez de calcular médias, este método consiste simplesmente em alinhar as sondagens de acordo com os maiores erros cometidos na estimação de um qualquer partido. Assim, e na base do quadro anterior, ficamos com:

Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%

Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:



O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).

E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...

by Pedro Magalhães

Método 3, segunda parte

Posted March 28th, 2005 at 12:17 pm4 Comments

Sucede, contudo, que há um aspecto da comparabilidade que é afectado pelo uso do método 3. A "média dos desvios absolutos" é muito sensível ao número de partidos incluídos na análise. Quanto maior o número de partidos, mais baixo deverá ser o valor do desvio médio, dado que ele passará a contar com estimativas de valores reais mais baixos e, logo, com menores margens de erro amostrais associadas.

Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":

Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%

Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:

1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;

2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).

2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).

by Pedro Magalhães