Pedro Magalhães

Margens de Erro

Tableau de bord

Posted December 16th, 2009 at 4:35 pm4 Comments


by Pedro Magalhães

Eurosondagem, 25 Nov-1 Dez, N=1031, Tel.

Posted December 4th, 2009 at 11:40 am4 Comments

Os resultados estão aqui. A interpretação varia. Aqui PS e PSD "seguram intenções de voto". Já aqui, "PS dilata vantagem sobre PSD". Num caso, a comparação é com a sondagem anterior. Noutro, com os resultados eleitorais.

by Pedro Magalhães

Prémio "Gráficos mais assustadores do ano"

Posted December 2nd, 2009 at 11:30 pm4 Comments

Vai directamente para as figuras 5.9 e 5.10 do estudo "A Dimensão Económica da Literacia em Portugal: Uma Análise", encomendado pelo Plano Nacional de Leitura a uma equipa chefiada por T. Scott Murray, antigo director do Statistics Canada. Ei-los:





"Os empregos altamente qualificados estão reservados aos indivíduos com mais educação, enquanto no que respeita ao resto do mercado de trabalho, as competências atingidas, reflectidas nos níveis de escolarização ou medidas na escala de literacia em prosa, têm pouco ou nenhum impacto na forma como os empregos bem remunerados são distribuídos", escreve-se na página 83.

Um mercado de trabalho que produz uma monstruosidade destas não tem defesa possível. A não ser, claro, por parte dos senhores e senhoras que ocupam o terceiro e quatro quintis.

by Pedro Magalhães

O que está errado com o Natal

Posted November 26th, 2009 at 12:39 pm4 Comments

A última edição do Planet Money, da NPR, tem uma entrevista com o economista Joel Waldfogel, autor de Scroogenomics: Why You Shouldn't Buy Presents For The Holidays. Tudo começou com um artigo da American Economic Review onde Waldfogel mostra que, segundo inquéritos aplicados a pessoas que receberam presentes, quem os oferece pagou por eles um valor superior àquele que é atribuído por quem os recebe. Entre um décimo a um terço do valor do que é comprado é destruído pelo acto da dádiva.

A solução seria dar sempre dinheiro, que aqueles que o receberiam poderiam usar para o fim que entendessem e lhes fosse mais satisfatório, evitando destruição de valor. Mas como oferecer dinheiro é socialmente sancionado, Waldfogel prevê a generalização de "cheques-brinde" ou, melhor ainda, que se ofereçam cheques-beneficência, que os destinatários poderiam usar para oferecer à instituição de caridade que entendessem. Dádivas caritativas estão altamente correlacionadas com o rendimento das pessoas, sugerindo que a beneficência é o verdadeiro "bem de luxo".

Este artigo da Economist sugere desde logo algumas razões para que a história seja um bocado mais complicada, e há uma quantidade surpreendente grande de referências que discutem este tema. Mas que o tema é fascinante, é.

by Pedro Magalhães

Ainda as transacções no Trocas (só mesmo para fanáticos)

Posted November 16th, 2009 at 4:28 pm4 Comments

Tenho recebido aqui óptimos comentários sobre se e como modificar o processo de fixação dos preços no Trocas.

by Pedro Magalhães

O relatório sobre as sondagens, 3ª (e última) parte

Posted November 12th, 2009 at 10:43 am4 Comments

Em dois posts anteriores, divulguei e discuti algumas conclusões do relatório feito a solicitação da ERC sobre as sondagens em Portugal. No primeiro, sintetizei as principais conclusões e recomendações. No segundo, discuti as recomendações. Neste último post, atrasado por falta de tempo, abordo as principais conclusões do relatório no que respeita às próprias sondagens, seus resultados e confronto com resultados eleitorais.

Para este fim, o relatório baseia-se em 38 sondagens publicadas na semana anterior às eleições europeias de 2009 (5), regionais Madeira 2008 (3), regionais Açores 2007 (1), intercalares Lisboa 2007 (5), presidenciais 2006 (6), autárquicas Lisboa 2005 (5), autárquicas Porto 2005 (5) e legislativas 2005 (8). De seguida, os autores do relatório comparam os resultados dessas sondagens - das estimativas de intenções de voto válidas + brancos e nulos (excepto nas presidenciais, suponho) com os que vieram a ser os resultados reais. Calculam o desvio em módulo (valor absoluto) entre uns e outros e depois a média desses desvios para cada sondagem. Ficamos assim com um indicador de "precisão" de cada sondagem: "em média, os resultados deste sondagem desviaram-se dos valores reais em x".

Como a base de dados recolhida pela equipa responsável pelo relatório continha informação sobre algumas características da sondagem e da eleição respectiva, o relatório, a partir da página 23, calcula um valor médio para esse indicador de precisão por eleição, empresa/instituto de sondagens, procedimento de amostragem e técnica de recolha. As conclusões desta análise encontram-se resumidas na página 4:

"Nas sondagens, cujos dados da Ficha técnica permitiram o cálculo dos desvios em módulo entre os valores estimados através da projecção e os valores reais da eleição para os diferentes partidos (trinta e duas em trinta e oito), o desvio médio em módulo foi no conjunto de 2,3%.

Foi menor nas projecções:
- para as eleições legislativas de 2005, seguindo-se-lhes as projecções para as eleições presidenciais de 2006 e intercalares de Lisboa de 2007;
- realizadas pela empresa Ipom, seguida de Universidade Católica e Aximage;
- que utilizaram o procedimento de amostragem aleatória de selecção de freguesias tipo e último aniversariante, seguido pelos procedimentos de amostragem de selecção aleatória de indivíduo
através de “master sample” e selecção aleatória de lar e último aniversariante;
- que recorreram à entrevista pessoal;

Foi maior nas projecções
- para as eleições europeias de 2009;
- realizadas pela empresa Pitagórica, seguida da Intercampus;
- que utilizaram o procedimento de selecção “homem mais novo” - Pitagórica - e selecção aleatória de lar e quotas de indivíduo;
- que recorreram à entrevista telefónica.
"

E conclui-se também, na base destes dados, que "não existe correlação significativa entre a dimensão da amostra e a precisão das estimativas" (p. 16).

Estas conclusões do relatório da ERC fazem-me lembrar uma famosa conferência feita em 1952 por Jerzy Neyman, uma das figuras cimeiras da estatística moderna, onde contava a história de um amigo (imaginário) que recolheu dados sobre a população de cegonhas e o número de nascimentos em 54 condados dos Estados Unidos. A correlação entre o número de cegonhas e o número de bebés nascidos durante o período considerado atinge o valor de .83, próximo do limite máximo de 1 (correlação perfeita). Na conferência em causa, o amigo de Neyman sugeria que, na base dos resultados, era evidente que a presença de cegonhas estava a influenciar os nascimentos, e propunha a realização de uma experiência de controlo de natalidade, que consistia na remoção de todas as cegonhas de um sub-conjunto de condados seleccionados aleatoriamente. O problema do amigo de Neyman, claro, é que não estava a tomar em conta o facto de que o número de mulheres varia de condado para condado, e que esse número está correlacionado quer com o número de nascimentos quer com o número de cegonhas (condados maiores, mais cegonhas). Se dividirmos os condados por grupos com aproximadamente o mesmo número de mulheres e procurarmos dentro de cada um desses grupos a correlação entre cegonhas e nascimentos, essa correlação é nula. Mantendo constante uma variável de controlo (o nº de mulheres) que está relacionada quer com a suposta variável independente quer com a variável dependente, remove-se a influência dessa variável e estima-se um valor "verdadeiro" (ou "menos enviesado", pelo menos) para a relação entre o nº de cegonhas e o nº de nascimentos, neste caso, obviamente, zero.

Imaginemos agora que, por alguma razão, as eleições com maiores taxas de abstenção - Europeias, por exemplo - foram aquelas onde mais frequentemente se recorreu a entrevistas telefónicas. Não sei se é assim, mas não seria estranho. Sondagens presenciais são mais caras e obrigam a maior investimento, investimento esse que costuma ser reservado para eleições vistas como mais importantes. E imaginemos agora que as eleições com maiores taxas de abstenção são também aquelas onde os desvios entre os resultados das eleições e os resultados das sondagens são maiores. Não sei se é assim - ou melhor, até sei, por aqui e por aqui - mas imaginemos que é esse o caso. Se assim for, a afirmação do relatório de que "os desvios foram maiores nas sondagens que recorreram a entrevista telefónica", sendo factualmente correcta, é muito provavelmente irrelevante do ponto de vista da análise dos correlatos da precisão das sondagens. Tal como na relação entre cegonhas e bebés, a melhor estimação para a relação "verdadeira" entre técnica de recolha e precisão das sondagens pode muito bem ser zero. Por extensão, o mesmo pode suceder com todas as restantes afirmações sobre empresas, amostragem, etc.

A afirmação sobre a ausência de relação significativa entre a dimensão da amostra e a precisão das sondagens feita no relatório pertence à mesma categoria genérica das anteriores, ilustrando-a, contudo, de maneira diferente. Uma relação verdadeira que permanece invisível quando nos limitamos a correlacionar duas variáveis só vai aparecer quando estimamos um modelo correctamente especificado. No caso concreto, basta que as sondagens realizadas em eleições com maior abstenção - menor precisão - tenham tendencialmente usado amostras maiores para que quaisquer efeitos favoráveis da dimensão da amostra na precisão permaneçam ocultos numa simples correlação (e nem entro pelo problema de se presumir, na correlação estimada no relatório, uma relação linear entre dimensão amostral e precisão, coisa que se percebe rapidamente não poder ser esperada quando se olha para isto).

É estranho que um relatório redigido por pessoas desta qualidade, que se propõe fazer um "diagnóstico" sobre as sondagens e uma "análise" da sua "precisão" tenha optado por ignorar completamente o conceito de controlo estatístico. Só por falta de tempo se explica isto. É certo que nunca se diz no relatório que esta ou aquela metodologia produz resultados mais ou menos precisos. E é também verdade que, a certa altura, se afirma que "não se estão aqui a considerar obviamente quer as inter-relações entre esses factores quer o efeito de outros factores que se sabe afectarem os resultados, o que poderá ser objecto de outra análise mais aprofundada, se essa informação for disponibilizada". Mas este disclaimer não chega. "A análise mais aprofundada" não carecia de informação não disponibilizada. Muitos dos factores que sabe influenciarem a "precisão" das sondagens, no sentido que o relatório atribui ao termo, são conhecidos. E como sondagens não são previsões de resultados eleitorais, a sua comparação sistemática com esse resultados não pode deixar de ser feita mantendo em mente e testando, no mínimo, um modelo qualquer que inclua pelo menos alguns desses factores que fazem, muito simplesmente, com que sondagens não possam ser tratadas como previsões. E sabendo-se que o relatório ia ser lido (também) em busca de factores explicativos da precisão das sondagens, a mera enunciação de "médias" por empresa, técnica de recolha e amostragem ou a mera correlação com dimensões amostrais correu, uma vez mais, o risco de obfuscar os fenómenos em vez de os clarificar. Digo isto perfeitamente ciente de que as conclusões da ERC são muito favoráveis ao instituto que dirijo, inclusivamente do ponto de vista das técnicas de recolha e amostragem que usamos, para já não falar dos "standards" de divulgação da informação (tratados no post anterior). Mas não estaria a ser intelectualmente honesto se dissesse que estas conclusões estão correctas. Até podem estar, substantivamente falando, e ficaria contente se assim fosse. Mas o relatório fica muito aquém de o provar. É pena.

Contudo, não quero ser excessivamente negativo. Num país, digamos, maior, mais rico e com melhores universidades, nem este relatório nem este post teriam sido necessários para coisa alguma. As "bases de dados" que o relatório propõe já existiriam. Papers sobre este assunto já teriam sido escritos, discutidos em conferências, e nelas elogiados pela sua competência ou assassinados pela sua indigência. Seriam publicados em boas revistas se fossem bons, em revistas menos boas se fossem menos bons, ou em .pdf's nas páginas pessoais dos autores se fossem péssimos. Mas como vivemos num país pequeno, pobre e com más universidades, isto é melhor que nada, acho.

P.S. - Sobre a comparação entre a "abstenção real" e a "abstenção estimada" nas sondagens, que o relatório faz nas páginas 22 e 23, nem vale a pena perder muito tempo. Por um lado, a comparação é feita com recurso à abstenção oficial, e nem sequer se fez um esforço para tentar estimar um valor real (usando como denominador, por exemplo, a voting age population). Por outro lado, o relatório toma como "estimativas da abstenção" coisas que não o são, como discutido no post anterior sobre o tema.

by Pedro Magalhães

Mais Trocas

Posted November 10th, 2009 at 12:19 pm4 Comments

A pedido de várias famílias, um primeiro contrato sobre Economia no Trocas: este. Em breve, vamos arrumar os contratos em temas.

by Pedro Magalhães

A negociação e formação de preços no Trocas

Posted November 8th, 2009 at 3:55 pm4 Comments

Começou a circular há alguns dias um inquérito aos inscritos no Trocas de Opinião. Nas respostas já recebidas chegaram já muitas e boas sugestões, cuja concretização depende apenas de tempo. Somos cinco pessoas, mas todas com day jobs, pelo que a capacidade de implementar alterações é limitada. Agradecemos as vossas ideias e a vossa paciência.

Entretanto, há quem tenha levantado a questão de saber como exactamente se procede à compra e venda de contratos e como se forma o preço. Aqui vai a melhor explicação que consigo dar.

1. Uma das maneiras de perceber como isto funciona é considerar que, neste momento, estão pendentes de concretização várias centenas de ordens de compra e venda de contratos no Trocas de Opinião. Por exemplo, desde o dia 15 de Outubro que está no sistema uma ordem de compra de 400 contratos "Governo cai antes de Setembro de 2010" por 4,99 trocos. A razão pela qual este investidor continua a não conseguir comprar qualquer título com esta ordem é porque nenhuma das ordens de venda actualmente pendentes foi introduzida por pessoas dispostas a receber menos que 16 trocos. Neste momento, há até no sistema quem esteja disposto a pagar 12 trocos por cada um destes contratos. Mas como não há ninguém disposto a receber menos de 16, enquanto não aparecer alguém a querer comprar por mais e/ou alguém a querer vender por menos, este título não é transaccionado, e a sua cotação ficará pelo valor actual, 17,5 trocos, ou seja, o valor ao qual se deu o último negócio. De resto, uma das alterações prioritárias que vamos introduzir - e que vários utilizadores já tinham sugerido - é fazer com que, a qualquer momento, se possa saber para cada contrato aquilo que vos acabo de dizer: quem está disposto a comprar por mais, e quem está disposto a vender por menos.

2. Mas imaginem agora que entrava no sistema uma ordem de compra de 200 contratos "Governo cai antes de Setembro de 2010" por 18 euros. O que sucederia?

- Primeiro, o sistema verifica se o investidor que coloca a ordem tem trocos suficientes para comprar 200 contratos ao preço máximo que se dispõe pagar por cada um (e tendo em conta as ordens que já tem pendentes no sistema). Se não tiver, é avisado de que não tem trocos suficientes e a coisa fica por aí. Se tiver, passamos ao ponto seguinte.

- Segundo, o sistema verifica se o investidor tem ordens pendentes de mais de 200 contratos. Se tiver, não o deixa introduzir a nova ordem, tendo em conta a limitação de 400 contratos que introduzimos após as autárquicas, de forma a evitar o "free for all" que foram as vendas a descoberto. Mas se a ordem agora introduzida, somada às pendentes, for inferior a 400 contratos, passamos ao ponto seguinte.

- Terceiro, o sistema vai emparelhar esta ordem de compra (200 contratos a 18 trocos) com ordens de venda pendentes. Como o faz?
*Procura todas as ordens de venda com valor igual ou inferior a 18 (pessoas que estão dispostas a receber 18 ou menos trocos pelo contrato);
*Destas, escolha a que tem o valor inferior, ou seja, emparelha a ordem de compra com quem esteja disposto a receber menos pelos contratos que quer vender;
*Se houver várias ordens de venda com o mesmo valor, começa pela ordem de venda que foi introduzida no sistema há mais tempo;
* Faz o negócio pela média entre o valor mais alto que quem quer comprar está disposto a oferecer e o valor mais baixo que quem quer vender está disposto a receber. Neste caso concreto, há uma ordem de venda a 16 (a mais baixa de todas para este contrato) e foi introduzida uma ordem de compra a 18. O negócio vai fazer-se a 17 trocos.

3. Imaginem agora que quem estava a vender a 16 estava a vender apenas 100 contratos. Nesse caso, quem introduziu ordem de compra concretiza a aquisição de 100 contratos a 17 trocos mas quer ainda comprar mais 100 a, no máximo, 18 trocos. O que sucede aqui é que o algoritmo recomeça para a quantidade restante. Neste caso, não vai haver negócio, porque a ordem de venda mais alta a seguir à 16 foi uma colocada por alguém que não está disposto a receber menos de 42 trocos (safa!). Como a ordem de 200 foi colocada por alguém que não está disposto a pagar mais de 18, fica uma ordem a 18 para 100 contratos pendente.

Nos vários comentários recebidos, seja aqui seja de outras formas, há dois aspectos mais mencionados:

1. O primeiro é o facto de a cotação "passar" pelo valor das ordens de compra ou de venda de alguém sem que haja negócio. Mas se olharem para a explicação anterior, é fácil perceber como isso sucede. Imaginem que há, no exemplo anterior, uma ordem de venda por 17.25, que quem vende por 16 está a vender 100 contratos e quem compra por 18 quer comprar apenas 100. O negócio dá-se entre quem vende por 16 e quem compra por 18, a cotação baixa de 17.5 para 17, e quem vende por 17.25 não consegue vender.

2. O segundo aspecto mais controverso, relacionado com o anterior, mas mais importante, é o mecanismo de fixação do preço. Fazer pela média da melhor (mais alta) oferta de compra e da melhor (mais baixa) oferta de venda é uma hipótese, mas não é a única. Já nos sugeriram outras coisas:
- Imaginem que há duas ofertas de venda pendentes, uma a 5 e outra a 10, e que aparece uma oferta de compra a 20. Nesse caso, o negócio vai-se fazer a 12.5 entre quem oferece 20 e quem aceita 5. Mas há quem nos tenha sugerido que, havendo quem queira vender a 10, quem compra nunca devia pagar mais do que 10.
- Outra sugestão é que, no exemplo anterior, o negócio se dê também entre quem dá 20 e quem vende por 5, mas que o preço seja fixado na cotação actual do título sempre que ela se situe entre 5 e 20.

As sugestões nem são incompatíveis. Podia começar pela:
- cotação actual;
- caso a cotação esteja fora do intervalo oferta de compra mais alta - oferta de venda mais baixa, então o valor da oferta de venda mais próxima (por baixo) da oferta de compra mais alta;
- caso só haja uma oferta de venda abaixo da oferta de compra, então sim a média (o sistema actual).

Estou a perceber bem, Luís, JP e Pedro? Se calhar não. Mas se sim, que vantagem em relação ao sistema actual? Menos volatilidade? Digam coisas.

by Pedro Magalhães

Aximage, 3-6 Nov., N=600.

Posted November 8th, 2009 at 3:51 pm4 Comments

Tema: Melhor candidato à liderança do PSD. 57% Marcelo, 34% Passos Coelho. Entre "eleitorado que vota tradicionalmente no PSD" (seja lá como se tenha medido isso), Marcelo reforça vantagem. Quer Marcelo quer Passos Coelho batem cada um dos restantes putativos candidatos em comparações 2 a 2. Notícia aqui.

by Pedro Magalhães

Eurosondagem, 3 Nov., N=1030, Tel.

Posted November 6th, 2009 at 6:33 pm4 Comments

Os resultados podem ser encontrados aqui.

by Pedro Magalhães