Pedro Magalhães

Margens de Erro

“Indecisos” (2)

Posted July 27th, 2015 at 11:54 pm4 Comments

No post anterior falei um pouco dos ditos “indecisos” tal como captados pelas sondagens pré-eleitorais e das grandes discrepâncias entre centros de sondagens a esse respeito. Não foi a primeira vez que falei no assunto, e receio repetir-me. Por isso, de seguida, gostava de olhar para esta questão dos “indecisos” de outro ponto de vista.

Os inquéritos pós-eleitorais do ICS, realizados desde 2002, depois de colocarem aos inquiridos a questão sobre se votaram ou não na eleição, e de, aos que afirmam que sim, lhes perguntar em que partido votaram, colocam uma questão adicional:

“Quando decidiu em que partido votar nas legislativas de <mês> <ano> ?

1. No própria dia das eleições.

2. Na véspera.

3. Na última semana.

4. No mês antes da eleição.

5. Mais de um mês antes da eleição."

Se separarmos aqueles que afirmam que já tinham decidido em quem votar mais de um mês antes da eleição dos que dizem ter decidido apenas no último mês e compararmos o seu comportamento de voto, ficamos com uma ideia de como a fase final da campanha influenciou os resultados, assim como da forma como se "arrumaram" pelas opções disponíveis os eleitores que só se decidiram nessa fase. É evidente que, em rigor, aqueles que dizem que decidiram a menos de um mês da eleição não se confundem com os “indecisos” das sondagens realizadas a menos de um mês da eleição, seja qual for a maneira como os tentemos medir: na verdade, é possível que muitos daqueles que se dizem indecisos nas sondagens acabem por não votar, e no inquérito concentramo-nos apenas naqueles que de facto votaram. E recorde-se que tudo isto se baseia em relatos das pessoas sobre os seus comportamentos num passado recente, matéria passível de muita racionalização. Contudo, na ausência de estudos de painel (que acompanhassem uma mesma amostra de eleitores ao longo do tempo), esta é, mesmo assim, a melhor aproximação ao potencial impacto na eleição dos "indecisos" (ou dos que dizem ter decidido mais tarde).

Os gráficos seguintes mostram a distribuição dos resultados eleitorais para os cinco principais partidos em cada eleição (Total), assim como as das recordações de voto daqueles que dizem ter decidido a mais de um mês e as dos que decidiram a menos de um mês de cada eleição, usando os inquéritos do ICS:

2002 2005 2009 2011 Há algumas conclusões possíveis:

1. Os que dizem ter decidido no último mês não se comportam de forma dramaticamente diferente dos que dizem ter decidido antes. Se o resultado final das eleições fosse determinado apenas pelos primeiros, os mesmos partidos teriam ganho as eleições em cada caso, e haveria apenas algumas mudanças nas posições relativas dos partidos mais pequenos. Isto é verdade até em 2002, a eleição mais renhida de sempre em Portugal: o PSD ganhou entre os que decidiram cedo, mas também entre os que decidiram mais tarde. Os ditos “indecisos” de final da campanha, em todas as eleições, não foram radicalmente diferentes no seu comportamento eleitoral.

2. Dito isto, há um padrão invariável. O PS, PSD e a CDU são mais fortes entre os que dizem ter decidido mais cedo do que entre os que dizem ter decidido no último mês. Isto é o mesmo que dizer que os eleitores que decidem mais tarde tenderam a apoiar desproporcionalmente o CDS-PP e o BE em todas as eleições sob consideração: 2002, 2005, 2009 e 2011. Uma das ideias mais difundidas sobre os "later deciders" é que são mais jovens e mais instruídos e com identificações partidárias mais débeis, e isto confere com o que sabemos sobre os eleitorados do CDS e do BE.

O que dizer então da teoria de que a coligação tem um potencial eleitoral ainda por realizar junto dos indecisos? Quatro eleições são só quatro eleições, e nada nos garante que a história se repita uma quinta vez. Mas nas eleições anteriores, ao passo que o CDS parece ter-se dado sempre melhor entre os eleitores que dizem ter decidido no final da campanha, o PSD deu-se sempre pior. Entre ganhos e perdas, a coisa deverá ter sido ela por ela para os dois partidos vistos como um conjunto. As diferenças entre os "early deciders" e os "late deciders" nunca foram dramáticas, e nem sequer em 2002 serviram para mudar o desfecho principal. Em suma, está por provar que os tais "indecisos" sejam tão decisivos como muita gente parece pensar.

by Pedro Magalhães

“Indecisos” (1)

Posted July 27th, 2015 at 10:34 am4 Comments

Numa entrevista concedida ao último Expresso, Luís Montenegro, líder parlamentar do PSD, explicava que, apesar de PS e coligação estarem “mais ou menos empatados” nas sondagens, a coligação tinha mais potencial de crescimento entre aqueles que ainda não decidiram em quem votar. Quer o PSD quer o CDS teriam perdido eleitores ao longo dos últimos anos que seriam da “área política” dos dois partidos, “que dificilmente votariam noutra opção” e seriam por isso recuperáveis para a coligação. Já o PS, na opinião de Montenegro, daria sinais de não ter margem de crescimento eleitoral.

Tenho imensa curiosidade de saber se isto é verdade. De resto, imagina-se facilmente o que se poderia fazer num inquérito:

a. Questionar os eleitores sobre se tencionam votar na próxima eleição e acerca de outros “marcadores” habituais de propensão para votar, detectando os abstencionistas quase certos ou convictos.

b. Entre os restantes, indagar sobre o partido em que tencionam votar. Em princípio, entre os que já têm uma preferência e a revelam, deveríamos ter o tal “empate” entre coligação ou PS, ou algo próximo disso.

c. Mas depois há aqueles que deverão ou poderão votar mas não sabem ainda em quem. A esses, perguntaria:

- Se tendem a simpatizar com algum partido.

- Onde se posicionam ideologicamente.

- Pedir-lhes que digam, para cada partido, por exemplo numa escala de 0 a 10, se alguma vez contemplariam votar nele.

Se Montenegro tiver razão, entre esses ditos “indecisos”, deveríamos encontrar desproporcionalmente simpatizantes dos partidos da coligação, pessoas que se situam no centro-direita e pessoas que contemplariam mais facilmente votar num dos partidos da coligação do que nos outros. Isso seria indicação de um potencial eleitoral ainda por realizar. Infelizmente, não tenho esses dados, mas imagino que os partidos e as empresas de sondagens os tenham.

Mas por outro lado, pensando melhor, a tarefa pode não ser tão simples. O gráfico abaixo mostra a evolução da percentagem dos ditos “indecisos” (em relação ao total daqueles que tencionam votar e excluindo as não respostas) nos inquéritos do CESOP da Católica ao longo das sondagens realizados nos 180 dias antes das eleições de 2009 e 2011, assim como os das sondagens realizadas até agora nos 180 dias antes de 4 de Outubro de 2015 (os dados são retirados dos depósitos na ERC).

CESOP indecisos A primeira coisa que se vê é que são muitos. Estes “indecisos” chegaram a ser mais de 40% dos eleitores que afirmavam tencionar votar, a menos de dois meses da eleição de 2011. A segunda coisa que se vê é que há diferenças de eleição para eleição. Foram sempre mais nos seis meses antes da eleição em 2011 do que no mesmo período antes da eleição de 2009. Não surpreende, tendo em conta que foram eleições antecipadas e realizadas num contexto de maior incerteza, ligada ao resgate e ao apuramento de responsabilidades pela situação económica. Até agora, 2015 tem estado a meio caminho deste ponto de vista. E a terceira coisa que se nota é que o seu número só começou a diminuir a cerca um mês (ou menos) antes do dia da eleição em 2009 e 2011.

Mas vejamos agora o que se passa com a Eurosondagem. A Eurosondagem reporta percentagens para o agregado “Não sabe/Não responde”, o que faz supor que teríamos números maiores que na Católica. Mas não é isso que sucede, pelo contrário: os valores quase são sempre parecidos com os valores de 2009 para a Católica. Mais: não há diferenças entre eleições. E a única semelhança com a Católica é uma diminuição da percentagem de “Ns/Nr” no final, mas neste caso apenas nas últimas duas semanas.

Eurosondagem indecisos E vejamos agora a Aximage:

Aximage indecisos Os valores da Aximage são muito menores que os das outras duas empresas, 8% dos que tencionam votar, no máximo. Mais: os indecisos, em vez de diminuírem ao longo da campanha ou no seu final, pelo contrário, aumentam ligeiramente. E se há algo que distingue 2015 das restantes é que, na Aximage, os valores dos “Indecisos” têm sido ligeiramente inferiores aos das outras duas eleições.

Em suma, o único ponto de contacto é a diminuição destes indecisos nas derradeiras sondagens no CESOP e na Eurosondagem. No resto, os dados das diferentes empresas não têm quase nada a ver uns com os outros. O que poderá estar por detrás destas discrepâncias? O facto da Aximage recorrer a uma "pool"de 22.000 pessoas da qual extrai a sua amostra para cada estudo? A diferença entre inquirição telefónica e presencial? Diferentes definições e maneiras de medir o conceito de "indecisos" e de filtrar votantes prováveis? Sinceramente, não consigo responder. Mas parece evidente que a detecção destes eleitores indecisos é muito mais complicada do que parece à primeira vista. No post seguinte vou abordar esta questão de uma maneira completamente diferente, recorrendo a estudos pós-eleitorais em vez de recorrer a sondagens pré-eleitorais.

by Pedro Magalhães

House effects e outras coisas

Posted July 23rd, 2015 at 12:30 pm4 Comments

No POPSTAR, actualização das estimativas de intenção de voto para cada partido, incorporando já a última sondagem da Aximage.

Screen Shot 2015-07-23 at 11.27.24 Poderá parecer estranho que a integração de uma sondagem que tem como resultado uma vantagem de 0.2 pontos do PS sobre a coligação resulte numa nossa estimativa em que o PS tem 2 pontos de vantagem. Mas uma sondagem, apesar de ser a mais recente, é apenas uma sondagem, e não podemos ignorar toda a informação anterior. Nos dois estudos imediatamente anteriores, o PS aparece com, respectivamente, 2 e 5 pontos de vantagem. Tudo ponderado, a nossa estimativa aponta neste momento para 37.4% para o PS e 35.4% para a coligação Portugal à Frente.

Outra coisa que poderá parecer estranha é que haja sondagens que colocam as duas principais listas num quase empate e outras com uma vantagem significativa para o PS. Mas essa dispersão pode ser em grande medida explicada por diferenças sistemáticas entre os resultados apresentados por diferentes empresas ("house effects", no jargão destas coisas). Porque as empresas usam diferentes métodos - diferentes maneiras de constituir uma amostra, de contactar os membros dessa amostra, de formular e colocar as perguntas, de lidar com eventuais distorções da amostra em relação ao que se julga ser a composição do eleitorado, de ponderar as opções de diferentes pessoas com diferentes propensões para votar, etc, etc, etc - é natural que os resultados que produzem tenham alguma diferença sistemática. Olhemos, por exemplo, para as sondagens mais recentes da Eurosondagem e da Aximage (há outras, cujos resultados também integramos, mas são menos frequentes):

axi euro É fácil perceber que há algo nas sondagens da Eurosondagem e da Aximage que levam a que a coligação apresente resultados sistematicamente menores numas do que noutras. Já no PS essas diferenças são bem menores. É muito difícil apurar as causas desta diferença, porque as suas explicações possíveis são demasiadas para a informação de que realmente dispomos.

Outra coisa que o quadro poderia ajudar a perceber seria a tendência das intenções de voto quando olhamos isoladamente para uma e outra empresa, "controlando", por assim dizer, os tais "house effects". Mas aqui temos também algumas dificuldades. Primeiro, as subidas e descidas desde Maio não são muito expressivas. É certo que há um consenso entre Aximage e Eurosondagem - a coligação parece ter subido desde Maio até hoje - mas essa subida atinge o seu máximo na Eurosondagem: 1 ponto percentual. Segundo, há uma matéria sobre a qual não há de todo consenso: a tendência do PS e da vantagem deste sobre a coligação. Na Aximage, o PS também está a subir desde Maio, o que faz com que a vantagem sobre a coligação seja também estável nesta empresa (a seta para cima no quadro não tem qualquer significado estatístico). Na Eurosondagem, o PS está a descer, assim como a sua vantagem sobre a coligação. Quem terá razão?

Na verdade, o esforço para extrair tendências de tão poucas sondagens, e ainda por cima quando essas tendências são nalguns casos divergentes, nunca poderá produzir grandes conclusões. O retrato geral desde Maio até hoje é, afinal, de grande estabilidade nas duas listas com maiores intenções de voto, com mais oscilações na coligação PSD/CDS-PP (mas fundamentalmente devidas à sucessão de diferentes sondagens de diferentes empresas com seus respectivos "house effects"), e uma vantagem - reduzida - do PS sobre a coligação.

Nos restantes partidos, a CDU está estável desde finais de 2014, o BE está há dois meses com resultados algo acima dos seus piores resultados na legislatura, o PDR há muito tempo que não se aproxima dos excelentes resultados iniciais dados pela Aximage (na casa dos 5%) e o Livre está muito estável em torno dos 2%.

Screen Shot 2015-07-23 at 12.11.50

by Pedro Magalhães

A sondagem Intercampus: notas rápidas.

Posted July 9th, 2015 at 11:22 pm4 Comments

Podem ser consultados aqui os resultados. Em relação aos resultados de outra sondagem mais recente, a do CESOP da Católica, várias semelhanças:

1. A maior parte dos inquiridos acha que o PS vai ganhar as próximas eleições, 46% na Intercampus e 54% na Católica.

2. As estimativas de intenção de voto para o PS (37/38%), a CDU (10/11%) e outros partidos (7%).

3. A posição relativa dos líderes partidários do ponto de vista da avaliação feita pelos eleitores: Costa 1º, Martins 2ª, Jerónimo 3º, Passos Coelho 4º, Paulo Portas 5º.

O BE aparece com 6% de intenções de voto na Intercampus, 8% na Católica. Este resultado da Católica é de facto um outlier em relação às sondagens mais recentes:

Screen Shot 2015-07-09 at 22.57.15 O que não quer dizer que seja uma má estimativa. A "realidade" das intenções de voto é inacessível, só a vemos pelo instrumento das sondagens e pode haver algo nas restantes que as leve a subestimar o Bloco em vez de ser a Católica a sobreestimá-lo. Mais seguro é dizer o seguinte: é a primeira vez desde Julho de 2013 que o BE vem dando mínimos sinais de recuperação, e isso não é apenas fruto do resultado da Católica.

Outra diferença entre as duas sondagens é a intenção de voto na coligação de centro-direita: 38% na Católica contra 33% na Intercampus. Mas estas diferenças não são novas. Aqui a Católica não é um outlier, já que a coligação tem tido resultados muito parecidos nas sondagens na Aximage. Já Eurosondagem e, agora, Intercampus, têm resultados mais baixos. As explicações do costume não se aplicam (quase nunca se aplicam): Aximage e Católica, são, respectivamente, telefónica e face-a-face. O mesmo sucede com Eurosondagem, telefónica, e Intercampus, face-a-face com simulação de voto em urna. Outra maneira de ver isto é apreciar como, ao passo que há uma amplitude de 5 pontos entre a pior e a melhor sondagem para a coligação nos últimos tempos, a variação nos resultados do PS entre as várias sondagens é nula. Explain that.

Screen Shot 2015-07-09 at 23.03.18 Na avaliação dos líderes, é a primeira vez que temos a Intercampus na nossa base com esses dados. Logo, só quando tivermos mais observações da Intercampus podemos começar a considerar as suas especificidades na estimação pelo filtro de Kalman. Assim, por enquanto, incorporámos os resultados como se fosse uma sondagem da Católica. Ligeira subida para Costa, mas nada parece mudar de fundamental.

Screen Shot 2015-07-09 at 23.18.41

by Pedro Magalhães

Avaliação dos líderes partidários

Posted July 7th, 2015 at 7:00 pm4 Comments

No post anterior, falei da evolução das intenções de voto nos principais partidos, tal como estimadas na base das sondagens divulgadas pela imprensa. As mensagens são simples e continuam válidas na base da informação disponível:

1. A coligação PSD/CDS vale hoje, pelo menos, o mesmo (se não mais) que a soma dos partidos que a compõem.

2. A sondagem mais recente (do CESOP da Católica) indica um bom resultado para a coligação, mas essa informação não pode ser absorvida esquecendo toda a outra informação anterior disponível. Nessa base, a nossa melhor estimativa actual é de 36%, abaixo do PS mas suficientemente perto para que a resposta à questão “Quem vai à frente?” seja impossível de dar com elevada confiança.

3. Não há sinais de descida do PS.

Dito isto, há uma notícia menos boa para o PS noutro indicador, o da avaliação da actuação do seu líder. Vamos recordar o que fazemos aqui: utilizando um filtro de Kalman, estimamos a popularidade de cada líder partidário como uma variável latente que influencia os resultados de cada empresa, convertendo-a numa escala entre 0 e 20. Este exercício nunca nos correu bem para o caso de António José Seguro, especialmente nos períodos – longos – em que apenas tínhamos disponíveis sondagens da Aximage e da Eurosondagem. A razão é simples: enquanto que numa a avaliação de Seguro descia ao longo do tempo, na outra subia. Não havendo a priori razões para dar preferência a uns ou outros resultados, não é fácil compreender o que se estava a passar nem estimar um valor que dê conta de duas tendências opostas.

As coisas não são muito melhores com Costa, mas há uma diferença. Enquanto que Costa está relativamente estável na Eurosondagem, na Aximage vem descendo ao longo do tempo. Os nossos resultados reflectem essa tendência, confirmada pelo facto de, na Católica, a avaliação de Costa ter também piorado. Assim:

Screen Shot 2015-07-07 at 18.36.45 A avaliação popular de Passos Coelho, que começou em terreno positivo no início do seu mandato, desceu de forma contínua até à crise política de Julho de 2013, momento que coincide com uma recuperação e, a partir daí, relativa estabilidade ou até ligeira subida. Evidentemente que continua a ser muito impopular: é o líder partidário menos bem avaliado em Portugal, e só Cavaco Silva, entre os líderes políticos regularmente acompanhados, está a níveis inferiores (que isto possa ter sucedido com um Presidente da República dava um tratado, mas não é este o momento). Já Paulo Portas caiu de 8,9 para 5,6 em poucos dias, os dias da crise de Julho de 2013. Vem recuperando muito lentamente desde então.

O caso de Costa é diferente. Chegou a ser avaliado de forma mais positiva que Pedro Passos Coelho ou até Paulo Portas no início do mandato destes últimos. Contudo, de Outubro de 2014 até agora, passou de 13 para 9 pontos em 20, uma queda muito menos abrupta mas no total quase tão expressiva como a sofrida por Portas. Evidentemente, o sucesso de um partido não depende exclusivamente da imagem da sua liderança, e a imagem dos líderes é ela própria um produto - e não apenas uma causa - de muitas das coisas que influenciam o desempenho eleitoral de um partido. Mas num país e para um partido catch-all onde as avaliações dos líderes contam no comportamento de voto individual mesmo quando se controlam os efeitos de muitos outros factores de longo e curto-prazo, isto não pode ser visto como boa notícia para o PS.

by Pedro Magalhães

A post-digital century

Posted June 20th, 2015 at 9:59 am4 Comments

"I know that an epic struggle is at hand. The internet of things is at hand. And these electronic entities are going to grab all the physical stuff they can. And why not? They are the leading industries of the age, Google, Apple, Facebook, Amazon, Microsoft, maybe Xiaomi, maybe Huawei, I mean, these are the major industries that we have. They are like the trains, like the railroads used to be. But the fact that they are consolidating now, and that they tend to mimic each other so much is a sign of consolidation in the computer industry. It means that some day it will be old fashioned. And I can sort of see over the side of that. When I talk about the 22nd century, I'm talking about a post-digital century. One when nobody is excited by networks, nobody cares about cyberspace, computers are boring, social media is something your grandfather did. Right? And, you know, it gets you past that kind of 'singularity' rhetoric, 'if we just push it further everything is going to explode.' No, it isn't. It will explode, but not in the way you expect." Bruce Sterling, June 12th, at Porto.    

by Pedro Magalhães

A coligação nas últimas sondagens

Posted June 19th, 2015 at 6:04 pm4 Comments

Já houve cinco sondagens de intenção de voto nas legislativas que colocaram a coligação pré-eleitoral PSD-CDS (PaF) no menu de opções, em vez dos dois partidos separadamente. O POPSTAR já as inclui, graças ao excelente trabalho do Sílvio Moreira, do INESC-ID, e do Miguel Maria Pereira, da Washington University. As estimativas das sondagens para o PaF oscilam entre os 33% do último estudo da Eurosondagem e os 38% da Católica no estudo divulgado hoje. Aplicado o nosso filtro de Kalman, utilizando a informação anterior mas actualizando-a com os resultados da Católica, a estimativa está agora nos 35,9% para a coligação. É cedo para dizer se a coligação está a subir: se assim for, isso terá forçosamente de ser confirmado nas próximas sondagens da Aximage e da Eurosondagem. Se elas não confirmarem isso, o resultado da Católica terá de ser interpretado ou como um acaso ou como um "house effect" específico da Católica em comparação com os restantes. E se for um "house effect", a resposta à pergunta "Qual a melhor estimativa?" ficará por dar. Ou digamos antes: a melhor estimativa é, provavelmente, a do POPSTAR...

Screen Shot 2015-06-19 at 17.18.52 Contudo, há uma coisa que se pode dizer com segurança. A nossa última estimativa separada de PSD e CDS, de meados de Abril, dava-lhes 27,9% e 6,8%, respectivamente. Somados, 34,7%. Logo, à pergunta "Vale a coligação menos que a soma dos seus membros?" a resposta parece ser um claro "Não".

Deixei propositadamente no gráfico acima as estimativas para o PS desde pouco antes da crise de liderança (na sequência dos resultados das Europeias) para que se perceba outra coisa. Podemos gastar os rios de tinta e os biliões de píxels que quisermos sobre a "descida" do PS, mas até agora não se infere descida alguma. Imediatamente antes das Europeias, o PS estava estimado em 37,4%. Em Dezembro, 37%. Hoje está em 37,5%.

Nos restantes partidos, tudo relativamente estável. A CDU, depois de uma descida em relação aos melhores valores da legislatura, cujo início coincidiu com a chegada de Costa à liderança do PS, tem estado estável em torno dos 10% desde o início de 2015. PDR e Livre não aparecem discriminados na sondagem da Católica, pelo que ficam na mesma na nossa estimativa. O Bloco, com um resultado muito bom nesta última sondagem, sobe um pouco.

Screen Shot 2015-06-19 at 17.40.33    

by Pedro Magalhães

Seguro e Costa nos media online e no Twitter

Posted September 23rd, 2014 at 11:31 am4 Comments

Um aspecto curioso da cobertura das primárias do PS nos meios de comunicação social diz respeito à presença de cada um dos candidatos na televisão. Na base dos dados da Marktest, Seguro teve sistematicamente mais tempo de antena que Costa em Junho, Julho e Agosto. Como é evidente, não sabemos exactamente o que isso significa numa desagregação entre notícias sobre os candidatos e a sua presença em discurso directo, e muito menos em termos do tom dessa cobertura, positivo ou negativo. Mas o maior protagonismo de Seguro na televisão é claro.

O que se passa na imprensa escrita e nos media sociais? É aqui que o POPSTAR pode ajudar.

1. Recorrendo ao serviço Verbetes e Notícias do Labs Sapo, é possível detectar o número de menções a um e outro candidatos em mais de 60 fontes noticiosas online portuguesas. O gráfico abaixo mostra a frequência relativa, por dia, com que Seguro e Costa foram mencionados nos meios de comunicação online, e ajusta linhas de tendência.

Screen Shot 2014-09-23 at 09.36.51 Em geral, ao contrário do que se passou na televisão e apesar de grandes variações diárias e algumas mudanças ao longo do tempo, Seguro e Costa foram mencionados nos media online com frequência muito semelhante ao longo dos últimos meses. Costa chegou a ter alguma vantagem, mas chegam ao final da campanha com igual visibilidade nos media escritos online.

2. Já no Twitter e nos blogues, o padrão é bastante diferente. Recorrendo à plataforma do POPSTAR e à sua capacidade para detectar e filtrar automaticamente entidades em textos (plataforma essa que já ganhou uma competição internacional em 2013 por ter sido a mais precisa), podemos medir a frequência com que Seguro e Costa foram mencionados nos blogues e no Twitter. Os dados mostram que, pouco tempo depois de ter lançado a sua candidatura, Costa passou a ser mencionado com muito mais frequência que Seguro quer na blogosfera quer na twittosfera, com um rácio que chegou a estar próximo do 2 para 1.

Screen Shot 2014-09-23 at 09.40.02 Screen Shot 2014-09-23 at 09.40.11 3. Mas mencionado a que propósito, e especialmente com que tom: positivo ou negativo? Sabemos da análise das menções aos líderes partidários que, pelo menos no Twitter, o sentimento associado às menções de líderes políticos é só muito raramente positivo, prevalecendo as menções "neutras" (informativas, sem polaridade associada) ou, especialmente, negativas. Aqui não é excepção. No próximo gráfico, mostramos o chamado Wilson score: a estimativa com base nos nossos dados, com 95% de confiança, da proporção "real" mínima de menções negativas feitas a cada um dos candidatos em relação ao total.

Screen Shot 2014-09-23 at 11.16.58 Os resultados são muito claros: quando se fala de Costa ou Seguro na twittosfera, é na esmagadora maioria dos casos com um sentimento negativo associado. As redes sociais não servem para dizer bem. Mas ao longo dos últimos meses, especialmente desde meados de Julho, isso é especialmente verdade para Costa.

Outra maneira de olharmos para os resultados é através do rácio entre menções positivas e negativas a cada um dos candidatos. O desfasamento entre menções positivas e negativas é tão grande que a escala tem de ser logarítmica:

Screen Shot 2014-09-23 at 09.46.20 Inicialmente, até meados do mês de Junho, este rácio é mais negativo (mais desfavorável) para Seguro. Mas a partir daí, o discurso sobre Seguro torna-se (comparativamente) algo menos negativo ao passo que Costa passa a ser objecto de muitas menções negativas em relação a positivas.

Uma última maneira de olhar para estes dados é mostrada no gráfico seguinte, que mostra que proporção da totalidade de menções negativas feitas a ambos os candidatos é dirigida em relação a cada um deles. Aqui, a mudança a partir do momento em que Costa avança com a sua candidatura é ainda mais expressiva. Da totalidade das menções negativas feitas aos dois candidatos, Costa absorve a maior parte, tendo chegado a cerca de 2/3. Só a partir do início de Setembro se nota uma ligeira inflexão na twittosfera, mas Costa continua a concentrar a maior parte da atenção negativa dos utilizadores portugueses do Twitter.

Screen Shot 2014-09-23 at 11.12.49 O que quer dizer tudo isto? Não se sabe bem. Há quem tenha sugerido em vários estudos - aqui o exemplo mais conhecido - que a visibilidade de um candidato na twittosfera é um bom preditor de resultados eleitorais. Isto seria uma boa notícia para Costa, e indicaria que o "buzz" sobre os candidatos nas redes sociais é mais relevante deste ponto de vista do que o "buzz" nos meios de comunicação social "convencionais", televisão ou imprensa escrita. Por outro lado, a maior concentração de menções negativas em Costa indica, pelo menos, que o candidato não desperta, longe disso, apenas aprovação entre os eleitores. Mas quem segmento do eleitorado é que os utilizadores do Twitter representam? E a sua "negatividade" significa o quê, quando se trata de exprimir preferências políticas e votar? Estas questões continuam em aberto.

Entretanto, a informação está aqui, na secção Primárias PS do POPSTAR. Explorem e divirtam-se.

by Pedro Magalhães

Uma análise das avaliações das unidades de investigação pela FCT/ESF

Posted July 11th, 2014 at 6:14 pm4 Comments

Eu e o Luís Aguiar-Conraria fizemos um exercício relativamente simples utilizando os dados do estudo bibliométrico encomendado pela FCT no âmbito da avaliação das unidades de avaliação. Primeiro, juntámos as diferentes bases de dados desse estudo bibliométrico – que se encontram divididas por área científica – numa única base. Para os centros que apareciam em diferentes áreas científicas ao mesmo tempo, assinalámos o seu carácter interdisciplinar para o tomarmos em conta na análise posterior. Depois, para cada centro, fomos recolher a nota recomendada na 1ª fase da avaliação: “Poor”, “Fair”, “Good” e passagem à 2ª fase para os restantes (que não têm ainda nota atribuída). Em apenas duas unidades incluídas no estudo bibliométrico – Centre for Research in Private Law e o e-Planning Lab – não conseguimos determinar o desfecho da 1ª fase da avaliação, por não parecerem estar incluídas no ficheiro respectivo a que tivemos acesso. A base que elaborámos está disponível aqui. Não é impossível que contenha erros, apesar de termos feito os maiores esforços para os evitar.

A pergunta que colocámos de seguida é simples: que factores conhecidos e objectivamente mensuráveis acerca dos centros de investigação terão afectado a probabilidade de terem passado à 2ª fase da avaliação ou a nota que receberam?

Podemos imaginar alguns factores possíveis:

1. A área científica em si mesma, que pode ser captada seja através da pertença a uma das 45 “main scientific areas”, seja, de forma mais agregada, pelo painel de avaliação (6 grandes áreas, Exact Sciences, Health and Life Sciences, Humanities, Engineering Sciences, Natural and Environmental Sciences e Social Sciences).

2. A dimensão absoluta das unidades (medida em “Full Time Employees”).

3. O volume da sua produção científica em revistas internacionais indexadas na Scopus ao longo dos anos 2008 a 2012 (“Total output 2008-2012”).

4. O impacto científico da investigação publicada conduzida na unidade no mesmo período, medida através do H-Index, que consiste no número de artigos publicados com um número de citações maior ou igual a esse número (para uma explicação mais detalhada, ver aqui).

5. Se a unidade de investigação é interdisciplinar, ou seja, se se encontra registada em mais do que uma área científica.

Se a variável dependente for binária (com 0, não passou à 2ª fase, e 1, passou à 2ª fase), podemos correr um modelo probit para medir o impacto das variáveis anteriores na probabilidade de ter passado à 2ª fase. Uma análise preliminar mostra que área científica de pertença do centro não teve efeitos relevantes (apenas os centros na área de Business e de Educational Sciences tiveram uma probabilidade ligeiramente inferior aos restantes de passar à 2ª fase). O mesmo sucede quando testamos os efeitos do painel de avaliação. Logo, corremos um modelo simplificado, cujos resultados se mostram abaixo:

modelo 1 Independentemente da sua dimensão, do nº total de publicações que tiveram e de serem ou não interdisciplinares, centros com um h-index mais elevado tiveram uma probabilidade maior de passarem à 2ª fase. Mais concretamente, um centro com um h-index que fosse 13 pontos (o desvio-padrão da amostra) superior ao de outro teve, mantendo os valores das restantes variáveis constantes na média, uma probabilidade prevista de cerca de 16 pontos percentuais superior de ter passado à 2ª fase. Houve portanto uma relação entre o impacto da investigação conduzida nos centros e a probabilidade de passarem à 2ª fase, apesar de não ser muito forte. O mesmo não sucedeu, por exemplo, com o carácter interdisciplinar, que foi aparentemente irrelevante quando olharmos para a totalidade dos centros.

Contudo, o quadro mostrado dá-nos duas informações adicionais. A primeira é que, independentemente do volume de publicações e do seu impacto, centros maiores tiveram maiores probabilidades de passar à 2ª fase. O centro médio avaliado tem cerca 27,6 pessoas full time, mas o desvio padrão é de 30,6. Um centro com uma dimensão cerca de um desvio padrão acima da média teve, ceteris paribus, uma probabilidade prevista superior em 30 pontos percentuais de conseguir passar à 2ª fase, independentemente da quantidade e impacto da sua investigação publicada.

Finalmente, publicar muito, independentemente do impacto, não ajudou, pelo contrário. Em média, cada centro teve 75 publicações no período 2008-2012. Ter tido um número absoluto de publicações cerca de um desvio padrão acima dessa média diminuiu a probabilidade de passar à 2ª fase em 19 pontos percentuais. Este resultado não parece razoável. Provavelmente, como a “qualidade” (em termos de impacto) dos artigos publicados está a ser captada por outra variável, esta variável está a captar publicações de menor “qualidade” (na verdade, num modelo que exclua o h-index, esta variável perde significância, o que parece confirmar esta hipótese).

Podemos fazer a análise de outra forma, tratando as notas como uma variável contínua (de 1, “Poor” a 4, “Passou à 2ª fase”): modelo2 Os resultados vão no mesmo sentido: publicar com impacto foi bom, e ser-se grande foi especialmente bom. Relativamente ao número de publicações, aplica-se o comentário feito no quadro anterior. Utilizámos também um modelo ordered logit, que produziu resultados semelhantes.

Nota-se ainda outra coisa: na regressão linear, estas variáveis explicam apenas 15% da variância nas notas atribuídas. Quando se conhecerem as notas finais dos centros que passaram à segunda fase, é possível que a nossa capacidade de prever a sua avaliação na base deste tipo de dados aumente. Mas por enquanto, o que se sabe é que a maior parte da variância das notas não foi explicada nem pelo número de publicações, nem pelo seu impacto, nem ainda pela dimensão das unidades, e sim por outros factores que não estão captados no modelo.

Uma nota sobre as ciências sociais. Fazendo o mesmo tipo de análise, encontramos os seguintes resultados para as unidades avaliadas por este painel:

modelo3 Os resultados são um pouco diferentes do que se passou na generalidade das unidades. Dimensão e número absoluto de publicações não contaram. O h-index, como indicador de impacto da investigação científica, contou bastante quando se trata de distinguir entre os que passaram e não passaram à 2ª fase (um aumento de 5 pontos percentuais na probabilidade de passar por cada ponto no h-index, mantendo os valores das restantes variáveis constantes nas médias) e de forma menos clara se tratarmos as notas com uma variável contínua (mas mesmo assim próximo da significância estatística).

Contudo, aqui, a interdisciplinaridade foi punitiva: tudo o resto igual, os centros que se apresentaram a outros painéis para além do das ciências sociais tiveram uma probabilidade de passarem à 2ª fase inferior em cerca de 39 pontos percentuais àqueles que se apresentaram apenas ao das ciências sociais. Da mesma forma, o modelo explica apenas 23% da variância se usarmos uma regressão linear. Tudo o resto deve-se a factores que não as publicações, o seu impacto, a dimensão da unidade ou o seu carácter interdisciplinar.

by Pedro Magalhães

A sondagem da Intercampus

Posted May 27th, 2014 at 8:56 am4 Comments

Não me entendam mal. A Intercampus é uma empresa experiente e, que eu saiba, séria, o destino de Seguro não me preocupa e, tendo estado do outro lado, sei bem que se faz o melhor que se pode e que se sabe e os resultados são os que são. Afinal, mesmo que fosse possível fazer uma amostra puramente aleatória, é intrínseco à ideia de amostragem que é sempre possível (se bem que improvável) obter resultados muito desviantes. Mas as ideias de que o PS teria menos em legislativas do que nas europeias ou de que os brancos/nulos estariam 11 pontos acima dos verificados nas europeias mereceria talvez alguma espécie de distanciamento crítico por parte de quem apresenta os resultados.

by Pedro Magalhães