Eu e o Luís Aguiar-Conraria fizemos um exercício relativamente simples utilizando os dados do estudo bibliométrico encomendado pela FCT no âmbito da avaliação das unidades de avaliação. Primeiro, juntámos as diferentes bases de dados desse estudo bibliométrico – que se encontram divididas por área científica – numa única base. Para os centros que apareciam em diferentes áreas científicas ao mesmo tempo, assinalámos o seu carácter interdisciplinar para o tomarmos em conta na análise posterior. Depois, para cada centro, fomos recolher a nota recomendada na 1ª fase da avaliação: “Poor”, “Fair”, “Good” e passagem à 2ª fase para os restantes (que não têm ainda nota atribuída). Em apenas duas unidades incluídas no estudo bibliométrico – Centre for Research in Private Law e o e-Planning Lab – não conseguimos determinar o desfecho da 1ª fase da avaliação, por não parecerem estar incluídas no ficheiro respectivo a que tivemos acesso. A base que elaborámos está disponível aqui. Não é impossível que contenha erros, apesar de termos feito os maiores esforços para os evitar.

A pergunta que colocámos de seguida é simples: que factores conhecidos e objectivamente mensuráveis acerca dos centros de investigação terão afectado a probabilidade de terem passado à 2ª fase da avaliação ou a nota que receberam?

Podemos imaginar alguns factores possíveis:

1. A área científica em si mesma, que pode ser captada seja através da pertença a uma das 45 “main scientific areas”, seja, de forma mais agregada, pelo painel de avaliação (6 grandes áreas, Exact Sciences, Health and Life Sciences, Humanities, Engineering Sciences, Natural and Environmental Sciences e Social Sciences).

2. A dimensão absoluta das unidades (medida em “Full Time Employees”).

3. O volume da sua produção científica em revistas internacionais indexadas na Scopus ao longo dos anos 2008 a 2012 (“Total output 2008-2012”).

4. O impacto científico da investigação publicada conduzida na unidade no mesmo período, medida através do H-Index, que consiste no número de artigos publicados com um número de citações maior ou igual a esse número (para uma explicação mais detalhada, ver aqui).

5. Se a unidade de investigação é interdisciplinar, ou seja, se se encontra registada em mais do que uma área científica.

Se a variável dependente for binária (com 0, não passou à 2ª fase, e 1, passou à 2ª fase), podemos correr um modelo probit para medir o impacto das variáveis anteriores na probabilidade de ter passado à 2ª fase. Uma análise preliminar mostra que área científica de pertença do centro não teve efeitos relevantes (apenas os centros na área de Business e de Educational Sciences tiveram uma probabilidade ligeiramente inferior aos restantes de passar à 2ª fase). O mesmo sucede quando testamos os efeitos do painel de avaliação. Logo, corremos um modelo simplificado, cujos resultados se mostram abaixo:

Independentemente da sua dimensão, do nº total de publicações que tiveram e de serem ou não interdisciplinares, centros com um h-index mais elevado tiveram uma probabilidade maior de passarem à 2ª fase. Mais concretamente, um centro com um h-index que fosse 13 pontos (o desvio-padrão da amostra) superior ao de outro teve, mantendo os valores das restantes variáveis constantes na média, uma probabilidade prevista de cerca de 16 pontos percentuais superior de ter passado à 2ª fase. Houve portanto uma relação entre o impacto da investigação conduzida nos centros e a probabilidade de passarem à 2ª fase, apesar de não ser muito forte. O mesmo não sucedeu, por exemplo, com o carácter interdisciplinar, que foi aparentemente irrelevante quando olharmos para a totalidade dos centros.

Contudo, o quadro mostrado dá-nos duas informações adicionais. A primeira é que, independentemente do volume de publicações e do seu impacto, centros maiores tiveram maiores probabilidades de passar à 2ª fase. O centro médio avaliado tem cerca 27,6 pessoas full time, mas o desvio padrão é de 30,6. Um centro com uma dimensão cerca de um desvio padrão acima da média teve, ceteris paribus, uma probabilidade prevista superior em 30 pontos percentuais de conseguir passar à 2ª fase, independentemente da quantidade e impacto da sua investigação publicada.

Finalmente, publicar muito, independentemente do impacto, não ajudou, pelo contrário. Em média, cada centro teve 75 publicações no período 2008-2012. Ter tido um número absoluto de publicações cerca de um desvio padrão acima dessa média diminuiu a probabilidade de passar à 2ª fase em 19 pontos percentuais. Este resultado não parece razoável. Provavelmente, como a “qualidade” (em termos de impacto) dos artigos publicados está a ser captada por outra variável, esta variável está a captar publicações de menor “qualidade” (na verdade, num modelo que exclua o h-index, esta variável perde significância, o que parece confirmar esta hipótese).

Podemos fazer a análise de outra forma, tratando as notas como uma variável contínua (de 1, “Poor” a 4, “Passou à 2ª fase”):

Os resultados vão no mesmo sentido: publicar com impacto foi bom, e ser-se grande foi especialmente bom. Relativamente ao número de publicações, aplica-se o comentário feito no quadro anterior. Utilizámos também um modelo ordered logit, que produziu resultados semelhantes.

Nota-se ainda outra coisa: na regressão linear, estas variáveis explicam apenas 15% da variância nas notas atribuídas. Quando se conhecerem as notas finais dos centros que passaram à segunda fase, é possível que a nossa capacidade de prever a sua avaliação na base deste tipo de dados aumente. Mas por enquanto, o que se sabe é que a maior parte da variância das notas não foi explicada nem pelo número de publicações, nem pelo seu impacto, nem ainda pela dimensão das unidades, e sim por outros factores que não estão captados no modelo.

Uma nota sobre as ciências sociais. Fazendo o mesmo tipo de análise, encontramos os seguintes resultados para as unidades avaliadas por este painel:

Os resultados são um pouco diferentes do que se passou na generalidade das unidades. Dimensão e número absoluto de publicações não contaram. O h-index, como indicador de impacto da investigação científica, contou bastante quando se trata de distinguir entre os que passaram e não passaram à 2ª fase (um aumento de 5 pontos percentuais na probabilidade de passar por cada ponto no h-index, mantendo os valores das restantes variáveis constantes nas médias) e de forma menos clara se tratarmos as notas com uma variável contínua (mas mesmo assim próximo da significância estatística).

Contudo, aqui, a interdisciplinaridade foi punitiva: tudo o resto igual, os centros que se apresentaram a outros painéis para além do das ciências sociais tiveram uma probabilidade de passarem à 2ª fase inferior em cerca de 39 pontos percentuais àqueles que se apresentaram apenas ao das ciências sociais. Da mesma forma, o modelo explica apenas 23% da variância se usarmos uma regressão linear. Tudo o resto deve-se a factores que não as publicações, o seu impacto, a dimensão da unidade ou o seu carácter interdisciplinar.

One Commment

1. Ainda os centros de investigação da FCT e a sua avaliação | Momentos económicos... e não só says:

   July 30, 2014 at 9:01 pm

   […] texto anterior e no post do Pedro Magalhães e do Luis Aguiar-Conraria, o aspecto mais saliente do actual processo de avaliação foi a importância de ser um centro […]

   Log in to Reply