Foi a mais estúpida controvérsia científica de sempre? Não foi uma controvérsia científica. Foi um entretenimento começado e prosseguido naquilo a que os autores chamam «imprensa popular», a saber, o New York Times, no que se estendeu com furor inclusive por todas as cavernas que fazem eco no mundo, a propósito de erros e omissões contidos nos cálculos da dupla de economistas Carmen Reinhart e Kenneth Rogoff, no seu paper Growth in a time of debt. Trata-se da regularidade observada do crescimento descrescente para níveis crescentes de dívida pública. Os erros foram corrigidos pelos autores, a base de dados alargada e a cobertura temporal actualizada, os resultados sofreram variações de décimas, as conclusões são as mesmas do início. O furor entretanto terminou. Aqui fica uma súmula dos resultados contidos na errata publicada. Escolhi a mediana do crescimento, porque pode ser mais representativa, visto que evita o peso excessivo que na média podem ter resultados pontuais extremos. Os autores também calculam a média. É só consultar. Portugal é apenas um caso exagerado, excessivo da tendência geral observada, como se vê pelo gráfico. E sim, todo o estudante sabe que correlações não são causações, que entre duas variáveis a e b com correlações significativas a causa tanto pode ir de a para b, como de b para a, não ir de uma para a outra, mas estar situada numa variável omissa que determina as duas, pode haver loop, zzzzz, que para estabelecer o efectivo nexo causalidade é necessário zzzzz, etc. Curioso que tão pouca cobertura tenha sido dada à errata. Vá-se lá saber porquê.
Encomendado à curiosidade. Sine ira et studio.
O Insurgente 
E convém acrescentar que os media apresentaram o estudo de Reinhart e Rogoff como o suporte às políticas de austeridade na Europa, quando na realidade estes autores defendem o default dos países sobreendividados. Os jornais em portugal são lixo tóxico…
Também não podemos desvalorizar o erro, não são apenas algumas decimas. Os autores prevêem que a economia receda 0,1%, enquanto na realidade ela cresce 2,2% para países com dividas acima de 90% do PIB.
Click to access WP322.pdf
Caro Jorge,
Discordo da assercao de que nao foi uma polemica cientifica (embora admita que tenha sido tambem entretenimento):
1) Os erros foram detectados atraves de replicacao por parte de outros academicos;
2) Reinhart e Rogoff responderam (mais do que uma vez), defendendo aquilo que entenderam merecer defesa e corrigindo o resto;
3) Nao foi so no nytimes e afins que o artigo foi discutido. Houve uma intensa discussao nos meios academicos (na area da economia) sobre a metodologia utilizada e sobre a plausibilidade de haver uma relacao de causalidade divida->crescimento. Qualquer pessoa que trabalhe ou estude num departamento de economia nos EUA (e certamente noutros paises) lho podera confirmar.
4) Para la da discussao do artigo em si, a polemica levou varios economistas academicos a discutir: i) a importancia dos investigadores em economia disponibilizarem os seus dados ; ii) as vantagens (ou falta delas) em a American Economic Association publicar, todos os anos, uma edicao especial da American Economic Review (uma das 3 publicacoes mais prestigiadas na area da economia) onde os artigos nao sao “peer-reviewed”.
Discordo tambem quando diz que as conclusoes se mantem intactas. E’ verdade que a correlacao negativa entre divida e crescimento se mantem, mas a conclusao mais popular desapareceu: a de que haveria uma descontinuidade na relacao divida/crescimento nos 90% da divida ou, usando o termo mais conhecido, um precipicio. Recordo que esta conclusao foi mencionada por varios politicos (Paul Ryan por exemplo) em intervencoes sobre o endividamento publico.
E’ evidente que Reinhart e Rogoff nao sao responsaveis pela austeridade (esta estava pre-determinada). Mas nao deixa de ser problematico que dois economistas que sabem ter impacto publico tenham sido pouco cuidadosos e, pior que isso, que nao tenham hesitado em tentar “vender” uma relacao de causalidade que nao podiam provar.
Nota final: se inclui, nas suas criticas de sensacionalismo, a imprensa portuguesa, nao posso estar mais de acordo. Algumas das capas que foram publicadas sobre o assunto revelam uma de tres coisas: ma fe, ignorancia, ou preguica.
PS: Peco desculpa pelos acentos e cedilhas, o motivo e’ obvio.
Caro David Gonzalez: é evidente que houve trabalho científico, de tal modo que a errata foi publicada. Teve tanto interesse para o entretenimento que não foi divulgada. Sabe bem a que me refiro quando falo do entretenimento. Indo a alguns dos seus pontos: A) A questão da causalidade é muito anterior, nos meios académicos, a esta polémica. Mas mesmo muito anterior. Nada tem a ver, verdadeiramente. B) A queda do crescimento em 1% passado o limiar dos 90% de dívida, aquilo a que os autores chamaram relação não-linear entre crescimento e dívida, e a que chama precipício, mantém-se em toda a amostra, para o pós-guerra (na mediana, e não na média, aqui a queda é de 0,8%). Um aparte: uma hipótese explicativa no paper de 2010 era a de que a não-linearidade configurasse uma situação de «intolerância à dívida», situação conceptualizada e «operativizada» em This Time is Different (2009). Era uma hipótese. É curioso verificar como no caso dos países periféricos não restam dúvidas de que esse foi manifestamente o caso. Dou um exemplo no gráfico… C) Há uma correcção com algum significado apenas na série longa para a mediana, dependendo dos PIB utilizados (Maddison ou séries históricas da Noza Zelândia). D) Nada disto tem de facto grande importância uma vez que a dita polémica ignora por inteiro, passa ao lado, a formulação do problema a que os autores vêm aludindo desde 2010 em sucessivas elaborações e que conhece a sua expressão mais actualizada nos termos deles, como passo a citar: «Setting the noise aside, growth in the high-debt category is less than half of what it averages for the low-debt category. For the periphery countries of Europe, the difference is even greater. But this discussion does not belong in the errata to Growth in a Time of Debt and the interested reader is referred to Reinhart and Rogoff (2013).». Discutiu-se (HAP) em 2013 como se estivéssesmo, neste trabalho, em 2010. É o estado actual da arte que tento reproduzir de forma muito esquemática no gráfico. O resto é mesmo noise, noise, noise.
Numa perspectiva holística, penso que o David Gonzalez está correcto. Eu próprio vi essa discussão a acontecer nos meios académicos, nomeadamente onde trabalho. Pelo menos por aqui, ninguém levou muito a sério. Como de costume, deve ter sido um assistente de investigação que fez boa parte do trabalho e fez uma borrada, que neste caso teve um efeito na magnitude do resultado final. É por essas e por outras, especialmente para os Journals de econometria e de investigação empírica, tem que se submeter a base de dados.
Todavia, na ânsia de atacar a economia, os mass media acorreram logo para demonstrar como os economistas nem publicarem sabem. Em parte, acho que o sistema assusta um bocado. Fica muitas vezes as dúvidas se os júris das revistas lêem completamente o que lhes é submetido e a reputação e o nome parecem ter uma influência excessiva.
Mas este caso tem particularidades que fazem com que muitas das pessoas do meio académico não se impressionem. Os artigos foram publicados em revistas sem controlo de júri (e muitas das conclusões foram publicadas num livro). Basicamente, qualquer membro ou convidado daquela revista ou a instituição que a publica pode pôr os seus trabalhos ali. É o que se chama na gíria um Working Paper e quase todas as universidades e associações económicas têm disso. Daí que, muito provavelmente, ninguém além dos autores controlou a qualidade do artigo. Para se tornar uma publicação a sério, aí o artigo terá que ser publicado num peer-reviewed journal, ou seja com júri e aí, os académicos gostam de se chatear uns aos outros (típica luta de egos). O sistema não é perfeito, mas não é assim tão mau como pintam, para dizer que não tenho conhecimento que seja muito diferente do que se faz em outras áreas de conhecimento (neste ponto, se alguém souber de um método muito diferente, gostaria que me falassem dele. Afinal o saber não ocupa lugar.).
De mais a mais, o sistema funcionou em parte. Outros autores quiseram verificar os resultados, tiveram acesso à base de dados e executaram o seu trabalho. Tiveram todo o destaque e atenção, iniciando uma boa discussão que levou a um escrutínio público sobre o trabalho dos autores originais. Em última análise, e como o Jorge Costa demonstrou aqui, levou-os a corrigirem o que fizeram.
Para quem está no meio, é assim que as coisas funcionam: um economista apresenta um Working Paper e vai sendo criticado em dezenas de seminários e conferências até melhorar o seu trabalho ao ponto de, quando submete o paper para um jornal com júri, já tenha boas hipóteses de ter um trabalho bem feito e, por isso, publicável. E entretanto, outros economistas, alguns apostados em confirmar, outros em contrariar os resultados discutidos, já iniciaram mais uma onda de working papers que, por um processo semelhante, se poderão tornar artigos em revistas com júri, respeitando os padrões da sociedade académica.
Portanto, quanto à parte do processo de publicação em si, não houve nada demais e a economia não é muito diferente de outras ciências sociais. Agora, primeiro, o que preocupa é a maneira como os autores, a comunidade académica e a sociedade lêem e discutem cada artigo. Como está visto, é importante estar ciente da validade interna e da validade externa do estudo feito. Mas igualmente importante é conhecer toda a literatura em volta desse assunto. Este último passo é especialmente importante, porque não é só uma questão de conhecer os resultados de outros estudos: é também relevante para compreender se os métodos executados e as hipóteses envolvidas estão dentro dos cânones e, se saíram destes, se têm uma boa justificação para fazê-lo. Aí penso que o efeito da reputação tem um efeito muito nefasto: um economista quando é de tal maneira famoso que até é conhecido fora do mundo da economia académica, tendencialmente o público geral não vai estar a par do que é feito por outros autores igualmente competentes mas menos famosos (ou porque são mais novos, ou porque não se promovem tão bem, ou porque pertencem a uma universidade menos prestigiada ou qualquer coisa parecida). Pior ainda, muitas pessoas vão fazer de tudo para agarrar num resultado e encaixá-lo na sua agenda. E pior ainda, são economistas que deixam fazê-lo em silêncio às suas publicações, porque querem ver o seu ego acariciado em conferências públicas à força toda. Confesso que quanto a isto, não sei o que se há-de fazer, mas que preocupa, preocupa.
Segundo, a emergência de novas ideias e métodos diferentes é sempre ameaçada. Se é bom estar perto dos cânones, porque torna a comparação, para aferir a qualidade do trabalho, mais segura, também pode ser mau já que cria os chamados mainstreams, que nas ciências sociais tendem a gerar divisões e guerrilhas intelectuais difíceis de ultrapassar. Esta última ideia mina a qualidade do retorno que uma área de conhecimento pode dar à sociedade.
Finalmente, concordo plenamente com o Jorge Costa na maneira obtusa como os media trataram o assunto. Ainda assim, justiça seja feita, por exemplo, ao Diário Económico que publicou sobre esta correcção:
http://economico.sapo.pt/noticias/rogoff-e-reinhart-corrigem-excel-mas-mantem-conclusoes_168932.html
Igualmente, o Público noticiou esta mudança:
http://www.publico.pt/economia/noticia/economistas-corrigem-estudo-com-erro-no-excel-1593978
Ainda assim, acho que deveriam ter dado mais destaque à errata. Mas, como em quase qualquer tipo de notícia sobre qualquer coisa, quando alguém faz mal, ouve-se trombones e filarmónicas de críticos. Quando vem a resposta estruturada que demonstra como afinal, até houve um problema, mas não é assim tão grande e grave, já pia tudo mais fininho. Indo a um caso de uma situação noutra área completamente diferente, não me lembro dos mass media terem pedido desculpa e pago uma indemnização ao Melão e ao Calado pelos efeitos causados por um dos maiores fenómenos de homofobia alguma vez ocorrido em Portugal (uma vez mais, se alguém souber de uma situação que contrarie esta última afirmação, agradeço que mo digam).
Aliás, no fim, também é complicado controlar o que se publica nos mass media 🙂 (e sim, antes que me chamem fascista ou totalitário, sou contra a censura!)
Não é entertenimento é Política. E o New York Times é um dos jornais da esquerda. Keynesiana.
O argumento de que o estudo que provocou a falsa austeridada* estava errado, é mentira dos jornais pura e simples – e a razão para ter acontecido é política – é uma aberração dizer que foi este estudo que provocou austeridade, Será que o estudo existia quando o Dr.Soares chamou o FMI, ou quando o senhor Mitterrand com o senhor Delors iniciou a “política do rigor”?
*Falsa pois reduzir défices não é Austeridade. Austeridade é reduzir a dívida.