A análise empírica diz ao revisor 2: "Vá embora"

11

Getty

A revisão por pares é frequentemente o principal obstáculo entre obter alguns dados e publicá-los na literatura científica. Como tal, muitas vezes é essencial manter resultados questionáveis ​​fora da literatura científica. Mas, para um grande número de cientistas com resultados sólidos, mas pouco interessantes, pode ser um obstáculo que gera frustrações para níveis termonucleares. Portanto, não é surpresa que muitos cientistas desejem em particular que determinados revisores acabem envolvidos em atividades que não são mencionáveis ​​em uma publicação amplamente familiar como a Ars.

O que foi uma surpresa foi ver uma publicação revisada por pares tornar esse desejo público. Muito público. Como no direito ao artigo "Caro revisor 2: vá se divertir", os níveis de público.

Naturalmente, lemos o artigo e entramos em contato com seu autor, David Peterson, do Estado de Iowa, para descobrir os detalhes do estudo. O detalhe principal é que o título é um tanto enganador: é realmente Revisor 3 quem é o bastardo sem coração que continua tentando torpedear as carreiras de outros acadêmicos. Quanto ao resto, continue lendo.

Temos que perguntar: por quê?

Peterson expôs seu caso ao examinar um revisor em particular em seu artigo, na seção intitulada "Por que revisor 2?"

A principal motivação deste artigo é que a comunidade em geral decidiu que o Revisor 2 é um monstro. Uma pesquisa no Google por "Reviewer 2" produz o grupo interdisciplinar do Facebook "Reviewer 2 Must Be Stop!" (que tem mais de 9.000 membros), uma entrada de blog intitulada "Como não ser revisor nº 2" e inúmeras imagens combinando quase todos os memes visuais imagináveis. Na academia, é justo dizer que o Reviewer 2 é o melhor bicho-papão. Ele é Pennywise, o Palhaço, combinado com el chupacabra, embrulhado na Bruxa de Blair.

Em outras palavras, Peterson escreveu: "O Avaliador 2 não considera o trabalho de outras pessoas, preguiçoso, beligerante e presunçoso".

Mas isso não chega ao problema maior: por que olhar para esse problema? Peterson disse que é mais ou menos porque ele tinha os dados de qualquer maneira. Ele foi o editor da revista Political Behavior por quatro anos, e Peterson analisou os resultados de sua revisão por pares como parte de um processo que procurava qualquer viés sistêmico nos resultados com base em coisas como raça ou gênero das pessoas que tentaram publicar há. "Então, eu tinha todos os dados, certo? Eu meio que colecionei tudo para esse outro projeto", disse ele a Ars. "E então me dei conta – honestamente, depois de uma cerveja ou duas – que eu poderia tentar testar isso. É bem direto, você sabe? É um teste estatístico muito, muito direto."

Faça esses dois testes estatísticos. No primeiro, Peterson verificou se havia alguma diferença sistemática nas classificações dos artigos com base no número do revisor. Isso apareceu absolutamente nada. Mas Peterson não foi feito. "Existe esse tipo de segunda possibilidade – que quando os acadêmicos … quando ficam bravos com as críticas, é realmente o ponto negativo negativo que odiamos, certo? E então talvez eu possa tentar capturar a ideia de que o Revisor 2 é o número do revisor provavelmente importará por ser uma categoria, em média, inferior à média dos outros revisores. "

Ele fez as estatísticas para verificar se algum revisor frequentemente pontuava papéis de maneira bem diferente dos outros colegas. "Eu desenvolvi uma medida original de 'ser Revisor 2'", escreveu Peterson, antes de continuar dizendo "o verdadeiro problema do Revisor 2 é que ele é um outlier e que só pode ser visto quando o manuscrito é forte o suficiente para ser positivo. avaliações dos outros revisores. É quando o Revisor 2 esmaga suas esperanças. "

Poderíamos ter lhe dito que

Surpreendentemente, isso apareceu em algo. Quando perguntado se isso o surpreendeu, a resposta de Peterson foi "Oh, Deus, sim". Mas a surpresa não terminou com o fato de que houve algum resultado; estendeu-se ao fato de que os valores extremos não era Revisor 2.

Foi o Revisor 3.

Aqueles de vocês que são biólogos vão concordar sabiamente como (confirmado pela Dra. Beth Mole) que esse campo sempre culpou o Revisor 3. Na verdade, há um meme inteiro sobre o Revisor 3.

Cuidado: muitas legendas falsas do NSFW.

Perguntamos a Peterson sobre isso e ele especulou que os biólogos podem ser um pouco mais perspicazes quando se trata de escolher o revisor nefasto. "Acho que os biólogos estavam certos", disse ele a Ars. "Acho que os biólogos podem ser um pouco melhores nisso do que (cientistas políticos) são. Honestamente, isso é divertido para mim. E não sei por que diferentes disciplinas escolheriam números diferentes para fazer o diabo ".

Ele sugere que pode ter algo a ver com a forma como os revisores são escolhidos. Os revisores de comportamento político acabam no temido slot 2 em grande parte por auto-seleção. Sabendo que muitos revisores em potencial diriam não por várias razões, Peterson disse que enviaria solicitações para mais pessoas do que ele precisava. Qualquer pessoa que dissesse sim receberia um número de revisor com base na ordem em que responderam. Outras revistas podem lidar com isso de maneira diferente.

O que se destacou para Peterson foi o fato de que, pelo menos entre os cientistas políticos, o Revisor 3 é o problema, mas a comunidade conseguiu transferir a culpa para outra pessoa. "O Reviewer 3 não é apenas o ator ruim, mas também é esperto o suficiente para que eles sejam responsabilizados", disse ele a Ars. "O que meio que me irritou sem fim, francamente."

Como você publica isso?

No artigo, Peterson pula a linguagem acadêmica normal para avaliar isso: "Parece que esse é o movimento idiota definitivo". Linguagens como essa, as referências ao el chupacabra e o próprio título são bastante incomuns na literatura acadêmica. Mas Peterson conseguiu publicá-lo sem abusar do fato de ser um editor. Parte disso se deve ao fato de que, no fundo, é uma análise quantitativa do comportamento humano, o tipo de estudo que é realizado por muitos periódicos.

Ainda assim, isso não facilitou a publicação. "Este não foi o primeiro diário para o qual eu a enviei", ele admitiu. Parte do problema, ao que parecia, era que alguns de seus revisores haviam conseguido, de alguma maneira, permanecer alheios a todo o conceito de revisor do inferno. "Eu continuava recebendo revisores que nunca ouviram falar da idéia do Revisor 2", disse ele. "Então a idéia básica de que existe esse idiota lá fora era totalmente estranha para eles, e eles não entendiam por que alguém pensaria que essa era uma pergunta interessante. O que me surpreendeu. Mas sim."

Eventualmente, ele conversou com as pessoas que serviriam como editores na revista onde foi publicada. "Conheço os editores do Social Science Quarterly há muito tempo e conversei com eles antes de enviá-lo, para garantir que eles o reconheceriam pelo que era", disse Peterson.

Mesmo assim, não foi necessariamente fácil traduzir isso para a aceitação do artigo. "Acredito que os editores foram cuidadosos na seleção de revisores", reconheceu Peterson.

O outro problema que ele teve com a edição é o título, que combina uma obscenidade com a culpa do revisor errado – o último dos quais quase foi alterado para o Revisor 3 por um copiador. "Quando o enviei para outros periódicos. O título era 'O revisor 2 é realmente o revisor 2?' E esse provavelmente é um título melhor, mas eu meio que gosto mais desse. "

Social Science Quarterly, 2020. DOI: 10.1111 / ssqu.12824 (Sobre os DOIs)

Fonte: Ars Technica