jump to navigation

Punkty za publikacje, głos w dyskusji 11/13/2012

Posted by Mikołaj Morzy in Uncategorized.
trackback

Polskie środowisko naukowe żyje ostatnio opublikowaniem przez MNiSW nowych list czasopism punktowanych, kolejne Wydziały prześcigają się w formułowaniu wymagań awansowych w oparciu o punkty z Web Of Science, SCOPUSa, list ministerialnych, itp. Można powiedzieć, że polską akademię ogarnęła istna punktomania. Niestety, cały ten zgiełk przykrywa dyskusję o istocie rzeczy, czyli o sensowności takiego podejścia do oceniania nauki. A jest o czym dyskutować (tym bardziej, że przecież te punkty i punkciki mają istotny wpływ na całkiem realne złotówki płynące z NCN-u).
W tym kontekście pozwolę sobie przywołać opinię Davida Parnasa z University of Limerick, opublikowaną parę lat temu na łamach „Communications of ACM” [1] (podziękowania dla Pawła Weichbrotha za wskazanie artykułu). Parnas bardzo zdecydowanie sprzeciwia się ocenianiu pracy naukowej na podstawie liczby publikacji lub liczby cytowań, twierdząc, że system ten bardzo szkodzi nauce i powoduje niezwykle negatywne konsekwencje. Trudno nie zgodzić się przynajmniej z niektórymi z jego argumentów, które streszczam poniżej:

  • ilość nie zamienia się w jakość, jeśli nagradzamy za liczbę publikacji, to automatycznie zachęcamy do publikowania tylko częściowych i powierzchownych wyników
  •  taki system promuje niepotrzebnie duże grupy, naukowcy dopisujący swoje nazwisko do każdej publikacji napisanej przez swoich studentów otrzymują nieproporcjolanie więcej niż naukowcy poświęcający dużo czasu małej liczbie współpracowników
  •  sposób publikowania „copy-paste-disguise”, gdzie ten sam materiał jest publikowany wiele razy pod różnymi tytułami i z różnymi stresczeniami jest nagradzany
  •  punkty za liczbę publikacji zachęcają do publikowania tzw. „delta research”, gdzie kolejny artykuł jest zaledwie minimalną zmianą w stosunkuu do poprzedniego (nassz poprzedni algorytm działał dla n<10, a w tym artykule prezentujemy rozszerzenie algorytmu umożliwiające obliczenie dla n<11)

A przede wszystkim, co obserwuje Parnas, ten system szkodzi czytelnikom publikacji naukowych, skupiając się na interesach autorów. Również argument o tym, że „najlepsze” publikacje i tak trafią do „najlepszych” czasopism jest co najmniej wątpliwy. Mechanizm peer-review jest obarczony wieloma błędami, recenzenci często nie przykładają się do pracy lub zlecają receenzje swoim doktorantom lub studentom, edytorzy ślepo ufają recenzentom wyliczając prostą średnią recenzji (bez analizowania treści recenzji). Niezwykle często artykuł odrzucony z jednej konferencji bez najmniejszych zmian jest przyjmowany na inną konferencję, autorzy wysyłają ten sam artykuł jednocześnie do wielu miejsc (pod zmienionym tytułem), tę listę grzechów można ciągnąć w nieskończoność.

W jaki sposób taki mechanizm punkowania wpływa na naukowców? Uczą się zawiązywać pakty (ja dopiszę ciebie a ty mnie – Parnas wspomina o „autorach”, którzy nigdy nie przeczytali artykułu pod którym są podpisani…), tworzą małe kliki z hermetycznym słownictwem i budują specjalnie dla takich klik fikcyjne konferencje i warsztaty. Fikcyjne w tym sensie, że takie warsztaty przyjmują wszystko jak leci, byle do CV dopisać „Organizator warsztatu ABC przy konferencji XYZ”. A taka organizacja się opłaca: można „przyjąć” dwa swoje artykuły, dopisać „Foreword” (trzeci artykuł), przerobić to na rozdział w książce (czwarty artykuł), i tak dalej. Pojawiło się nawet w środowisku pojęcie MPI: minimum publishable increment, tzn. jest to taka minimalna ilość nowego tekstu, żeby usprawiedliwić kolejną publikację (wprowadzenie, related work, wnioski końcowe mogą zostać te same). Parnas twierdzi, że kryzys konferencyjny widoczny gołym okiem (prezentujący mówiący do pustych sal, dziesiątki przyjętych referatów, których autorzy nie pojawiają się na konferencji) jest w dużej części efektem przyjętego sposobu punktowania publikacji.

Czy rozwiązaniem jest liczenie cytowań? Według Parnasa nie. Wiele cytowań jest przypadkowych (autor wpisuje hasło do Google Scholar i wrzuca do artykułu 10 losowych referencji), niektóre cytowania są negatywne, niektóre wskazują na odległe obszary badań, poza tym liczbą cytowań rządzi prawo preferencyjnego dołączania (zwane efektem św. Mateusza) i ostateczny rozkład liczby cytowań to rozkład potęgowy. Co przecież wcale nie oznacza, że najczęściej cytowane prace są najlepsze…

Najsmutniejsze w tym wszystkim jest to, że brak na horyzoncie propozycji naprawy systemu. Bo jakiś sposób oceniania pracy poszczególnych osób i całych jednostek jest jednak potrzebny. Dziś króluje ocena ilościowa, a nie jakościowa, ponieważ jest dużo łatwiejsza w implementacji. Ale pobocznym skutkiem wyboru takiego sposobu oceniania jest to, że akademicy uczą się reguł gry i szybko uczą się oszukiwać (jak mówi Parnas, „they learn to play the numbers game”). Czy da się temu jakoś zaradzić? Jeśli mogę zakończyć osobistą uwagą, pierwszym krokiem powinno być zrezygnowanie z anonimowości recenzji. Argumenty za zachowaniem anonimowych recenzji są dużo słabsze niż zysk jaki odnieślibyśmy z upubliczniania wszystkich recenzji. Mogę się podpisać pod każdą wykonaną przez siebie recenzją i to samo może powiedzieć każdy, kto pracę naukową traktuje poważnie. Zachowanie anonimowości recenzenta jest w mojej opinii jedynie przykrywką dla bylejakości. To byłby pierwszy krok do znacznego poprawienia sita peer-review i podniesienia poziomu artykułów przyjmowanych do czasopism lub na konferencje.

[1] Parnas, D. (2007). Stop the numbers game Communications of the ACM, 50 (11) DOI: 10.1145/1297797.1297815

Komentarze»

1. Marcin Waligóra - 11/13/2012

Ciekawa analiza. Mam wątpliwości dotyczące publikacji tego samego artykułu pod zmienionym tytułem oraz wysyłania tego samego artykułu do różnych czasopism.
We wszystkich czasopismach z IF należy podpisać deklarację, że się tego nie zrobiło. Nie znalazłem nigdy w swojej dziedzinie „zdublowanego” w ten sposób artykułu – zdaje się więc, że nie jest to często spotykany zwyczaj.

Kinga Jurczuk - 11/13/2012

Ja niestety nie mogę się z Panem zgodzić. Spotkałam się już kilkukrotnie z duplikowaniem artykułów. Niestety proceder ten jest coraz częściej stosowany przez polskich naukowców. Często wysyłany jest ten sam manuskrypt z nieznacznie zmienionym tytułem i przerobionym abstraktem do kilku czasopism jednocześnie. Różny czas oczekiwania na recenzję powoduję, że dany tekst może ukazać się w kilku czasopismach nawet z rocznym opóźnieniem.

Marcin Waligóra - 11/13/2012

Ale to w takim razie jest zwyczajne nielegalne. To oszustwo i złamanie zasad większości czasopism. Poważnie czasopisma posługują się kodeksem opublikowanym przez COPE.
Zawsze składając manuskrypt musiałem zdeklarować, zgodnie m.in. z tym właśnie kodeksem, że nie składałem go nigdzie indziej. Jeżeli autor nie przestrzega tej procedury, to nie tyle wina „systemu” , co przejaw nieuczciwości, którą przecież dość łatwo wykryć i napiętnować. Moim zdaniem powoływanie się na takie praktyki w celu podważenia systemu jest chybione. Moglibyśmy wówczas równie dobrze przywoływać wiele innych nielegalnych praktyk – na przykład fałszowanie danych badawczych (o wiele trudniejsze do wykrycia) W obu przypadkach to patologia, którą powinno się eliminować, ale trudno twierdzić, że winny jest tu „system”.

2. Piotr Stec - 11/13/2012

Oczywiście, że jest to niepiękne, ale ryzyko, że wydawca pozwie – nikłe, a „zysk” w postaci punktów i znacznego dorobku znaczny. Cały tekst jest przecież o patologiach, jakie rodzi system.
Anglicy w swoim czasie w ramach ichniej oceny parametrycznej pozwalali przedstawić do oceny najwyżej 2 teksty jednego autora.

Mikołaj Morzy - 11/14/2012

W mojej opinii „system” jest o tyle zły, że kładzie zdecydowanie zbyt duży nacisk na ocenę ilościową kosztem jakościowej. Ja wiem oczywiście, że cała nauka opiera się na kodeksie honorowym (szczególnie jeśli chodzi o publikacje i recenzje), ale ta punktomania zaczyna już negatywnie wychowywać młodzież naukową (jak powiedział jeden z naszych profesorów podczas ostatniej Rady Wydziału, grozi nam, że pojawią się „doktoraty z punktów”). No i wraca problem nierównej reprezentacji dyscyplin na liście, nawet w ramach mojego wydziału czasopism okołoinformatycznych jest bardzo dużo, ale już automatycy i robotycy mają do wyboru zaledwie kilka pozycji. Tak samo promowany w wielu miejscach indeks Hirscha też promuje szerokie dyscypliny kosztem wąskich specjalistycznych dziedzin, gdzie cytowań generalnie jest mniej.
Osobiście jednak dużo bardziej zależałoby mi na zmianie systemu peer-review (jawne recenzje) i wprowadzeniu idei otwartej nauki (obowiązek publikacji publikacji online i pełna dostępność danych) dla badań finansowanych z funduszy publicznych, wydaje mi się, że będzie to miało większy wpływ na jakość polskiej nauki niż niekończące się dyskusje o ministerialnej liście punktów (zresztą, chodzą słuchy, że wrześniowa lista już w grudniu będzie aktualizowana…)

3. Arctic Haze - 11/15/2012

Ocena parametryczna przy wszystkich wymienionych we wpisie wadach jest i tak lepsza od jej braku. Wiem bo pamiętam czasy gdy jedynym źródłem oceny naukowców była „opinia środowiska”, czyli w gruncie rzeczy plotka.

W polskiej nauce jest niestety nadal zbyt wielu „wybitnych specjalistów” w skali krajowej, którzy w ogóle nie splamili się publikacja w czasopismach o obiegu międzynarodowym. Jest też wielu prawdziwych specjalistów, cenionych przez swoich zagranicznych kolegów ale niedocenianych w macierzystych instytucjach w przypadku gdy nie ma tam nikogo oznajmującego się akurat tą samą wąską dziedziną. Ocena parametryczna natomiast pokaże od razu, że np. indeks h pierwszy będzie miał równy lub minimalnie większy od zera, natomiast drugi większy niż przeciętna w danej instytucji.

Odcięcie tej pierwszej grupy od otrzymywania grantów z NCN uważam za olbrzymi postęp. Szkoda tylko, ze nadal mogą być tam recenzentami.

Powyższe piszę pod pseudonimem bo ręce tej pierwszej grupy są nadal długie i mój indeks może nie uchronić mnie gdy ktoś z „wybitnych krajowych specjalistów” przeczyta powyższa a następnie zostanie recenzentem mojego wniosku profesorskiego.

Mikołaj Morzy - 11/16/2012

Pozostaje mi się tylko cieszyć, że w mojej dyscyplinie takie przypadki to zupełny margines. Może wpływ na to ma fakt, że informatyka jest młodą dziedziną, może ogromna presja publikowania międzynarodowego, w każdym razie przypadki takie jak wymienione przez Ciebie występują tak rzadko, że się nimi nie przejmuję. Ale potrafię sobie wyobrazić frustrację i wściekłość gdy się na taką osobę napotyka, to zupełnie jak scena z „Barw ochronnych”…
I jeszcze raz podkreślę, że w żadnym wypadku nie jestem wrogiem proponowanych metod oceny. Jak nie ma mierzalnego wskaźnika, to nie wiadomo, w którą stronę kieruje się proces. W skali makro liczenie punktów rzeczywiście pokazuje różnice między lepszymi i słabszymi jednostkami, a w przypadku osób o uznanym dorobku międzynarodowym punkty i indeksy H czy G faktycznie rozstrzygają o pozycji danej badaczki czy danego badacza. Wydawało mi się tylko, że opinia Parnasa jest ciekawym głosem w dyskusji i zmusza do chwili refleksji.

4. Arctic Haze - 11/25/2012

Najwyraźniej jeden „wybitny krajowy specjalista” przeczytał mój komentarz🙂


Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: