jump to navigation

Obalanie mitów o obalaniu mitów 11/26/2012

Posted by Mikołaj Morzy in nauka.
43 Komentarze

Obrazek magicznej kuli piorącej Jakiś czas temu moja żona poprosiła mnie o zebranie argumentów przeciwko stosowaniu magicznych kul do prania. Przeczuwała, że jest to kompletna bzdura, ale chciała na swoim forum podeprzeć zdanie „twardymi” faktami. Przy tej okazji z ciekawości zacząłem przyglądać się temu, co nauka mówi o skuteczności obalania mitów i wpadła mi w ręce niezwykle ciekawa publikacja, którą zdecydowanie warto przybliżyć. Myślę tu o „Debunking Myths About Debunking Myths
Większość sceptyków i racjonalistów zdaje się wierzyć, że utrzymywanie się mitów jest związane z deficytem informacji. Są przekonani, że wystarczy poinformować wyznawcę refleksologii o tym, dlaczego ta metoda nie ma żadnych podstaw działania (ani namacalnych wyników), żeby wyznawca przejrzał na oczy i porzucił wiarę w bzdury. Innymi słowy, skupiają się na dostarczeniu jak największej liczby dowodów na prawdziwość swoich tez. Niestety, ta droga nie tylko nie prowadzi do upragnionego celu, ale w wielu przypadkach jest wręcz kontrproduktywna i może powodować wzmocnienie wiary w mit [1]. Problem w tym, że nie chodzi tylko o to, w co ludzie wierzą, ale także w jaki sposób wierzą, tzn. jakie mechanizmy powodują umacnianie się mitów.
Zastanówmy się zatem, jakie metody są najbardziej skuteczne w obalaniu mitów. Podstawowe założenie jest takie, że my (tj. sceptycy) nie mamy wpływu na ilość mitów, półprawd czy kłamstw, jakimi karmieni są ludzie. Niestety, od momentu w którym nieprawda dotarła do mózgu danej osoby, wyciągnięcie jej stamtąd nie jest wcale prostym zadaniem. Badania pokazują, że niezależnie od tego, jak bardzo dana osoba będzie bombardowana prawdziwymi informacjami, kłamstwo pozostaje wdrukowane w mózg i jest tam wykrywalne. Jak już wspomniałem, w najgorszym przypadku grozi nawet wzmocnienie mitu. Przyjrzyjmy się zatem trzem sposobom, w jaki mit zostaje wdrukowany w nasze głowy, analizując przy okazji działające strategie obalania mitów.

Efekt skojarzenia (Familiarity Backslash Effect)

Aby obalić mit, musimy ten mit wypowiedzieć. Ale przecież samo wspomnienie mitu może go utrwalić przez proste skojarzenie: „Aha, gdzieś już to słyszałam, więc to prawda”. Rzeczywiście, wiele badań wskazuje, że ludzie mają silną tendencję do wierzenia w mity, które są im znajome. Przykładem niech będzie badanie wpływu informacji o skutkach szczepienia na grypę [2], w którym badanym przedstawiono ulotkę rozprawiającą się z większością popularnych mitów i kłamstw związanych z tą szczepionką. Bezpośrednio po zapoznaniu się z ulotką większość osób nie miała problemu w odróżnieniu prawdy i fałszu. Jednak już po 30 minutach okazało się, że nie tylko ludzie utracili zdolność odróżniania prawdy od fałszu: osoby które przeczytały ulotkę znacznie częściej brały za prawdę kłamstwa niż osoby z grupy kontrolnej, które nie czytały ulotki! Prawdopodobieństwo uznania czegoś za prawdziwe rośnie im bardziej jakieś zdanie wydaje się znajome. Efekt ten potęguje się z czasem, gdy szczegóły wypadają z pamięci i pozostają w niej jedynie „nagłówki wiadomości”. Co zatem należy zrobić? Oczywiście najlepiej byłoby nie wspominać kłamstwa wcale, ale najczęściej jest to niemożliwe. Trzeba więc unikać akcentowania mitu. Często spotykamy się z podejściem, w którym mit jest wytłuszczony w tytule: „Czy faktycznie akupunktura działa równie dobrze jak silne środki przeciwbólowe?” a poniżej pojawia się wyjaśnienie, że nie tylko akupunktura nie działa jak najlepsze środki przeciwbólowe, akupunktura w ogóle nie działa w żaden sposób. To jest poważny błąd. Główny nacisk ma być położony na fakt, który chcemy komunikować, to właśnie ten fakt ma się znaleźć w nagłówku w postaci sloganu, a bezpośrednio za nim ma się pojawić tekst zawierający najważniejsze fakty, które chcemy powiązać ze sloganem.

Reguła 1: Skup się na fakcie, który chcesz przekazać, a nie na micie, który chcesz obalić.

Efekt Przeciążenia (Overkill Backfire Effect)

Popularnym podejściem przy komunikowaniu nauki jest próba zalania czytelnika powodzią faktów. Założenie jest proste: im więcej faktów, tym większa szansa, że któryś z nich przekona osobę wierzącą w nieprawdę. Założenie jest tyleż proste, co nieprawdziwe. W rzeczywistości dla umysłu proste kłamstwo jest dużo bardziej atrakcyjne niż złożona prawda. Bardzo często ograniczenie się do 2-3 kluczowych faktów i zaprezentowanie ich w prostej, przejrzystej i łatwo przyswajalnej formie jest dużo lepszą strategią niż wdawanie się w polemikę i bombardowanie przeciwnika faktami [3]. W średniowieczu Grenlandia była tak samo zimnym, nieprzyjaznym miejscem do mieszkania jak dzisiaj. Dieta mieszkańców składała się przede wszystkim z ryb i fok. Wszystkie rejestry handlowe z Irlandii, Anglii i Islandii wskazują na import jedynie skór foczych oraz ryb z Grenlandii (w przeciwieństwie do statków pełnych zboża lub mięsa owczego). A jednak często w mediach spotykacie naukowych analfabetów opowiadających głupstwa o tym, że Grenlandia to przecież „Zielona Wyspa”, więc w średniowieczu było tam ciepło, zatem globalne ocieplenie to mit. Zamiast opowiadać o modelach klimatu, okresach krótkotrwałego ocieplenia i oziębienia, i podawać dziesiątki argumentów na rzecz tezy o antropogenicznej zmianie klimatu (co do której zgadza się 97% naukowców zajmujących się klimatem), lepiej jest skupić się na 3 kluczowych faktach związanych z mitem grenlandzkim:

  • Eryk Rudy kłamał na temat zielonego raju za zachodnim morzem w celu przyciągnięcia osadników
  • Mieszkańcy Grenlandii jedli foki i ryby co potwierdzają badania szkieletów
  • Nikt nie handlował z Grenlandczykami niczym poza skórami fok

Reasumując, mówimy prostym językiem, ograniczamy się do najbardziej przekonujących argumentów, jeśli tylko to możliwe to posiłkujemy się grafiką (przykładowo, co to znaczy, że panuje konsensus naukowy w sprawie globalnej zmiany klimatu? 97% naukowców zgadza się, że ludzie są odpowiedzialni za globalną zmianę klimatu. Poniżej kolorem białym oznaczono naukowców, którzy są przeciwni tej tezie (uznają globalną zmianę klimatu ale nie uważają, że to ludzie są za nią odpowiedzialni), a kolorem czerwonym oznaczono naukowców zdecydowanie przeciwnych tej tezie (tj. takich, którzy w ogóle nie uznają globalnej zmiany klimatu).

Czy panuje konsensus naukowy wokół globalnego ocieplenia?

Efekt Ataku na Światopogląd (Worldview Backfire Effect)

To jest chyba najtrudniejsza przeszkoda w wyjaśnieniu osobie, która jest proponentem mitu, dlaczego się myli. Jako ludzie mamy niezwykle silną tendencję do bronienia swojego światopoglądu i odrzucania wszystkich faktów, które mogą światopoglądowi zagrozić. Jest to związane przede wszystkim z naszą potrzebą utrzymywania spójności w światopoglądzie i wyraża się zjawiskiem potwierdzania (ang. confirmation bias) polegającym na tym, że dużo bardziej wierzymy w fakty wspierające nasze uprzednie przekonania, jednocześnie zdecydowanie odrzucając fakty przeczące naszym przekonaniom (albo pochodzące ze źródeł które uznajemy za ideologicznie wrogie). Przykładem tego zjawiska jest eksperyment z ulotkami zawierającymi informacje o skutkach dostępu do broni palnej [4]. W zależności od logo na ulotce (National Rifle Association lub Citizens Against Handguns) ludzie wybierali tylko te informacje, które zgadzały się z ich wcześniejszymi poglądami. Podobne zjawisko miało miejsce w przypadku członków partii republikańskiej wśród których przeprowadzono ankietę na temat broni masowego rażenia w Iraku [5]. Mimo, że badanie miało miejsce po tym, jak prezydent Bush publicznie przyznał, że żadnej broni w Iraku nie znaleziono, znakomita większość ankietowanych uważała, że broń masowego rażenia została w rzeczywistości znaleziona. Jedynie 2% badanych zmieniło swoje zdanie. Jak więc możemy przekazać jakiejś osobie fakty, które przeczą jej przekonaniom, w taki sposób, aby fakty miały szansę zakorzenienia się? Po pierwsze, większość wysiłków w szerzeniu prawdy i obalaniu naukowych mitów należy skierować nie na wyznawców błędnych teorii, ale na osoby niezdecydowane, które mogą ulec mitom. Po drugie zaś, fakty należy przedstawiać nie w postaci gołych informacji, lecz przy użyciu pewnej ramy koncepcyjnej szanującej światopogląd przekonywanej osoby [6]. Przykładowo, zamiast mówić o „regulacji rynku” lub przekonywać o konieczności „ograniczenia samowoli banków” w rozmowie z zajadłym liberałem, lepiej jest umieścić komunikowany fakt w kontekście „uporządkowania środowiska gospodarczego”, „uproszczenia reguł gry ekonomicznej”, itp. Tylko w taki sposób fakt ma szansę zakiełkować w cudzej głowie.

Najważniejszym elementem obalania mitu jest proces wypełnienia dziury poznawczej. Gdy przedstawiamy fakty i jednoznacznie falsyfikujemy czyjeś wcześniejsze przekonanie (zakładając, że udało się to zrobić), w światopoglądzie danej osoby pojawia się dziura. I ta dziura musi zostać jak najszybciej wypełniona nową, prawdziwą treścią. Trochę przerażającą ilustracją tego procesu jest gwałtowny spadek wyroków skazujących w przypadku ław przysięgłych, którym nie tylko obrona udowodniła niewinność oskarżonego, ale też wskazała lub zasugerowała inną podejrzaną osobę. Okazuje się, że nawet decydując o czyimś życiu lub wieloletnim więzieniu jesteśmy niewolnikami swojej świadomości, która domaga się spójności kosztem zgodności z prawdą. Owo zasypywanie dziury może przyjąć wiele form:

  • pokazanie sposobów i technik użytych do oszukania osoby
  • pokazanie powodów, dla których mit został sfabrykowany
  • jawne ostrzeżenie, że czytelnik/rozmówca za chwilę spotka się z mitem
  • wykorzystanie infografiki

Przykładowo, o skuteczności ostatniej metody świadczy to, że samo tylko pokazanie mapy z temperaturą mórz zakodowaną za pomocą kolorów znacząco zwiększyło akceptację teorii o globalnej zmianie klimatu wśród osób wspierających Partię Republikańską.

Podsumowując, skuteczne obalanie mitów wymaga następujących elementów:

  • najważniejsze fakty: obalanie mitu koncentruje się na przekazywanej prawdzie, a nie na micie
  • jawne ostrzeżenia: przed wspomnieniem mitu należy (w sposób graficzny lub wyraźny sposób opisowy) ostrzec czytelnika, że następujące po ostrzeżeniu stwierdzenia są mitem
  • alternatywne wyjaśnienie: wszystkie dziury jakie mogły powstać w wyniku obalania mitu muszą zostać natychmiast wypełnione prawdziwą treścią, np. poprzez wyjaśnienie dlaczego i w jaki sposób mit został wykreowany, w czyim leży interesie, itp.
  • grafika: jeśli to tylko możliwe, należy korzystać z infografiki

Spróbujmy zatem wyposażeni w te narzędzia podejść do problemu magicznych piorących kulek.

Użycie kul piorących niczym nie różni się od prania w samej wodzie.

Na rynku pojawiło się wiele firm oferujących tzw. kule piorące i zachwalających najbardziej nieprawdopodobne właściwości tych kul. W rzeczywistości mamy do czynienia z bezczelnym kłamstwem handlowym, które pod przykrywką pseudo-naukowego bełkotu żeruje na ludzkiej naiwności i próbuje nakłonić ludzi do zakupu całkowicie bezużytecznego produktu. Badania naukowe zlecone przez urzędy ochrony konsumentów w Stanach Zjednoczonych, Włoszech, Australii, Hiszpanii, Hong Kongu, jednoznacznie stwierdzają, że pranie z użyciem kul piorących w najmniejszym stopniu nie jest bardziej efektywne niż pranie w czystej wodzie. W wielu przypadkach urzędy zakazały firmom oferującym kule piorące posługiwania się kłamliwymi sloganami reklamowymi oraz nałożyły na te firmy kary finansowe. Odpowiedzią producentów kul piorących była zmiana języka reklamy: dziś celowo w marketingu kul piorących producenci posługują się jedynie ogólnikami, których prawdziwości nie da się ustalić. Sprawdźmy, jakie kłamstwa lub matactwa są stosowane najczęściej (poniższe cytaty zostały pobrane ze stron oferujących sprzedaż kul piorących w Polsce):

  • „Dzięki promieniowaniu podczerwonemu emitowanemu przez kulki wzrasta temperatura wody” : w rzeczywistości każde ciało wydziela promieniowanie podczerwone (czyli ciepło), od którego teoretycznie wzrasta temperatura wody. Jeśli do pralki wsadzę dowolny przedmiot, np. gumowe kalosze, to one też będą emitować promieniowanie podczerwone i podniosą temperaturę wody. O jakieś 0.000001 stopnia Celsjusza, ale zawsze.
  • „[kula] zawiera w swym wnętrzu magnesy neodymowe, oddziałują one na właściwości fizyczne wody użytej do prania”: woda nie jest paramagnetykiem lecz bardzo słabym diamagnetykiem, w zasadzie wpływ nawet silnych pól magnetycznych na wodę jest tak znikomy, że ledwie mierzalny czułą aparaturą naukową, więc wszystkie opowieści o „namagnetyzowanej wodzie” to brednie
  • „Oszczędzamy! Tradycyjny proszek do prania ok. 3,5 kg w cenie 25 zł wystarczy na ok. 20 prań. Ekologiczna Kula Piorąca 1 szt., w cenie 40 zł to ok. 1000 prań. Przy codziennym praniu w ciągu 3 lat zużyjemy ok. 55 opakowań proszku płacąc 1375 zł a przy codziennym praniu kulą Molli przez 3 lata wydajemy tylko 50 zł. Oszczędzamy 1325 zł.” To prawda, tylko przesłanka jest błędna. Ponieważ pranie bez użycia kuli piorącej daje dokładnie ten sam efekt, możemy oszczędzić jeszcze więcej, bo aż 1375 zł!!! Wystarczy nie kupować kuli.
  • „Dba o nasze środowisko, nie wywołuje szkodliwych reakcji chemicznych charakterystycznych dla detergentów. Jest technologią przyjazną środowisku”: przykładowy skład chemiczny jednej z kul piorących dostępnych w Polsce obejmuje: higher akyl sulfate, non-ionic surfacant, sodium metasilikate, calcium carbonate, oraz sodium carbonate.

Nie przyszła mi do głowy żadna grafika, która we właściwy sposób oddawałaby kuriozalność poniższego cytatu. Takiego nagromadzenia pseudonaukowego bełkotu dawno nie widziałem, więc wrzucam go tu jako kwiatek dla czytelników (licząc, że nie uznają tego za naukowy fakt).

„W wyniku tarcia się w wodzie kulki wytwarzają wysoko-energetyczne fale podczerwone, które powodują mikronizację H20, pobudzają częstotliwość wibracji wody, zwiększając moc czyszczenia.”

Jako ćwiczenie można sobie samemu napisać podobny tekst na temat dowolnego mitu: radiestezji, homeopatii, irydiologii, jasnowidztwa, …

[1] Norbert Schwarts, Lawrence J. Sanna, Ian Skurnik, & Carolyn Yoon. (2007). Metacognitive experiences and the intricacies of setting people straight: Implications for debiasing and public information campaigns Advances in experimental social psychology DOI: 10.1016/S0065-2601(06)39003-X
[2] Skurnik, I., Yoon, C., Park, D., & Schwarz, N. (2005). How Warnings about False Claims Become Recommendations Journal of Consumer Research, 31 (4), 713-724 DOI: 10.1086/426605
[3] Reber, R., & Schwarz, N. (1999). Effects of Perceptual Fluency on Judgments of Truth Consciousness and Cognition, 8 (3), 338-342 DOI: 10.1006/ccog.1999.0386
[4] Taber, C., & Lodge, M. (2006). Motivated Skepticism in the Evaluation of Political Beliefs American Journal of Political Science, 50 (3), 755-769 DOI: 10.1111/j.1540-5907.2006.00214.x
[5] Prasad, M., Perrin, A., Bezila, K., Hoffman, S., Kindleberger, K., Manturuk, K., & Powers, A. (2009). “There Must Be a Reason”: Osama, Saddam, and Inferred Justification Sociological Inquiry, 79 (2), 142-162 DOI: 10.1111/j.1475-682X.2009.00280.x
[6] Hardisty, D., Johnson, E., & Weber, E. (2009). A Dirty Word or a Dirty World?: Attribute Framing, Political Affiliation, and Query Theory Psychological Science, 21 (1), 86-92 DOI: 10.1177/0956797609355572

Reklamy

Przedsiębiorczość na polskich uczelniach 11/14/2012

Posted by Mikołaj Morzy in nauka.
10 Komentarzy

Wpadł mi ostatnio w ręce ciekawy raport. Co prawda został sporządzony w 2009 roku, ale większość konkluzji pozostaje aktualnych, więc przybliżę jego treść. Chodzi o raport z badania „Przedsiębiorczość akademicka” zrealizowanego na zamówienie Polskiej Agencji Rozwoju Przedsiębiorczości. Raport prezentuje wyniki badań przeprowadzonych w okresie od lutego do kwietnia 2009 przez SMG/KRC Poland Media i Polską Izbę Gospodarczą Zaawansowanych Technologii. Badania przeprowadzono na grupie 454 studentów, doktorantów i pracowników akademickich reprezentujących 44 polskie uczelnie. W zbiorze ankietowanych występują rozkłady:

  • studenci 45%
  • doktoranci 5%
  • doktorzy 35%
  • doktorzy habilitowani i profesorowie 15%
  • szkoła wyższa 50%
  • akademia 4%
  • uniwersytet 46%

W ramach wywiadów rozmawiano o potencjale związanym z firmami typu spin-off i spin-out, o sposobach pobudzania przedsiębiorczości akademickiej, o świadomości istniejących możliwości i narzędzi, oraz o powodach i przesłankach podejmowania działalności gospodarczej przez studentów i kadrę akademicą. Obraz rysuje się, mówiąc delikatnie, niewesoło.
W chwili obecnej tylko 6% badanych prowadzi własną firmę (9% kadry i 2% studentów). Tylko 8% badanych jest zainteresowanych założeniem własnej firmy w najbliższej przyszłości, przy czym zdecydowanie częściej to studenci chcieliby mieć swoją firmę. Dlaczego nie chcą się angażować w działalność gospodarczą? 76% kadry akademickiej jest zadowolone z obecnego status quo i tylko 10% deklaruje obawy czy posiadają wystarczającą wiedzę i umiejętności. Dość smutnie wygląda też katalog powodów zakładania firmy: 49% naukowców chce to zrobić tylko dla większego zysku, 19% deklaruje chęć uniezależnienia się od przełożonych, tylko 26% naukowców widzi we własnej firmie możliwość rozwijania swoich umiejętności czy poszerzania badań.

Być może na strach przed założeniem firmy ma brak doświadczenia? Faktycznie, ponad połowa ankietowanych nie ma żadnego doświadczenia zawodowego poza akademią, co trzeci posiada 3-letnie doświadcznie, co siódmy ponad 5-letnie doświadczenie. Ale najbardziej kuriozalny jest wynik pytania o możliwość komercjalizacji wyników prowadzonych przez siebie badań. Otóż 80% pracowników uczelni wyższych twierdzi, że prowadzi ważne badania których wyniki mogą zostać skomercjalizowane! Tylko nieco mniej niż 10% wyraża jakieś wątpliwości w tej sprawie. Dokładnie taki sam odsetek naukowców (80%) twierdzi, że prowadzone przez nich badania stanowią odpowiedź na potrzeby przemysłu, a zaledwie 5% boi się, że ich praca nie jest dopasowana do potrzeb gospodarki. Jak mawiał klasyk, „zawrót głowy od sukcesów!” Na dodatek ankiety wykazały, że studenci i pracownicy akademiccy znają wszystkie formy wspierania przedsiębiorczości akademickiej (biura karier, centra transferu technologii, inkubatory przedsiębiorczości akademickiej, fundusze kapitału zalążkowego, PARP, fundusz pożyczkowe, izby gospodarcze). Czyli mają co komercjalizować, wiedzą gdzie, ale im się nie chce.

A jak to wygląda na świecie? Od razu porównajmy polskie uczelnie z akademicką Primera Division, czyli amerykańskim Massachusetts Institute of Technology. MIT zatrudnia około 8 000 osób, studiuje tam nieco ponad 10 000 studentek i studentów. W 2009 roku uczelnia mogła się pochwalić 4300 firmami absolwenckimi, z których nieco ponad 100 zatrudniało więcej niż 1000 osób. Łączną sprzedaż prowadzoną przez te firmy oceniano na ponad 200 mln dolarów, co plasowało organizm gospodarczy MIT na pozycji 24 gospodarki świata. Ktoś mógłby powiedzieć, że to specyfika rynku amerykańskiego i że europejskie uniwersytety mają jednak swój własny styl. Nic bardziej błędnego: przykłady Uniwersytetu w Stuttgarcie, Uniwersytetu w Lund (Szwecja) czy Uniwersytetu Technicznego w Berlinie pokazują, że dokładnie taki sam ekosystem dla przedsiębiorczości akademickiej można zbudować w UE.

W 2005 roku nowa ustawa o szkolnictwie wyższym wprowadziła zapisy o współpracy uczelni z otoczeniem gospodarczym i położyła nacisk na przedsiębiorczość akademicką. Na papierze wygląda to nieźle, już w 2009 roku było 30 uczelnianych centrów transferu technologii i 50 inkubatorów przedsiębiorczości akademickiej. Jednak bez głębszych zmian w mentalności i postrzeganiu roli zaangażowania w działalność gospodarczą samo tylko otwieranie nowych jednostek szkoleniowo-informacyjnych w niczym nie pomoże. Nie do końca wiadomo nawet, które filozofia w Polsce powinna dominować. Czy należy finansować firmy spin-off (niezależne od jednostki macierzystej) czy spin-out (powiązane kapitałowo lub prawnie z uczelnią)? Czy inkubacja powinna obejmować przedsiębiorstwa (pomoc materialna, finansowanie obsługi księgowej, udostępnianie powierzchni biurowej i laboratoryjnej), czy raczej należy inkubować know-how? A może to nie ma większego znaczenia w obliczu smutnej statystyki głoszącej, że jedynie 30% pracowników naukowych prowadzi jakąkolwiek współpracę z otoczeniem biznesowym?

Tak czy inaczej, ten raport to dość smutny głos w dyskusji o kondycji polskiej akademii. Cały raport jest dostępny pod adresem www.parp.gov.pl/files/74/81/305/5022.pdf.

Grzegorz Banerski, Agnieszka Gryzik, Krzysztof B. Matusiak, Marzena Mażewska, & Edward Stawasz (2009). Przedsiębiorczość akademicka. Raport z badania. Polska Agencja Rozwoju Przedsiębiorczości

Punkty za publikacje, głos w dyskusji 11/13/2012

Posted by Mikołaj Morzy in Uncategorized.
8 Komentarzy

Polskie środowisko naukowe żyje ostatnio opublikowaniem przez MNiSW nowych list czasopism punktowanych, kolejne Wydziały prześcigają się w formułowaniu wymagań awansowych w oparciu o punkty z Web Of Science, SCOPUSa, list ministerialnych, itp. Można powiedzieć, że polską akademię ogarnęła istna punktomania. Niestety, cały ten zgiełk przykrywa dyskusję o istocie rzeczy, czyli o sensowności takiego podejścia do oceniania nauki. A jest o czym dyskutować (tym bardziej, że przecież te punkty i punkciki mają istotny wpływ na całkiem realne złotówki płynące z NCN-u).
W tym kontekście pozwolę sobie przywołać opinię Davida Parnasa z University of Limerick, opublikowaną parę lat temu na łamach „Communications of ACM” [1] (podziękowania dla Pawła Weichbrotha za wskazanie artykułu). Parnas bardzo zdecydowanie sprzeciwia się ocenianiu pracy naukowej na podstawie liczby publikacji lub liczby cytowań, twierdząc, że system ten bardzo szkodzi nauce i powoduje niezwykle negatywne konsekwencje. Trudno nie zgodzić się przynajmniej z niektórymi z jego argumentów, które streszczam poniżej:

  • ilość nie zamienia się w jakość, jeśli nagradzamy za liczbę publikacji, to automatycznie zachęcamy do publikowania tylko częściowych i powierzchownych wyników
  •  taki system promuje niepotrzebnie duże grupy, naukowcy dopisujący swoje nazwisko do każdej publikacji napisanej przez swoich studentów otrzymują nieproporcjolanie więcej niż naukowcy poświęcający dużo czasu małej liczbie współpracowników
  •  sposób publikowania „copy-paste-disguise”, gdzie ten sam materiał jest publikowany wiele razy pod różnymi tytułami i z różnymi stresczeniami jest nagradzany
  •  punkty za liczbę publikacji zachęcają do publikowania tzw. „delta research”, gdzie kolejny artykuł jest zaledwie minimalną zmianą w stosunkuu do poprzedniego (nassz poprzedni algorytm działał dla n<10, a w tym artykule prezentujemy rozszerzenie algorytmu umożliwiające obliczenie dla n<11)

A przede wszystkim, co obserwuje Parnas, ten system szkodzi czytelnikom publikacji naukowych, skupiając się na interesach autorów. Również argument o tym, że „najlepsze” publikacje i tak trafią do „najlepszych” czasopism jest co najmniej wątpliwy. Mechanizm peer-review jest obarczony wieloma błędami, recenzenci często nie przykładają się do pracy lub zlecają receenzje swoim doktorantom lub studentom, edytorzy ślepo ufają recenzentom wyliczając prostą średnią recenzji (bez analizowania treści recenzji). Niezwykle często artykuł odrzucony z jednej konferencji bez najmniejszych zmian jest przyjmowany na inną konferencję, autorzy wysyłają ten sam artykuł jednocześnie do wielu miejsc (pod zmienionym tytułem), tę listę grzechów można ciągnąć w nieskończoność.

W jaki sposób taki mechanizm punkowania wpływa na naukowców? Uczą się zawiązywać pakty (ja dopiszę ciebie a ty mnie – Parnas wspomina o „autorach”, którzy nigdy nie przeczytali artykułu pod którym są podpisani…), tworzą małe kliki z hermetycznym słownictwem i budują specjalnie dla takich klik fikcyjne konferencje i warsztaty. Fikcyjne w tym sensie, że takie warsztaty przyjmują wszystko jak leci, byle do CV dopisać „Organizator warsztatu ABC przy konferencji XYZ”. A taka organizacja się opłaca: można „przyjąć” dwa swoje artykuły, dopisać „Foreword” (trzeci artykuł), przerobić to na rozdział w książce (czwarty artykuł), i tak dalej. Pojawiło się nawet w środowisku pojęcie MPI: minimum publishable increment, tzn. jest to taka minimalna ilość nowego tekstu, żeby usprawiedliwić kolejną publikację (wprowadzenie, related work, wnioski końcowe mogą zostać te same). Parnas twierdzi, że kryzys konferencyjny widoczny gołym okiem (prezentujący mówiący do pustych sal, dziesiątki przyjętych referatów, których autorzy nie pojawiają się na konferencji) jest w dużej części efektem przyjętego sposobu punktowania publikacji.

Czy rozwiązaniem jest liczenie cytowań? Według Parnasa nie. Wiele cytowań jest przypadkowych (autor wpisuje hasło do Google Scholar i wrzuca do artykułu 10 losowych referencji), niektóre cytowania są negatywne, niektóre wskazują na odległe obszary badań, poza tym liczbą cytowań rządzi prawo preferencyjnego dołączania (zwane efektem św. Mateusza) i ostateczny rozkład liczby cytowań to rozkład potęgowy. Co przecież wcale nie oznacza, że najczęściej cytowane prace są najlepsze…

Najsmutniejsze w tym wszystkim jest to, że brak na horyzoncie propozycji naprawy systemu. Bo jakiś sposób oceniania pracy poszczególnych osób i całych jednostek jest jednak potrzebny. Dziś króluje ocena ilościowa, a nie jakościowa, ponieważ jest dużo łatwiejsza w implementacji. Ale pobocznym skutkiem wyboru takiego sposobu oceniania jest to, że akademicy uczą się reguł gry i szybko uczą się oszukiwać (jak mówi Parnas, „they learn to play the numbers game”). Czy da się temu jakoś zaradzić? Jeśli mogę zakończyć osobistą uwagą, pierwszym krokiem powinno być zrezygnowanie z anonimowości recenzji. Argumenty za zachowaniem anonimowych recenzji są dużo słabsze niż zysk jaki odnieślibyśmy z upubliczniania wszystkich recenzji. Mogę się podpisać pod każdą wykonaną przez siebie recenzją i to samo może powiedzieć każdy, kto pracę naukową traktuje poważnie. Zachowanie anonimowości recenzenta jest w mojej opinii jedynie przykrywką dla bylejakości. To byłby pierwszy krok do znacznego poprawienia sita peer-review i podniesienia poziomu artykułów przyjmowanych do czasopism lub na konferencje.

[1] Parnas, D. (2007). Stop the numbers game Communications of the ACM, 50 (11) DOI: 10.1145/1297797.1297815

Kolejna edycja stypendiów w INRIA 11/09/2012

Posted by Mikołaj Morzy in nauka.
Tags: ,
9 Komentarzy

Jak co roku INRIA institute logoInstitut national de recherche en informatique et en automatique organizuje stypendia dla studentek i studentów na II i III stopniu studiów (choć w wyjątkowych przypadkach o stypendium mogą się też ubiegać studentki i studenci z I stopnia studiow). Oferta obejmuje stypendia na staże odbywane wiosną i latem 2013 roku. W tym roku INRIA ogłosiła ponad 90 projektów badawczych, do których przyjmuje stażystki i stażystów. Staże mogą trwać 2-4 miesiące (dla I stopnia studiów) i 4-9 miesięcy (dla II i III stopnia studiów), wysokości stypendiów wahają się między 1100 i 1200 EUR. Wiele dodatkowych informacji o zasadach odbywania staży w INRIA znajduje się na tej stronie.

Ponieważ studentki i studenci którzy chcieliby ubiegać się o te stypendia muszą uzyskać rekomendację lokalnego koordynatora (w naszym instytucie tę rolę pełni prof. Brzeziński), a nieprzekraczalny termin zgłaszania wniosków upływa 4 grudnia 2012, osoby zainteresowane powinny się skontaktować bądź ze mną, bądź bezpośrednio z prof. Brzezińskim z pewnym wyprzedzeniem.

%d blogerów lubi to: