jump to navigation

Informatyka musi wydorośleć 09/01/2009

Posted by Mikołaj Morzy in nauka.
trackback

acm_logoW najnowszym numerze Communications of the ACM Lance Fortnow publikuje arcyciekawy artykuł pt. „Najwyższy czas aby informatyka wydoroślała„, w którym agresywnie atakuje aktualny sposób dysseminacji wiedzy w środowisku naukowym. Otóż wg. Fortnowa informatyka, w przeciwieństwie do większości „dorosłych” dyscyplin naukowych, jako główną platformę publikacji wyników badawczych wykorzystuje materiały konferencyjne, zamiast czasopism. Dlaczego jest to złe? Ponieważ konferencje mają służyć czterem celom: ocenie publikacji i naukowców, upublicznianiu wyników badań, tworzeniu sieci społecznych między naukowcami, oraz dyskutowania zagadnień uznawanych przez środowisko za kontrowersyjne. Ponieważ informatyka skupiła się tylko i wyłącznie na pierwszym celu, w wyniku otrzymaliśmy sytuację, w której mamy zdecydowanie zbyt dużo zbyt drogich konferencji. Marnujemy swój czas i pieniądze podatników, mimo, że istnieją lepsze i tańsze sposoby publikacji wyników pracy naukowej. Wiele uniwersytetów wykorzystuje listy publikacji przy ocenie kandydatów, promocjach, awansach, itp. Jako że znakomita większość dorobku naukowego większości informatyków stanowią publikacje w materiałach konferencyjnych, w naturalny sposób stały się one podstawą do oceny jakości pracy badawczej kandydatów. A przecież nie do tego (albo nie tylko do tego) służą konferencje. Z jednej strony, powstało bardzo wiele konferencji, często o bardzo wąsko zdefiniowanych zakresach poruszanych tematów, z drugiej strony, konferencje zrobiły się bardzo drogie (myślę, że faktycznie możemy szacować koszt udziału w konferencji zagranicznej na ok. 800-1000 EUR wliczając koszt zakwaterowania, podróży i opłaty konferencyjnej, że o dietach nie wspomnę). W efekcie żadko się zdarza, aby w konferencji brał udział ktokolwiek, kto nie jest jednocześnie autorem publikacji. Zawęża to możliwości tworzenia prawdziwych sieci między naukowcami, a także ogranicza możliwość zawiązania się konstruktywnej dyskusji po każdej prezentacji. Dominacja konferencji nad czasopismami była usprawiedliwiona do lat 80-tych, kiedy to młoda, dynamiczna dyscyplina potrzebowała szybkiej możliwości publikacji wyników. W chwili obecnej, aktualny model przynosi więcej szkód niż korzyści.

Fortnow zauważa także inne niepokojące aspekty konferencyjnej dominacji. Komitety programowe czołowych konferencji są zdominowane przez przedstawicieli „topowych” uniwersytetów, co nieuchronnie pociąga za sobą faworyzowanie własnych dyplomantów, znajomych, czy współpracowników (i ta praktyka jest niejawnie akceptowana jako norma w środowisku). Zwiększająca się liczba konferencji powoduje też zawężenie ich zakresu, co skutkuje „taplaniem się we własnym sosie”, niemożnością nawiązania szerszych kontaktów, czy np. wyjściem poza sztywne ramy wąsko pojmowanej specjalizacji i nawiązaniem współpracy z reprezentantami innych dyscyplin. Największy cios jednak spotyka to, co w nauce najcenniejsze: jej delikatny i subtelny mechanizm samokontroli i samooczyszczania, zwany „peer review„, czyli procedurą recenzowania. Zbyt wiele artykułów próbuje walczyć o zbyt mało miejsc w materiałach konferencyjnych, a proces przyjmowania artykułów cierpi z wielu powodów:

  • recenzenci są obciążani nadmierną liczbą publikacji do recenzji,
  • wiele recenzji jest zlecanych „w dół”, do adiunktów i asystentów, więc o programie konferencji często decydują ludzie bez odpowiedniego doświadczenia i wiedzy,
  • zgłaszane wyniki (ze względu na limit stron) są podawane tak nieczytelnie, że nie sposób rzetelnie ocenić wartości prezentowanej pracy,
  • członkowie komitetów programowych faworyzują znane sobie metody lub artykuły dotyczące ich specjalizacji,
  • brak mechanizmów dyskusji i wymiany opinii między autorami a recenzentami

W efekcie autorzy dostają 3-4 zdawkowe nieistotne recenzje, przygotowywane na kolanie i na ostatnią chwilę, zamiast 2 porządnych prawdziwych recenzji (jakie za zwyczaj przychodzą z czasopisma). Prace przesyłane na konferencję są pisane pod dyktando terminów zgłaszania (a nie faktycznego zakończenia badań), a wielu naukowców idzie śladami Siergieja Bubki i publikuje LPU (least publishable unit), najmniejszy fragment badań który, w połączeniu z nazwiskiem, gwarantuje przyjęcie artykułu. I niestety nowo podjęte kroki naprawsze (ciągły nabór artykułów do VLDB, ślepe recenzje wymuszające usunięcie wszystkich referencji do siebie czy swoich prac, wielopoziomowe komitety programowe, możliwość wysyłania odpowiedzi recenzentom przed ostateczną publikacją recenzji) nie rozwiązują problemu w 100%. No i materiały konferencyjne pozwalają opublikować wyniki już nawet w przeciągu 6 miesięcy, podczas gdy publikacja w czasopiśmie zajmuje 1-2 lata.

Fortnow proponuje, aby jak najszybciej przejść na spoób praktykowany przez inne dyscypliny: najwyżej cenić publikacje w czasopismach, konferencje na nowo uczynić miejscem fermentu intelektualnego, dyskusji i wymiany poglądów, zezwollić na prezentacje bez publikacji (poszerzając grono potencjalnych uczestników konferencji) oraz zmienić fundamentalnie sposób prezentacji wyników badawczych (otwarte czasopisma, WWW).

Our conference system forces researchers to focus too heavily on quick, technical, and safe papers instead of considering broader and newer ideas. Meanwhile, we have devoted much of our time and money to conferences where we can present our research that we can rarely attend conferences and workshops to work and socialize with our colleagues. Computer science has grown to become a mature field where no major university can survive without a strong CS department. It is time for computer science to grow up and publish in a way that represents the major discipline it has become.

To bardzo ciekawy i dający do myślenia artykuł. Serdecznie zapraszam do lektury.

post scriptum

Dyskusję, jaka wywiązała się po publikacji artykułu, można śledzić na blogu Lance’a Fortnowa.

Jeśli to kogoś interesuje, to jest też dostępna wstępna wersja artykułu.

Komentarze»

No comments yet — be the first.

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: