jump to navigation

Konkurs „Executable Paper Grand Challenge” 12/26/2010

Posted by Mikołaj Morzy in konkurs, nauka, teoria.
trackback

Logo of the Elsevier publishing companyRecenzowanie prac naukowych, w szczególności w informatyce, od lat obarczone jest poważną wadą. Recenzji podlega jedynie ostateczny wynik, czyli publikacja, natomiast nie ma możliwości oceny procesu naukowego, który do publikacji doprowadził. Nie można ocenić poprawności eksperymentu, nie można zweryfikować poprawności danych. Ba, nie wiadomo nawet, czy opisywane w publikacji eksperymenty w ogóle zostały przeprowadzone lub czy rzeczywiście dały takie wyniki, jakie zaprezentowano w publikacji. Czy mało jest nieuczciwych ludzi, którzy bezczelnie nakłamią lub nagną wyniki byle przejść przez sito recenzji? I trudno mieć pretensje do recenzentów, którzy wykonują swoją pracę społecznie, najczęściej nie jest to związane z jakimś wielkim prestiżem, a dodatkowo mają do wykonania po kilka-kilkanaście recenzji na pojedynczą konferencję.

Ciekawe rozwiązanie tego problemu zaprezentował Elsevier. Ogłosił konkurs „Executable Paper Grand Challenge” na propozycję prototypowego systemu wspomagającego pracę recenzentów, który umożliwiałby współdzielenie danych, programów, eksperymentów i wyników między autorami i recenzentami. Celem projektu ma być powstanie „wykonywalnego artykułu” (ang. executable paper), który będzie komatybilny z wieloma różnymi systemami operacyjnymi i będzie umożliwiał efektywną komunikację między recenzentem i autorem. W szczególności autorzy konkursu chcą, aby proponowane rozwiązania skupiały się na następujących czynnikach:

  • wykonywalność: tabele, wykresy czy równania muszą być wykonywalne, tj. recenzenci muszą mieć możliwość interaktywnej pracy z wymienionymi komponentami aby walidować poprawność wyników i z łatwością eksplorować przestrzeń rozwiązań (aby sprawdzić, czy np. autor nie publikuje tylko niewielkiego zakresu pozytywnych wyników i nie ukrywa tych obszarów w przestrzeni rozwiązań, gdzie zaproponowany algorytm zawodzi.
  • kompatybilność: proponowana architektura systemu powinna być elastyczna i umożliwiać adaptację do dużego bogactwa środowisk programistycznych i systemowych.
  • walidacja: system powinien umożliwiać (przynajmniej częściową) walidację uzyskanych rozwiązań aby odciążać recenzentów. Przykładowo, automatyczna walidacja jest możliwa choćby przy statystycznej obróbce wyników, wyznaczaniu przedziałów ufności, wyznaczaniu błędów, itp.
  • prawa autorskie: idea powszechnego dostępu do danych jest na naszych oczach bardzo często naruszana, często na najlepszych konferencjach widzimy wyniki badań przeprowadzonych na zamkniętych zbiorach danych (np. od Google czy Yahoo!) niedostępnych recenzentom i reszcie społeczności. W proponowanej architekturze należy dążyć do otwarcia dostępu do danych, przy jednoczesnym zachowaniu praw autorskich i innych ograniczeń (wyobrażam sobie, że mogłyby w tym pomóc techniki anonimizacji danych, kontrolowane wprowadzanie szumu do danych, itp)
  • rozmiar: wiele eksperymentów jest prowadzonych na ogromnych wolumenach danych, proponowana architektura powinna umożliwiać współpracę i współdzielenie takich zbiorów danych w efektywny i wydajny sposób.
  • kontrola dostępu: w naturalny sposób architektura musi umożliwiać śledzenie wszelkich akcji podejmowanych na takich wykonywalnych publikacjach.
  • inne problemy: kradzież pomysłów i danych przez recenzentów, wirusy i trojany wprowadzane do danych, algorytmów i kodu, plagiaryzm, i potencjalnie sto innych problemów.

Pierwszą nagrodą w konkursie jest $10 000, drugie miejsce jest premiowane $5 000, trzecie miejsce jest warte $2 500. Dodatkowo, propozycje które dotrą na podium będą nagrodzone iPadem. Zwycięzcy zostaną wyłonieni w trakcie warsztatu odbywającego się w trakcie tegorocznej konferencji ICCS’2011 w Japonii (Elsevier zobowiązuje się wspomóc finansowo w podróży). Finaliści będą także zaproszeni do opublikowania swoich rozwiązań w Journal of Computational Science. Propozycje rozwiązań w postaci streszczenia (max. 2000 słów, trzeba się streszczać, bo ten post ma ok. 500 słów) należy składać do 15 stycznia. Szczegółowe reguły konkursu, zasady i sposób zgłaszania propozycji, skład komisji, itp. znajdują się na stronach konkursu.

Od dawna mam poważne obiekcje co do sposobu funkcjonowania współczesnej nauki, w szczególności do procesu recenzowania prac naukowych. Propozycja Elseviera bardzo mi się podoba, bo to dobry przykład kierunku, w którym nauka powinna iść. Polepszenie jakości recenzji naukowych jest warunkiem sine qua non polepszenia jakości publikacji naukowych i postępu naukowego i proponowany system bez wątpienia przyczyniłby się do poprawy jakości recenzji dla konferencji i czasopism.

Komentarze»

No comments yet — be the first.

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: