jump to navigation

Impact Factor vs EigenFactor 12/25/2008

Posted by Mikołaj Morzy in nauka.
trackback

eigenvectorPodstawowym miernikiem jakości pracy naukowej jest liczba cytowań artykułów danej osoby. Ponieważ śledzenie wszystkich cytowań jest trudne (a czasem niemożliwe), uogólnia się liczbę cytowań z poziomu indywidualnego naukowca na poziom czasopisma, w którym opublikowano pracę. Pielęgnacją liczników cytowań do poszczególnych czasopism zajmował się Instytut Informacji Naukowej, przejęty później przez Thomson Reuters i przekształcony w Thomson Scientific. Podstawową miarą wykorzystywaną do oceny „jakości” czasopisma jest Impact Factor (IF). Formuła wyliczania IF dla danego roku n jest trywialna, IF(n)=A/B, gdzie A jest liczbą cytowań artykułów z dwóch poprzedzających lat, a B jest liczbą „cytowalnych” artykułów z tego samego okresu (do mianownika nie wlicza się listów edytorskich czy korespondencji z wydawcą). W trakcie pierwszych dwóch lat istnienia czasopisma nie posiada ono współczynnika IF. Innymi słowy, czasopismo X ma IF(2008)=1 jeśli każdy artykuł zamieszczony w tym czasopiśmie w latach 2006-2007 został średnio zacytowany jeden raz.

Od razu rzucają się w oczy podstawowe problemy i wątpliwości związane z użyciem tej miary do oceny jakości pracy naukowej:

  • miara ocenia jakość czasopism, a nie jakość indywidualnych publikacji, jakość publikacji może być bardzo różna w ramach jednego czasopisma,
  • niektóre publikacje w naturalny sposób zdobywają więcej cytowań, dotyczy to w szczególności publikacji przekrojowych, prezentujących np. aktualny stan badań w danej dziedzinie, artykuły opisujące najnowsze odkrycia naukowe są cytowane mniej chętnie,
  • liczba cytowań może silnie zależeć od zwyczajów panujących w danej dziedzinie naukowej, w niektórych dziedzinach tradycyjnie umieszcza się w publikacjach bardzo obszerną bibliografię, w innych bibliografia jest ograniczona tylko do kluczowych pozycji,
  • szerokość okna czasowego jest zbyt mała, wiele artykułów, które zapoczątkowały nowe kierunki badań, jest cytowanych przez wiele lat od daty ich publikacji,
  • wiele cytowań wliczanych do IF to cytowania własne, gdzie autor(ka) artykułu cytuje swoją wcześniejszą pracę,
  • do wyliczania IF wykorzystuje się tylko czasopisma indeksowane przez Web of Knowledge, nie uwzględnia się publikacji internetowych ani książek,
  • IF jest bardzo silnie związany z literaturą anglojęzyczną, na liście indeksowanych czasopism jest niewiele pozycji w językach innych niż angielski,
  • miara jest nieodporna na manipulację.

Oczywiście, IF ma też sporo zalet: Web of Knowledge zawiera 9000 czasopism, miara może być stosowana do porównywania dorobku publikacyjnego w różnych dziedzinach, potrafi ewoluować w czasie. Z mojego punktu widzenia największym problemem związanym z IF jest korzystanie z cytowania bez uwzględnienia jakości cytowania. To problem bardzo podobny do problemu określania reputacji użytkowników aukcji internetowych na podstawie anonimowych komentarzy (pisaliśmy o tym z Adamem Wierzbickim w naszej pracy „Eksploracja aukcji internetowych w poszukiwaniu pozytywnej i negatywnej reputacji sprzedawców„). Każdy, kto kiedykolwiek spotkał się z algorytmem PageRank, szybko zauważy, że algorytm ten idealnie nadaje się do oceny jakości czasopism.

Na szczęście, grupa entuzjastów nie tylko wpadła na ten pomysł, ale go zrealizowała i udostępniła wyniki. Algorytm, zwany EigenFactor, wyznacza ważność czasopisma analogicznie do algorytmu PageRank. Na stronie eigenfactor.org umieszczono zarówno ranking czasopism z poszczególnych dyscyplin naukowych, jak i wizualną mapę powiązań między dyscyplinami naukowymi. Najważniejsze, że metoda sprawdza się w praktyce. W mojej dziedzinie najlepsze, według EigenFactor, są następujące czasopisma:

  • Journal of the ACM
  • IEEE Transactions on Knowledge and Data Engineering
  • Information Processing Letters
  • VLDB Journal
  • ACM Transactions on Information Systems
  • ACM Transactions on Database Systems
  • SIGMOD Records

Poza miarą EigenFactor autorzy przygotowali także Article Influence Score, która z grubsza odpowiada aktualnie wykorzystywanemu IF, dzięki czemu można zaobserwować różnice między obiema miarami. Póki co, na razie nic nie wskazuje aby Ministerstwo Nauki i Szkolnictwa Wyższego czy poszczególne uczelnie miały odstąpić od wykorzystywania IF przy rozliczaniu pracy naukowej.

Komentarze»

No comments yet — be the first.

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: