jump to navigation

Wywiad z Usamą Fayyadem 08/31/2009

Posted by Mikołaj Morzy in Uncategorized.
trackback

fayyadAjay Ohri przynosi nam ciekawy wywiad z dr. Usamą Fayyadem. Dr. Fayyad jest jednym z twórców pojęcia „eksploracja danych” i jednym z pionierów całej dyscypliny. Jego publikacje stanowią początek wielu badań, w szczególności jego prace prowadzone w NASA Jet Propulsion Laboratory. Fayyad jest także twórcą Yahoo! Research oraz pierwszym na świecie Chief Data Officer, osobą odpowiedzialną za stworzenie infrastruktury umożliwiającej analizę i eksplorację terabajtów danych gromadzonych przez Yahoo!

Najciekawszy fragment wywiadu dotyczy listy 5 grzechów, których każdy data miner powinien unikać za wszelką cenę. Fayyad podaje następujące:

  • algorytmy które nie wiedzą niczego o danych: wiedza domenowa posiadana przez ekspertów musi być zaszyta w algorytmie eksploracji (an ounce of knowledge is worth a ton of data),
  • przekleństwo wielowymiarowości nie może być ignorowane, jedną z pierwszych technik, które muszą być stosowane, jest redukcja liczby wymiarów,
  • zbiory uczące i testujące muszą być losowane „uczciwie”, nie wolno podglądać zbioru testowego, ponieważ nieuchronnie prowadzi to do modeli które są nadmiernie dopasowane,
  • reguły biznesowe muszą być włączone do procesu eksploracji, ponieważ dyktują one kształt danych,
  • żadna duża baza danych nie jest IID (ang. independent and identically distributed), każda taka prawdziwie wielka baza danych rośnie w czasie, ewoluuje i pochodzi z wielu nieustannie zmieniających się rozkładów, stąd segmentacja danych stanowi obowiązkowy pierwszy krok w każdej analizie.

Cały wywiad jest ciekawy i zdecydowanie warty lektury.

Komentarze»

No comments yet — be the first.

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: