jump to navigation

Liczba która zawiera w sobie Wszechświat 03/20/2016

Posted by Mikołaj Morzy in Uncategorized.
1 comment so far

piTydzień temu, 14 marca, na całym świecie obchodzono międzynarodowy Dzień Liczby PI. Niewiele osób zdaje sobie sprawę z tego, jak głęboką i niepokojącą tajemnicę kryje w sobie ta liczba.

W matematyce liczbą normalną nazywamy taką liczbę rzeczywistą, której nieskończona sekwencja cyfr zawiera jednostajny rozkład częstości występowania każdej cyfry, każdej pary cyfr, każdej trójki cyfr, itd. Innymi słowy, jeśli liczba jest normalna, to 1/10 cyfr w jej reprezentacji stanowią „0”, 1/10 cyfr stanowią „1”, …, ale także 1/100 par cyfr stanowi kombinacja „12”, 1/100 par cyfr stanowi kombinacja „13”, itd. Co więcej, normalność wymaga, aby rozkład częstości występowania cyfr był jednorodny niezależnie od przyjętego systemu liczbowego (dziesiętny, ósemkowy, binarny, szesnastkowy, …). Ideę liczb normalnych wprowadził Emil Borel na początku XX wieku. Co ciekawe, udowodnił on, że prawie wszystkie liczby rzeczywiste są normalne. Przykładami liczb normalnych są liczba Champernowna (konkatenacja kolejnych liczb naturalnych: 0.1234567891011121314…) czy liczba Copelanda-Erdosa (konkatenacja liczb pierwszych: 0.123571113171923…). Liczby, dla których znana jest procedura ich generowania, jak w poprzednich dwóch przykładach, nie stanowią jednak tak dużego wyzwania jak liczby, które „magicznie” pojawiają się w matematyce. Do dziś nie wiadomo, czy najsłynniejsze liczby, takie jak \sqrt{2}, \pi, e, czy ln(2) są normalne, choć większość matematyków skłania się do opinii, że liczby te są normalne.

Co jednak ma normalność do tajemnicy skrywającej się w liczbie \pi? Rozwinięcie dziesiętne \pi jest nieskończone i nie wydaje się mieć w sobie ukrytego żadnego wzorca, zatem cyfry pojawiające się w owym nieskończonym rozwinięciu zachowują się losowo. Nieskończony ciąg losowych liczb zawiera w sobie każdy skończony ciąg cyfr z prawdopodobieństwem równym 1. Powtórzmy to raz jeszcze: w rozwinięciu dziesiętnym liczby \pi pojawia się każdy możliwy skończony ciąg cyfr. Jeśli literom alfabetu przypiszesz kolejne liczby, to w rozwinięciu \pi odnajdziesz każde słowo, każde zdanie, każdą książkę którą kiedykolwiek napisano. Ale odnajdziesz więcej: odnajdziesz każdą książkę, której nigdy nie napisano, odnajdziesz imiona i daty urodzin wszystkich ludzi, którzy kiedykolwiek się urodzili, i tych, którzy nie mieli szczęścia pojawić się na świecie. Dla każdego człowieka który istniał lub nie istniał, odnajdziesz jego biografię. Odnajdziesz całą historię swojego życia, ale też wszystkie historie żyć, które Ci się nie przytrafiły. W tej niepozornej liczbie tkwi zapisany cały dzisiejszy internet, wszystkie jego strony, blogi, posty i wiadomości, wraz z wszystkimi możliwymi reprezentacjami tego internetu (np. całym internetem przetłumaczonym na język kaszubski). Kiedy następnym razem spojrzysz na liczbę \pi, zdobądź się na szacunek, bo liczba ta zawiera w sobie cały Wszechświat. O ile nauka jest poezją rzeczywistości, o tyle matematyka jest tej rzeczywistości magią.

Czy wiedza o tym, że \pi zawiera w sobie każdy możliwy tekst, może być użyteczna? W końcu gdzieś w \pi tkwią odpowiedzi na największe zagadki ludzkości. Szkopuł w tym, że cała ta wiedza jest kompletnie bezużyteczna. Po pierwsze, prawie całe rozwinięcie dziesiętne \pi zawiera śmieci, nie stanowiące żadnego składnego zdania. Po drugie, nie mamy pojęcia, która część jest śmieciem, a która nie – nie możemy tego wiedzieć bo rozwinięcie jest losowe. Wreszcie po trzecie, aby zlokalizować fragment rozwinięcia musimy podać jego pozycję, co wymaga użycia dokładnie tylu bitów co znalezienie samego fragmentu. Dochodzimy do zdumiewającego paradoksu, łańcuch znaków zawierający wszystkie możliwe informacje w rzeczywistości nie zawiera żadnych informacji. Dokładnie ten właśnie paradoks przepięknie pokazał J.L.Borges w swoim opowiadaniu The Library of Babel (dla leniwych streszczenie w Wikipedii).

Zawsze jednak z czystej ciekawości możesz sprawdzić, na której pozycji w liczbie \pi znajduje się Twoja data urodzenia w serwisie Find Your Pi Day. Moja jest na pozycji 573 855.

Grywalizacja eksploracji danych, wnioski po kolejnym semestrze 07/09/2014

Posted by Mikołaj Morzy in Uncategorized.
1 comment so far

gamificationNo i mamy już za sobą kolejny semestr laboratoriów z przedmiotu „Eksploracja danych”. W tym semestrze postanowiłem poeksperymentować i włączyłem do przedmiotu środowisko ClassCraft. Idea jest prosta: studentki i studenci tworzą swoje postaci, wybierają ich rodzaj (wojownicy, magowie, uzdrawiacze) i w trakcie semestru „grają” w ClassCraft – zdobywają punkty doświadczenia, czasem tracą punkty siły, uczą się zaklęć, itp. Gracze są pogrupowani w klany i można przydzielać im zadania indywidualne oraz grupowe. Platforma jest dość eksperymentalna, ale ciągle się rozwija i ciekawiło mnie, jak praktycznie dorośli ludzie zareagują na tę nowinkę. Poniżej publikuję wyniki ankiety, jaką przeprowadziłem po semestrze, odpowiedzi otrzymałem od 16 osób.

ankieta01

Skala odpowiedzi zmieniała się od 1 – spodziewała(e)m się zupełnie czegoś innego aż do 5 – dokładnie tego się spodziewała(e)m. Okazuje się, że studentki i studenci wiedzą mniej więcej, czego oczekiwać po prowadzącym.

ankieta02

Biorąc pod uwagę, że nieuniknione jest przejście do bardziej elastycznych planów zajęć i amerykanizacja modelu nauczania (studenci samodzielnie projektują swój profil absolwenta), warto już teraz sprawdzić, czy miałbym za co kupować rano bułki. Póki co, jest dobrze, można oczekiwać że frekwencja na przedmiocie fakultatywnym by dopisała.

ankieta03

Skala ocen w tym pytaniu waha się od 1 – bardzo źle do 5 – bardzo dobrze. Ten wynik mnie szczególnie cieszy, bo oznacza, że przedmiot ewoluuje w dobrym kierunku.

ankieta04

Kluczowe pytanie – czy cała praca włożona w grywalizację kursu (drogie studentki, drodzy studenci, wyobraźcie sobie, że grywalizacja kursu wymaga poświęcenia mu znacznie większej ilości czasu) ma sens? Skala odpowiedzi to 1 – dziecinada do 5 – super! Czyli grywalizacja albo się podoba, albo bardzo podoba, choć zdarzają się osoby, którym taka forma nie do końca odpowiada.

ankieta05

W trakcie semestru kilka zadań (szczególnie tych bardziej punktowanych) zostało przeze mnie umieszczonych na platformie Kaggle. Zastanawiałem się, jak to zostanie przyjęte, bo wymaga utworzenia nowego konta, no i proponuje ściganie się z całym światem… Oczywiście w teorii, w praktyce (ponieważ wszystkie zadania były opcjonalne) tylko część studentek i studentów korzystała z Kaggle, choć mieliśmy też 2-3 gości z zagranicy (mimo, że opisy zadań były po polsku!). Skala odpowiedzi to 1 – bardzo słaby do 5 – bardzo dobry.

ankieta06

Drugie kluczowe pytanie: czy warto było bawić się w ClassCrafta? Było to moje pierwsze podejście do platformy i sam mam w głowie co najmniej 10 pomysłów na ulepszenie sposobu wykorzystania ClassCrafta na laboratoriach, więc ocena 4 – dobry pomysł, ale nie do końca wykorzystany, jest w pełni zrozumiała i zasłużona. Wniosek jest taki, że za rok też będzie ClassCraft, ale dużo fajniejszy.

ankieta07

To jest kluczowy wynik ankiety i istotna informacja dla wszystkich dydaktyków: nie oceniajcie przedmiotu na podstawie 1-2 kolokwiów lub jednego egzaminu na koniec semestru! To jest zupełnie bez sensu (poza tym, że ocenianie studentów jest bez sensu generalnie rzecz biorąc, ale musimy to robić, bo zobowiązuje nas do tego regulamin studiów). Wprowadzenie punktów i ich konsekwentne przyznawanie w trakcie semestru pomaga studentom planować swoje oceny, wymusza systematyczność pracy, ułatwia przyswajanie tematu. Zresztą, proszę spojrzeć na następne dwa pytania:

ankieta08ankieta09

Przecież o to nam właśnie chodzi: każda studentka i każdy student samodzielnie wybierają, ile czasu chcą poświęcić na przedmiot, dzięki czemu możemy się skupić na pracy z tymi, którzy faktycznie są bardzo zainteresowani naszym przedmiotem, możemy im poświęcić więcej czasu, a studenci mają łatwiejsze życie. Klasyczna sytuacja win-win. No i jest to z gruntu sprawiedliwsze – uzyskanie wysokiej oceny wymaga konsekwentnej pracy w trakcie całego semestru, nie można nadgonić punktów w ostatnim tygodniu, bo po prostu nie ma tylu punktów do zdobycia!

ankieta10

Skala ocen: 1- fatalny, 10 – doskonały. Brak jakiejkolwiek 10-tki oznacza, że jest sporo do poprawienia (o czym doskonale sam wiem), ale cieszy mnie tak wysoka ocena przedmiotu. Prowadzenie laboratoriów z eksploracji to chyba, obok laboratoriów i wykładów z sieci społecznościowych, moje najbardziej ukochane zajęcie w pracy dydaktycznej i bardzo się cieszę, że przedmiot się podoba. Jeśli chodzi o najważniejsze uwagi i sugestie otrzymane od słuchaczek i słuchaczy, to wygląda to tak:

  • za mało pracy grupowej
  • więcej programowania: Python i R (na pewno w przyszłym roku!)
  • za dużo Oracle Data Mining (mój grzech, miałem już te zadania i było mi żal je wyrzucać, ale sam widzę, że trzeba to zdecydowanie odchudzić)
  • zbyt powtarzalne zadania, konieczność zróżnicowania zadań
  • więcej analizy i interpretacji modeli, przedmiot skupia się przede wszystkim na budowaniu modeli i brakuje następnego kroku, czyli analizy uzyskanych wzorców
  • nieścisłości w quizach
  • konieczność dopracowania reguł gry w ClassCrafcie i dołożenia użytecznych czarów i mocy (obecne czary i moce nie były zbyt przydatne)

Jeszcze raz serdecznie dziękuję wszystkim którzy znaleźli czas i wypełnili ankietę, ten głos jest dla mnie bardzo ważny.

Celebryci i sesje zdjęciowe 04/11/2014

Posted by Mikołaj Morzy in Uncategorized.
add a comment

Przyznaję szczerze, że brak mi cierpliwości dla świata celebrytek i celebrytów. Wzajemne sprzężenie śmieciowych mediów i (najczęściej) pozbawionych mózgów osób znanych z tego że są znane wzbudza we mnie agresję. Niepotrzebną, oczywiście, bo to nie moja bajka, ale mimo wszystko skacze mi ciśnienie a wiara w ludzkość pikuje w dół. Klasycznym przykładem jest piosenkarka Steczkowska, która zrobiła sobie sesję w jednym z najgorszych tego typu pism („Viva”). Wywiad opowiadał o cierpieniach piosenkarki Steczkowskiej związanej z odejściem (dwa lata wcześniej) ojca, a ilustrujący cierpienia piosenkarki Steczkowskiej materiał zdjęciowy ukazywał piosenkarkę Steczkowską cierpiącą na grobie (tak wygląda cierpiąca Steczkowska). Później było już tylko lepiej, okazało się że ojciec leży pochowany w Stalowej Woli a Steczkowska pozowała cierpienie na cudzych grobach na Powązkach. No i co ja za to mogę, że takie postawy wywołują u mnie odruch wymiotny?

Gdy dowiedziałem się, że obszar eksploracji danych doczekał się swoich celebrytów z pozowanymi sesjami, serce mi zadrżało. Chodzi w końcu o nie byle kogo, Andrew Ng jest głównym proponentem idei deep learning, współtwórcą platformy Coursera, szefem Stanford Artificial Intelligence Lab, autorem fantastycznego kursu MOOC o eksploracji danych, a do tego niezwykle płodnym i popularnym autorem publikacji naukowych. Jego wybranką jest Carol Reiley konstruująca roboty chirurgiczne. Ponieważ wspólnym obszarem zainteresowań pary są roboty, postanowili ogłosić swoje zaręczyny w naukowym portalu plotkarskim IEEE Spectrum. Zwróćcie uwagę na staranną narrację zdjęć. Na pierwszym delikatny „product placement” w postaci Maca, potem spacer po parku z helikopterem (bo wiadomo że naukowcy na romantyczne przechadzki do parku zawsze zabierają roboty), na trzecim zdjęciu „konstruują” robota (tym próbnikiem chyba szuka prądu na obudowie?), a na koniec niezrozumiały wybuch śmiechu przy robocie PR2. Carol do sesji przygotowała dwa ubrania, Andrew biega wciąż w jednej koszuli. Sam nie wiem, co o tym myśleć, oceńcie tę sesję sami.

Podcast junkie 03/30/2013

Posted by Mikołaj Morzy in Uncategorized.
add a comment

Podcast logo Przyznaję się bez bicia, jestem całkowitym podcast junkie. Do tego stopnia, że w zasadzie przestałem nawet słuchać muzyki w samochodzie czy w pociągu, poświęcając czas tylko i wyłącznie podcastom. Ma to swoje dobre strony, bo zdecydowanie zmalało mi uczucie marnowania czasu w korku – zamiast się denerwować po prostu słucham czegoś interesującego. A oferta jest, mówiąc najbardziej oględnie, nieskończenie fascynująca. Jestem przekonany, że każdy znajdzie dla siebie coś ciekawego. Z okazji nadchodzących świąt postanowiłem więc odejść od tematyki związanej z nauką i eksploracją danych w szczególności (choć, nieco okrężenie, wrócę do tego tematu jutro) i podzielić się z Wami tymi podcastami, które uważam za najśmieszniejsze, najbardziej wartościowe, najciekawsze. Poniżej przedstawiam zestawienie moich ulubionych audycji, z podziałem na kategorie odpowiadające moim pasjom i hobby (wyjątkiem jest sama informatyka, akurat o niej nie słucham żadnej audycji).

Historia

historyofAlexanderA History of Alexander to podcast wyprodukowany i opowiedziany przez Jamiego Redferna. Jamie zaczyna od przedstawienia sytuacji w Grecji i Persji w momencie panowania Filipa i płynnie przechodzi przez całą fascynującą i niezwykłą historię podbojów Aleksandra, od udziału w bitwie pod Cheroneą aż po brzegi Hydaspesu i powrót do Babilonu. Akcja podcastu szybko przenosi nas w czasie, pozwalając wczuć się w wydarzenia z zamierzchłej przeszłości. Podoba mi się też to, że Redfern, nie będąc zawodowym historykiem, nie unika rozważań o psychologii poszczególnych postaci, chętnie analizuje możliwe przyczyny podejmowania poszczególnych decyzji, itd.

historyofHannibal

Po ukończeniu pracy nad historią Aleksandra Wielkiego Redfern nie pozwolił swoim fanom długo czekać i stosunkowo szybko pojawił się kolejny serial: A History of Hannibal. Tytuł nieco mylący, bo pierwsze 12 odcinków jest poświęcone I wojnie punickiej i Redfern szczegółowo opisuje działania prowadzone przez Kartagińczyków i Rzymian. Pojawia się tam jedna z moich ulubionych anegdot historycznych o konsulu Klaudiuszu Pulcherze który obraził się na święte kurczaki (nie chciały jeść świętego ziarna, co wróżbici potraktowali jako zły omen przed bitwą) i wyrzucił je za burtę mówiąc „Skoro nie są głodne, to może im się chce pić?”. Z samym Hannibalem spotykamy się dopiero w okolicach 15 odcinka, ale od razu zaczyna się jazda niczym na rollercosterze: podbój Hiszpanii, marsz przez Galię i przekroczenie Alp, anihilacja kolejnych rzymskich legionów, aż po niewyobrażalną rzeź pod Kannami. Jamie opowiada niezwykle wciągająco, potrafi być momentami autentycznie zabawny, i podcast ma tylko jedną wadę: Jamie mówi z niezwykle silnym akcentem zManchesteru, co wymaga przyzwyczajenia uszu do języka znacznie odbiegającego od standardów BBC.

historyofRomeBrakuje mi słów, żeby wyrazić, jak niesamowity i cudowny był podcast Mike’a Duncana, The History of Rome. Płakałem, gdy doszliśmy do ostatniego odcinka w którym Odoaker przegonił z tronu w Rawennie młodzika, jak na ironię noszącego imię Romulus Augustus. Mike w 179 pasjonujących odcinkach przeszedł od maleńkiej wioski założonej na wzgórzach nad Tybrem, poprzez całą Republikę i okres największej świetności Cesarstwa, aż po kryzys wieku II, próby naprawy sytuacji w wieku III i ostateczny upadek Zachodu. W swoim podkaście zawarł wszystko: są tam i fantastyczne opisy największych wojen i bitew, jest dogłębne przedstawienie ekonomii i socjologii Rzymu i Rzymian, jest miejsce na analizę psychologiczną głównych postaci, jest też mnóstwo humoru, a przede wszystkim jest ogromna pasja dla tematu. Jeśli choć trochę interesuje Was historia Rzymu, ten podcast to absolutna konieczność!

historyofByzantium

Gdy Mike Duncan skończył snuć swą wspaniałą opowieść w roku 476 n.e. tak samo jak wszyscy inni słuchacze miałem przede wszystkim ogromne poczucie niedosytu. Przecież Cesartwo Rzymskie upadnie dopiero za prawie 1000 lat gdy Mehmet Zdobywca wkroczy do Konstantynopola! Na szczęście znalazł się Robin Pierson, który postanowił kontynuować dzieło Duncana i opowiedzieć historię mniej znanego, a tak samo fascynującego, Cesarstwa Bizantyjskiego. I tak powstał podcast The History of Byzantium. W trakcie pierwszych paru odcinków Robin nieco za bardzo próbował wejść w buty Duncana i szło mu to niezdarnie: żarty nie śmieszyły, głos zdradzał brak pewności siebie a struktura każdego odcinka zbyt przypominała THoR. Na szczęście od 5-6 odcinka Robin nabrał dużo więcej wiary w siebie i znalazł swój unikalny styl. Od tego momentu słuchanie go jest czystą przyjemnością. W tej chwili (odcinek 22) jesteśmy w trakcie panowania Justyniana i Belizariusz właśnie podbija Italię (więc przed nami jeszcze 900 lat pasjonującej historii), ale już wyraźnie widać, że to będzie doskonały podcast.

12byzantinerulersSkoro już jesteśmy przy Konstantynopolu, nie mogę nie wspomnieć o dwóch niezwykłych podcastach Larsa Brownwortha. 12 Byzantine rulers to cykl niezwykłych portretów władczyń i władców zasiadających na purpurowym tronie. Brownworth maluje te portrety z niezwykłą starannością, ale też i z wyraźną melancholią i żalem za cesarstwem, którego tysiącletnia historia jest bardzo słabo znana na Zachodzie. Spotykamy w tej opowieści starożytnych: Konstantyna Wielkiego i Juliana Apostatę, spotykamy barbarzyńcę Zeno, patrzymy na chwałę Cesarstwa pod władzą Justyniana, poznajemy bezlitosną i twardą Irenę, wreszcie jesteśmy świadkami zdarzenia, dzięki któremu Bazyl II otrzymał przydomek Bułgarobójca. A całą historię spina klamrą Konstantyn XI Paleolog, umierający z mieczem w dłoni gdy wojska Mehmeda wdzierają się do Konstantynopola. Drugim podcastem realizowanym przez Brownwortha jest Norman Centuries, saga normandzkiego podboju Sycylii i południowych Włoch. Tu także Brownworth skupia się na najbardziej charakterystycznych postaciach: Williamie Zdobywcy, Robercie Guiscard, czy Tankredzie. Spokojny i kojący głos, przepełniony zadumą nad historią sprzed 1000 lat, Lars na pewno przypadnie do gustu tym, którzy do historii mają stosunek bardziej kontemplacyjny.

A to jest jeden z moich najnowszych nabytków jeśli chodzi o podcasty historyczne: The History of the Crusades. historyofCrusadesZabrzmi to straszliwie głupio, ale w pierwszej chwili nie do końca mi pasowało, że tak „męski” temat jak krucjaty jest opowiadany śpiewnym kobiecym głosem. Przez dłuższy czas nie byłem w stanie też zidentyfikować akcentu Autorki. Nic dziwnego, Sharyn Eastaugh mieszka na Tasmanii i stamtąd właśnie wysyła w świat niezwykłą i wciągającą historię wypraw krzyżowych. Na razie jesteśmy w roku 1001, Jerozolima dopiero co została zdobyta przez I Krucjatę, Antiochia znajduje się we władaniu  Boemunda I-go a Europę coraz bardziej ogarnia religijna gorączka. Sharyn swoją opowieść prowadzi niespiesznie, starannie śledzi losy wszystkich bohaterów i co rusz przypomina, co się dzieje aktualnie z głównymi aktorami dramatu, popisując się przy tym nieprawdopodobną wiedzą i erudycją. Przyznaję szczerze, że ten okres w historii nie jest mi szczególnie znany i cieszę się, że znalazłem tak dobre źródło wiedzy.

hardcorehistoryNa koniec sekcji historycznej zostawiłem najbardziej niesamowity, przerażający i fascynujący ze wszystkich podcastów: Dan Carlin’s Hardcore History. Nie da się opisać uczucia, jakie wzbudza ten podcast, to trzeba usłyszeć. Dan Carlin ma tak osobisty stosunek do historii, i przedstawia każdy poruszany temat tak emocjonalnie, że faktycznie przenoszę się w czasie. Gdy opisuje bitwę pod Kannami, to nie ma tam genialnych strategicznych posunięć Hannibala, linii piechoty iberyjskiej starannie cofającej się by wciągnąć Rzymian w pułapkę. Zamiast tego mamy opisy ludzi dostających ataków biegunki i wymiotujących ze strachu, pył, kurz, zamieszanie, a w końcowej fazie bitwy ludzi brodzących po kolana we krwi i zarzynających się mieczami, dzidami i czym popadnie. Gdy słuchałem opisu zdobycia przez Rzymian Kartaginy pod koniec III wojny punickiej, fizycznie wbijałem palce w fotel ze strachu, tak sugestywnie Carlin przedstawił trzy dni mordowania, grabienia, gwałcenia i torturowania pokonanych. Równie przerażające są audycje o froncie wschodnim, o imperium Mongołów, o historii dzieci, o przekraczającym ludzkie pojęcie okrucieństwie Asyryjczyków, i wiele innych. Ze wszystkich wymienionych wyżej podcastów ten na pewno najbardziej zmieni Wasze spojrzenie na historię.

Sceptycyzm

skepticsguideJeśli spośród wszystkich opisywanych przeze mnie podcastów mielibyście wybrać jeden, to chciałbym, żeby to był właśnie ten. Skeptics Guide to the Universe to bez wątpienia najważniejszy i najbardziej eksponowany z podcastów poświęconych sceptycyzmowi, racjonalizmowi i krytycznemu myśleniu. Bracia Novella, Rebecca Watson i Evan Bernstein co tydzień stają w szranki z pseudo-nauką, przesądami, głupotą i oszustwami prezentowanymi w popularnych mediach. SGU skupia się przede wszystkim na promocji zasad krytycznego myślenia i popieraniu światopoglądu racjonalistycznego, w myśl którego nauka jest najpewniejszym sposobem dochodzenia do prawdy jakim aktualnie dysponujemy. Z tego podcastu dowiecie się zarówno o najbardziej interesujących wydarzeniach ze świata naukowego, ale też usłyszycie o najbardziej absurdalnych, głupich i niebezpiecznych twierdzeniach podnoszonych przez miłośników magii. Akupunktura, homeopatia, reiki, bio-energia, irydiologia, leczenie raka mieszanką łąkowych ziół, każda pseudo-naukowa bzdura znajdzie swoje 5 minut w tym programie. SGU to najlepsze wprowadzenie do sceptycyzmu i do pełnego przeżywania prawdziwych cudów: niezwykłego skomplikowania rzeczywistości i wiedzy o tej rzeczywistości, jaką oferuje nam współczesna nauka. Podtytuł podcastu najlepiej to oddaje: your escape to reality.

skeptoidCzy zastanawiacie się czasem, co jest zawarte w szczepionkach i czy te składniki są niebezpieczne dla ludzi? Na czym polega efekt placebo i jak wpływa na współczesną medycynę? Czy można dokonać detoksyfikacji organizmu? A może przekonują Was doniesienia o znalezieniu kości yeti lub zdjęć potwora z Loch Ness? Czy telepatia jest możliwa i co to są eksperymenty Ganzfelda? W takim razie musicie zacząć słuchać Skeptoidu. Ten cotygodniowy program Briana Dunninga za każdym razem bierze na warsztat jakiś popularny mit i rozprawia się z nim bezlitośnie. Spektrum tematów jest szerokie: medycyna alternatywna, kryptozoologia, teorie spiskowe, UFO, mity historyczne, nauka, religia, itp. Do każdego odcinka Brian dodaje transkrypt nagrania oraz bogatą dokumentację w postaci odnośników do artykułów naukowych. Jak się okazuje, nawet tak zatwardziały sceptyk i racjonalista jak ja dowiedziałem się, że wierzę w nieudokumentowany mit: przez lata byłem przekonany, że potrafię czytać dużo szybciej niż średnia populacji i szczyciłem się wynikami uzyskanymi w ramach ćwiczeń z szybkiego czytania. Niestety, okazuje się, że szybkie czytanie to mit. Brian przedstawia swój program w sposób bardzo przystępny i zabawny. Ucząc bawić, bawiąc uczyć, w wygodnym 15-minutowym formacie.

pointofinquiryOstatnim podcastem z tej kategorii jest Point of Inquiry produkowany przez Center for Inquiry. W tym przypadku bardzo mi odpowiada format podcastu: jest to po prostu zapis cotygodniowego wywiadu jaki przeprowadza Chris Mooney lub Indre Viskontas z jakąś znaną osobą ze świata nauki. Najczęściej okazją jest promocja jakiejś książki, chociaż zdarzają się też odcinki poświęcone bardzo konkretnym problemom. Lista gości programu jest imponująca, można posłuchać wywiadów ze Stevenem Pinkerem, Paulem Krugmanem, Carlem Zimmerem, Lawrencem Kraussem, Danielem Denettem, Neilem deGrasse Tysonem, i wieloma innymi znanymi nazwiskami. Wywiady trwają około 30-40 minut, więc rozmówcy mogą wejść w szczegóły omawianych kwestii i nie muszą się ślizgać tylko po powierzchni problemów. Poziom wywiadów bywa różny, czasem są ciekawsze, czasem ciut mniej, widać też bardzo wyraźną orientację polityczną podcastu (zdecydowanie liberalna i przeciwna konserwatystom), choć np. jeden z ostatnich odcinków był poświęcony grzechom lewicy w promowaniu postaw pozbawionych jakichkolwiek naukowych dowodów (chodzi oczywiście przede wszystkim o sprzeciw wobec GMO i energii atomowej).

Ateizm

reasonabledoubtsW tej kategorii zaczynam od podcastu na który zawsze czekam z największą niecierpliwością: Reasonable Doubts. Czterech młodych dżentelmentów omawia wszystkie aspekty religii. Wszyscy czterej wywodzą się ze środowisk fundamentalistycznych (jeden nawet miał być pastorem) i co jak co, ale Biblię znają na wylot. RD to podcast dla osób myślących i niepozbawionych otwartej głowy. Z jednej strony, ateiści mogą się z tej audycji dowiedzieć bardzo dużo o różnych odłamach chrześcijaństwa (dla mnie absolutną nowością były odcinki o kalwiniźmie czy zielonoświątkowcach), z drugiej strony osoby wierzące mogą zapoznać się z pełną argumentacją świadomych ateistow. Bardzo dużo miejsca poświęcone jest psychologii wiary (jeden z prowadzących jest pracownikiem naukowym badającym psychologię religii), przedstawiane są liczne eksperymenty psychologiczne które pokazują, jakie uwarunkowania legły u podstaw wielu postaw i przekonań religijnych. Jest też miejsce na komentarz dotyczący najnowszych wydarzeń, jest parę arcyśmiesznych segmentów (np. Stranger than Fiction – absurdalne inicjatywy ludzi ogarniętych religijnym wigorem lub Polytheism – najbardziej niesamowite mity z zapomnianych religii). RD jest podcastem wyjątkowym w tym sensie, że mimo jednoznacznie ateistycznego wydźwięku i konsekwentnego krytykowania religii prowadzącym udaje się oddzielić wiarę od osób wierzących i nigdy nie przekraczają granicy, która mogłaby być obraźliwa. No i bywają czasami niewiarygodnie zabawni.

thegoodatheistKolejny podcast jest dokładnym przeciwieństwem Reasonable Doubt. I posiada bardzo mylącą nazwę: The Good Atheist. Wiele osób które są ateistami ma chyba tak, że raz na jakiś czas mają ochotę wykrzyczeć prosto w twarz wszystkim wierzącym (a szczególnie funkcyjnym wierzącym) co myślą o religii, instytucjach religii, moralności religijnej i narzucaniu religii wszystkim dookoła (szczególnie dzieciom). I w takich chwilach na usta cisną się słowa powszechnie uznawane za obraźliwe. Jeśli odczuwacie taką potrzebę, to  Jacob Fortin i Ryan Harkness zrobią to za Was, bardzo głośno, wulgarnie, bez śladu sympatii lub szacunku do najstarszych tradycji religijnych świata. I użyją do tego celu wielu brzydkich słów. Tego podcastu nie powinny słuchać osoby wierzące bo na pewno prędzej czy później poczują się urażone. Ja traktuję ten podcast w kategoriach terapeutycznych. Kiedy nie mogę już znieść religijności lejącej się na mnie z radio, gazet i telewizji, włączam dwóch bezrobotnych Kanadyjczyków którzy siarczyście przeklinając podsumowują pontyfikat Benedykta XVI w kontekście skandalu pedofilskiego, i czuję że równowaga została przywrócona.

biblegeekOstatni podcast jest zupełnie niesamowity. Dr Robert M. Price występuje jako The Bible Geek. Dr Price jest autorem całej masy książek o tematyce biblijnej. Były pastor i fundamentalistyczny protestant, całkowicie odszedł od wiary. O sobie mówi: „jestem ateistą zakochanym w Biblii”. O Biblii wie praktycznie wszystko. Nie wierzy w ani jedno słowo (jako prawdę objawioną), ale docenia rolę i znaczenie tej niesamowitej książki na przestrzeni dziejów. W swojej audycji dr Price odpowiada na pytania słuchaczy dotyczące Biblii, i to jak odpowiada! Większość odpowiedzi szybko przeradza się w długie opowieści z których wyłania się świat antyczny który zrodził Stary i Nowy Testament. Dr Price pokazuje, które fragmenty pism, listów i ewangelii zostały zapożyczone z wcześniejszych tradycji (greckiej, żydowskiej), tłumaczy różnice w ewangeliach rozłamami we wczesnym kościele i napięciami pomiędzy sektami, odkrywa politeistyczne ślady wczesnej religii żydowskiej w Starym Testamencie, stawia na głowie praktycznie wszystko czego się dowiedziałem o Biblii w katechetycznej salce. I robi to wszystko wiedziony ogromną fascynacją tekstem. Ten podcast jest obowiązkowy i dla wierzących, i dla ateistów. Ateiści przestaną postrzegać Biblię jak Richard Dawkins (zbiór absurdalnych bajek z głównym bohaterem w postaci żądnego krwi okrutnego psychopaty Jehowy), wierzący przestaną „kupować” tanią wersję interpretacji Biblii i dostrzegą niesamowite bogactwo i skomplikowanie tekstu oraz zrozumieją przyczyny tego skomplikowania. Jestem jednak winien słowo ostrzeżenia: słuchanie dr. Price’a może zachwiać podstawami wiary! Jeśli zaczniecie słuchać podcastu i usłyszycie dziwaczne głosy i akcenty, nie obawiajcie się. Bible Geek uwielbia bawić sie akcentami i czyta pytania wykorzystując kilkanaście różnych akcentów (szkocki, japoński, rosyjski, południowy, bostoński), a czytając fragmenty Biblii poszczególnym postaciom nadaje indywidualne głosy: Bóg zawsze mówi głosem Charltona Hestona, Jezus zawsze mówi głosem Willema Dafoe, często też pojawia się głos Michaela Palina jako Poncjusza Piłata.

 

Punkty za publikacje, głos w dyskusji 11/13/2012

Posted by Mikołaj Morzy in Uncategorized.
8 comments

Polskie środowisko naukowe żyje ostatnio opublikowaniem przez MNiSW nowych list czasopism punktowanych, kolejne Wydziały prześcigają się w formułowaniu wymagań awansowych w oparciu o punkty z Web Of Science, SCOPUSa, list ministerialnych, itp. Można powiedzieć, że polską akademię ogarnęła istna punktomania. Niestety, cały ten zgiełk przykrywa dyskusję o istocie rzeczy, czyli o sensowności takiego podejścia do oceniania nauki. A jest o czym dyskutować (tym bardziej, że przecież te punkty i punkciki mają istotny wpływ na całkiem realne złotówki płynące z NCN-u).
W tym kontekście pozwolę sobie przywołać opinię Davida Parnasa z University of Limerick, opublikowaną parę lat temu na łamach „Communications of ACM” [1] (podziękowania dla Pawła Weichbrotha za wskazanie artykułu). Parnas bardzo zdecydowanie sprzeciwia się ocenianiu pracy naukowej na podstawie liczby publikacji lub liczby cytowań, twierdząc, że system ten bardzo szkodzi nauce i powoduje niezwykle negatywne konsekwencje. Trudno nie zgodzić się przynajmniej z niektórymi z jego argumentów, które streszczam poniżej:

  • ilość nie zamienia się w jakość, jeśli nagradzamy za liczbę publikacji, to automatycznie zachęcamy do publikowania tylko częściowych i powierzchownych wyników
  •  taki system promuje niepotrzebnie duże grupy, naukowcy dopisujący swoje nazwisko do każdej publikacji napisanej przez swoich studentów otrzymują nieproporcjolanie więcej niż naukowcy poświęcający dużo czasu małej liczbie współpracowników
  •  sposób publikowania „copy-paste-disguise”, gdzie ten sam materiał jest publikowany wiele razy pod różnymi tytułami i z różnymi stresczeniami jest nagradzany
  •  punkty za liczbę publikacji zachęcają do publikowania tzw. „delta research”, gdzie kolejny artykuł jest zaledwie minimalną zmianą w stosunkuu do poprzedniego (nassz poprzedni algorytm działał dla n<10, a w tym artykule prezentujemy rozszerzenie algorytmu umożliwiające obliczenie dla n<11)

A przede wszystkim, co obserwuje Parnas, ten system szkodzi czytelnikom publikacji naukowych, skupiając się na interesach autorów. Również argument o tym, że „najlepsze” publikacje i tak trafią do „najlepszych” czasopism jest co najmniej wątpliwy. Mechanizm peer-review jest obarczony wieloma błędami, recenzenci często nie przykładają się do pracy lub zlecają receenzje swoim doktorantom lub studentom, edytorzy ślepo ufają recenzentom wyliczając prostą średnią recenzji (bez analizowania treści recenzji). Niezwykle często artykuł odrzucony z jednej konferencji bez najmniejszych zmian jest przyjmowany na inną konferencję, autorzy wysyłają ten sam artykuł jednocześnie do wielu miejsc (pod zmienionym tytułem), tę listę grzechów można ciągnąć w nieskończoność.

W jaki sposób taki mechanizm punkowania wpływa na naukowców? Uczą się zawiązywać pakty (ja dopiszę ciebie a ty mnie – Parnas wspomina o „autorach”, którzy nigdy nie przeczytali artykułu pod którym są podpisani…), tworzą małe kliki z hermetycznym słownictwem i budują specjalnie dla takich klik fikcyjne konferencje i warsztaty. Fikcyjne w tym sensie, że takie warsztaty przyjmują wszystko jak leci, byle do CV dopisać „Organizator warsztatu ABC przy konferencji XYZ”. A taka organizacja się opłaca: można „przyjąć” dwa swoje artykuły, dopisać „Foreword” (trzeci artykuł), przerobić to na rozdział w książce (czwarty artykuł), i tak dalej. Pojawiło się nawet w środowisku pojęcie MPI: minimum publishable increment, tzn. jest to taka minimalna ilość nowego tekstu, żeby usprawiedliwić kolejną publikację (wprowadzenie, related work, wnioski końcowe mogą zostać te same). Parnas twierdzi, że kryzys konferencyjny widoczny gołym okiem (prezentujący mówiący do pustych sal, dziesiątki przyjętych referatów, których autorzy nie pojawiają się na konferencji) jest w dużej części efektem przyjętego sposobu punktowania publikacji.

Czy rozwiązaniem jest liczenie cytowań? Według Parnasa nie. Wiele cytowań jest przypadkowych (autor wpisuje hasło do Google Scholar i wrzuca do artykułu 10 losowych referencji), niektóre cytowania są negatywne, niektóre wskazują na odległe obszary badań, poza tym liczbą cytowań rządzi prawo preferencyjnego dołączania (zwane efektem św. Mateusza) i ostateczny rozkład liczby cytowań to rozkład potęgowy. Co przecież wcale nie oznacza, że najczęściej cytowane prace są najlepsze…

Najsmutniejsze w tym wszystkim jest to, że brak na horyzoncie propozycji naprawy systemu. Bo jakiś sposób oceniania pracy poszczególnych osób i całych jednostek jest jednak potrzebny. Dziś króluje ocena ilościowa, a nie jakościowa, ponieważ jest dużo łatwiejsza w implementacji. Ale pobocznym skutkiem wyboru takiego sposobu oceniania jest to, że akademicy uczą się reguł gry i szybko uczą się oszukiwać (jak mówi Parnas, „they learn to play the numbers game”). Czy da się temu jakoś zaradzić? Jeśli mogę zakończyć osobistą uwagą, pierwszym krokiem powinno być zrezygnowanie z anonimowości recenzji. Argumenty za zachowaniem anonimowych recenzji są dużo słabsze niż zysk jaki odnieślibyśmy z upubliczniania wszystkich recenzji. Mogę się podpisać pod każdą wykonaną przez siebie recenzją i to samo może powiedzieć każdy, kto pracę naukową traktuje poważnie. Zachowanie anonimowości recenzenta jest w mojej opinii jedynie przykrywką dla bylejakości. To byłby pierwszy krok do znacznego poprawienia sita peer-review i podniesienia poziomu artykułów przyjmowanych do czasopism lub na konferencje.

[1] Parnas, D. (2007). Stop the numbers game Communications of the ACM, 50 (11) DOI: 10.1145/1297797.1297815

Praktyki w Google (szybki post) 03/16/2012

Posted by Mikołaj Morzy in Uncategorized.
add a comment

Pojawiła się oferta praktyk w Google. Oferta jest skierowana do studentek i studentów 1 roku Informatyki i kierunków zbliżonych (Computer Science, Computer Engineering, Informatics). Praktyki odbywają się w terminie 2 lipca – 7 września, szczegółowe informacje o programie praktyk znajdują się tutaj. Termin zgłaszania swoich kandydatur upływa 20 kwietnia 2012, zgłaszać można się poprzez wypełnienie formularza rejestracyjnego. Warunkiem uczestnictwa w programie jest umiejętność programowania w języku Java, C, C++ lub Python.

Studentki i studenci Informatyki z Politechniki Poznańskiej mogą się do mnie zgłaszać po list rekomendacyjny (można go opcjonalnie dołączyć do formularza rejestracyjnego).

Ngram Viewer: eksploracja ewolucji języka w czasie 01/06/2011

Posted by Mikołaj Morzy in dataset, eksploracja danych, nauka, Uncategorized, zbiór danych.
1 comment so far

Google Labs logoGoogle nie przestaje zadziwiać. Właśnie natknąłem się na Google Ngram Viewer, aplikację umożliwiającą śledzenie częstotliwości występowania zlepków słów we wszystkich książkach dostępnych przez Google Books. Na wstępie uwaga: przyzwyczailiśmy się (przynajmniej w eksploracji danych) używać terminu n-gram do określania sekwencji następujących po sobie n znaków, np. słowo eksploracja może być podzielona na bi-gramy: ek-ks-kp-pl-lo-or-ra-ac-cj-ja. Moje pierwsze wrażenie było takie, że Google używa tego terminu niepoprawnie (wg. nich jest to sekwencja n słów występujących w tekście). Jednak krótki rzut oka do Wikipedii pokazuje, że ich użycie jest prawidłowe:

An n-gram is a subsequence of n items from a given sequence. The items in question can be phonemes, syllables, letters, words or base pairs according to the application.

Do dyspozycji są zbiory danych z książek opublikowanych w Anglii, Stanach Zjednoczonych, można też ograniczyć analizę do książek w językach: chińskim, niemieckim, hiszpańskim, francuskim, hebrajskim i rosyjskim. Dane są dostępne zarówno przez interfejs Google’a, jak i w formacie do pobrania i samodzielnego przetwarzania (dane są dostępne na licencji Creative Commons 3.0). Jeśli zechcecie wykorzystać ten korpus danych, to powinniście w referencjach umieścić pracę

Jean-Baptiste Michel*, Yuan Kui Shen, Aviva Presser Aiden, Adrian Veres, Matthew K. Gray, William Brockman, The Google Books Team, Joseph P. Pickett, Dale Hoiberg, Dan Clancy, Peter Norvig, Jon Orwant, Steven Pinker, Martin A. Nowak, and Erez Lieberman Aiden. Quantitative Analysis of Culture Using Millions of Digitized Books. Science (ta publikacja nie jest dostępna za darmo ze strony czasopisma Science, ale jeśli ktoś przez przypadek kliknie tutaj…)

I zupełnie na marginesie: oto jak można połączyć naukę z marketingiem. Przy okazji pracy nad Ngram Viewer ekipa z Google (przy współpracy z młodymi ludźmi z Harvardu i MIT) ukuła nowy termin: culturomics. Prawda, że zgrabne i chwytliwe?

Raport o usługach szerokopasmowych 2010 12/22/2010

Posted by Mikołaj Morzy in biznes, Uncategorized.
add a comment

Niecały miesiąc temu miałem przyjemność wystąpić na konferencji „VII Forum Usług Szerokopasmowych: Gdy Sieć jest wszędzie„. Właśnie zauważyłem, że organizator konferencji, Computerworld, wydał broszurę z raportem zawierającym wybrane artykuły. Co prawda konferencja była stricte biznesowa, a nie naukowa, ale muszę uczciwie przyznać, że dowiedziałem się wiele o perspektywach rozwoju sieci w Polsce i Unii Europejskiej (szczególnie w kontekście Agendy Cyfrowej Unii Europejskiej). W raporcie na uwagę zasługuje artykuł „Polska to punkt na światowej mapie FFTx” Tomasza Świderka (o przyszłości łączy szerokopasmowych jako sposobu podłączania gospodarstw domowych) oraz „50+ w sieci„, bardzo ciekawa rozmowa z dr. Dominikiem Batorskim o miejscu i roli osób dojrzałych i starszych w Internecie oraz ich sposobach użytkowania Sieci.

Program „Juventus Plus” – odpowiedź z MNiSW 12/19/2010

Posted by Mikołaj Morzy in Uncategorized.
add a comment

Ten post nawiązuje do wcześniejszego postu o organizacji nowego konkursu na finansowanie projektów naukowych, oraz do krytycznego postu o wynikach oceny wniosków. Agnieszka Ławrynowicz wysłała do ministerstwa list z pytaniem o kryteria użyte przy ocenie wniosków oraz o formę procedury odwoławczej. Poniżej (za zgodą Autorki) przytaczam odpowiedź, jakiej udzieliło MNiSW.

Szanowna Pani,

W odpowiedzi na Pani E-Mail uprzejmie informuję, że:

1. Zespół interdyscyplinarny do spraw oceny wniosków w ramach programów IDEAS PLUS, IUVENTUS PLUS i INDEX PLUS składał się z 5 osób.

2. Zespół oceniał wnioski w podziale na poszczególne grupy dziedzin nauki ( Nauki humanistyczne i społeczne, Nauki medyczne, Nauki przyrodnicze, nauki ścisłe i nauki techniczne) uwzględniając następujące elementy

– sumaryczny impact factor czasopism naukowych lub obecność czasopisma na liście ERIH, w których kierownik projektu opublikował w latach 2009 i 2010 wyniki swoich badań naukowych (umieszczonych we wniosku),

– przy ocenie uwzględniane będą te publikacje, w których kierownik projektu występuje jako główny autor (1 miejsce na liście autorów),

– przy ocenie będą mogły być także uwzględnione także te publikacje, w których autorzy są umieszczani w porządku alfabetycznym – publikacje wyników dużych programów miedzynarodowych np. CERN, publikacje z dziedzin gdzie kolejność alfabetyczna jest tradycyjna,

– wartość naukowa projektu.

3. Po otrzymaniu decyzji administracyjnej odmawiającej przyznania środków na realizacje Pani projektu będzie oczywiści przysługiwałao pani złożenie wniosku do Ministra nauki i szkolnictwa Wyższego wniosku o ponowne rozpatrzenie sprawy (odwołanie) zgodnie z 14 ust. 1 ustawy z dnia 30 kwietnia 2010 r. o zasadach finansowania nauki (Dz. U. Nr 96, poz. 615).

Z poważaniem

Bogdan Szkup

Zastępca dyrektora

Departament Instrumentów Polityki Naukowej

Ministerstwo Nauki i Szkolnictwa Wyższego

Wspomniany przez p. Szkupa artykuł 14 ustawy o zasadach finansowania nauki ma następujące brzmienie:

Art. 14. 1. Strona niezadowolona z decyzji dotyczącej przyznania albo odmowy przyznania środków finansowych na naukę może zwrócić się do Ministra z wnioskiem o ponowne rozpatrzenie sprawy w terminie 14 dni od dnia otrzymania decyzji. Do wniosku stosuje się odpowiednio przepisy Kodeksu postępowania administracyjnego dotyczące odwołań od decyzji.

2. Wniosek o ponowne rozpatrzenie sprawy jest opiniowany przez zespół, o którym mowa w art. 52 ust. 2.

3. Opinia dotycząca wniosku o ponowne rozpatrzenie sprawy nie może być sporządzana przez osobę, która uprzednio oceniała lub opiniowała wniosek o przyznanie środków finansowych, będący przedmiotem decyzji Ministra.

4. Wniosek, o którym mowa w ust. 1, nie wstrzymuje wykonania decyzji Ministra.

Czyli pozostało niewiele czasu. Najprawdopodobniej zdecyduję się napisać odwołanie, choćby w imię zasad. Myślę, że dobrze by było, gdyby wszystkie osoby niezadowolone z formy przeprowadzenia tego konkursu wyraziły swoje niezadowolenie (nawet jeśli to przysłowiowy groch o przysłowiową ścianę).

Program „Juventus Plus” – ciąg dalszy 12/10/2010

Posted by Mikołaj Morzy in Uncategorized.
8 comments

Ministerstwo właśnie ogłosiło wyniki konkursu. W zasadzie cała pula poszła na chemię i fizykę. Gratulacje dla Instytutów Biochemii i Biofizyki PAN, Chemii Biooraganicznej PAN, Chemii Fizycznej PAN i Chemii Organicznej PAN i innych instytutów PAN-owskich,  te instytuty dostały ponad 60 z zakwalifikowanych 304 projektów (20% alokacji). Jeśli dodać do tego 40 projektów przyznanych dwóm wydziałom Uniwersytetu Warszawskiego (Wydział Fizyki i Wydział Chemii) (13% alokacji), to oczom ukazuje się przepiękna wizytówka transparentności i uczciwości przyznawania środków na badania naukowe. Dla porównania, cała Politechnika Poznańska otrzymała 1 (sic!) projekt. I nie mówimy tu o niewielkich projektach dla młodych naukowców, rzędu 30-50 tysięcy złotych. Większość z zakwalifikowanych do finansowania projektów oscyluje między 120 i 200 tysięcy złotych!

Na pewno jednak projekty były wnikliwie oceniane i sprawdzane pod kątem merytorycznym, zapytacie? Przecież nikt ot tak od ręki nie rozda krewnym i znajomym 39 milionów złotych? Dokładnie tak się stało, Ministerstwo miało przecież całe 7 dni roboczych (wersje elektroniczne spływały do poniedziałku 29 listopada, wersje papierowe do poniedziałku 6 grudnia). Mamy tak mało pieniędzy na badania, a urządzamy takie żenujące spektakle…

%d bloggers like this: