Pora zmienić młotek? Złożoność świata vs prostota Metody

Ciekawy tekst Jonaha Lehrera w „Wired”: Trials and Errors: Why Science Is Failing Us. Teza: stoimy obecnie przed zbyt złożonymi problemami, żeby dało się je rozwiązać przy pomocy redukcjonistycznej metodologii, jaką stosujemy, by się z tymi problemami zmierzyć. Oczywiście, Lehrer nie odkrywa Ameryki (wśród popularno-naukowych omówień można wskazać np. Horgan 1999). Postęp naukowy polega na tym, że próbuje się robić coraz bardziej skomplikowane rzeczy i dlatego od lat rozwijana jest teoria systemów, teoria sieci, czy matematyka chaosu.

Jednak w praktyce wciąż stara, dobra metoda wyszukiwania prostych korelacji między zmiennymi stosowana jest najczęściej. Z założenia jednak nie jest doskonała. A w przypadku złożonych systemów można się zastanawiać, czy w ogóle jest adekwatna. Weźmy medycynę. W im bardziej skomplikowany sposób próbuje się ingerować w organizm człowieka – tym więcej to kosztuje, dłużej trwa, jest bardziej niepewne i ryzykowne, a do tego efekty są wątpliwe (znikomy wpływ na zwiększenie przewidywalnej długości życia).

Nie mówię tego z rezygnacją. Taki stan rzeczy powoduje, że nauka wciąż jest fascynująca i ma przed sobą wielkie przełomy i odkrycia, i to na najbardziej fundamentalnym poziomie samej Zasady/Metody. Chyba, że wcześniej zgładzą nas nieprzewidziane skutki stosowania obecnej metody naukowej, bo – jeśli rozejrzeć się dookoła, widać, że gramy all-in. A o tym, że możemy odejść od stołu z niczym, bo takich nieprzewidzianych skutków nie brakuje, jest tekst Lehrera. I dlatego poniżej rekonstruuję tok jego wywodu.

Obowiązuje tradycyjne ostrzeżenie: poniżej przedstawiam tok rozumowania autora omawianego tekstu, ale robię to po swojemu, swoimi słowami, czasem dodając coś od siebie; moim celem nie jest przetłumaczenie tekstu, tylko wyciągnięcie z niego tego, co mnie interesuje. Zaczynamy:

  • W 2006 roku firma Pfizer wycofała się z badań nad substancją o nazwie torcetrapib, która miała zrewolucjonizować leczenie miażdżycy. Badania trwały 15 lat i kosztowały miliard dolarów, ale jak się okazało, zażywanie torcetrapibu zwiększało śmiertelność pacjentów o 60% (w badaniach wzięło udział 25000 osób).
  • Fatalne skutki stosowania tej substancji były wielkim zaskoczeniem, bo mechanizm działania torcetrapibu miał być banalnie prosty. Zakładano, że jeśli zwiększy się poziom „dobrej” (BP, NMSP) lipoproteiny HDL, działającej przeciwmiażdżycowo, jednocześnie zmniejszając poziom „złej” lipoproteiny LDL, obudowującej ściany tętnic cholesterolem – problem miażdżycy zostanie znacząco zredukowany.
  • Założone przez naukowców – jak mogłoby się wydawać: doskonale logiczne – relacje przyczynowo-skutkowe w rzeczywistości nie zachodziły. Wyjątek? Lehrer powołuje się na one recent analysis i stwierdza, że ponad 40% leków nie przechodzi tej – ostatniej – fazy testów.
  • Dlaczego? Bo nauka – nie tylko farmacja i nie tylko biologia – opiera się na założeniu, że zrozumienie pojedynczych relacji między zmiennymi (więcej HDL oznacza mniej cholesterolu; mniej LDL oznacza mniej cholesterolu) przekłada się na rozumienie działania całego systemu, w którym te pojedyncze zależności zachodzą, w tym wypadku – na rozumienie działania organizmu człowieka [w socjologii przykładem mogą być próby wyjaśniania wybuchów zamieszek w danym społeczeństwie przy użyciu jednej zmiennej, na przykład współczynnika Giniego, określającego poziom nierówności społecznych; skutki są takie, że równie dobrze moglibyśmy rzucać monetą].
  • Sprawa jest po stokroć bardziej skomplikowana, a nasze myślenie o przyczynach chorób (i przyczynach w ogóle) oraz o sposobach ich leczenia, czyli przyczynach zdrowienia – to w wielu przypadkach niewiele więcej, niż zwykłe myślenie życzeniowe.
  • Czy to nowe odkrycie? Nie. Co najmniej od czasów krytyki idei przyczynowości dokonanej w XVIII w. przez Davida Hume’a wiemy, że mamy skłonność do postrzegania/tłumaczenia następujących po sobie wydarzeń w taki sposób, jakby łączył je związek przyczynowo-skutkowy.
  • Obrazują to badania belgijskiego psychologa, Alberta Michotte’a, przeprowadzone po raz pierwszy w latach 40. XX wieku. Michotte stworzył kilkusekundowe filmiki, na których widać niebieską i czerwoną kulkę. Badani oglądali filmy i opowiadali co widzą. Widzieli przemieszczającą sie czerwoną kulkę. W pewnym momencie ta kulka dotykała kulki niebieskiej i zatrzymywała się. W tym czasie niebieska ruszała w tym samym kierunku, w którym wcześniej przesuwała się kulka czerwona. Jakie wnioski wyciągali badani? Kulka czerwona uderzyła w kulkę niebieską i spowodowała, że ta zaczęła się ruszać [można to zobaczyć tutaj]. Oczywiście, ludzka zdolność do dopisywania przyczynowej „fabuły” do filmów o kulkach szła znacznie dalej. Gdy mniejsza kulka przemieszczała się przed większą kulką – badani twierdzili, że większa kulka ściga mniejszą. Z kolei, gdy większa poruszała się jako pierwsza – badani twierdzili, że mniejsza podąża za większą. W rzeczywistości jedna kulka nie wywoływała ruchu drugiej, żadna kulka żadnej kulki nie goniła, ani za nią nie podążała – te teorie zawdzięczamy tylko mechanizmom naszej  (czasem wadliwej) percepcji.
  • Oczywiście, teorie, jakie dopisujemy do tego, co widzimy, bardzo często trafiają w sedno, działają, pozwalają nam funkcjonować i przetrwać, a także – tworzyć fascynujące urządzenia dające/odbierające, ułatwiające/komplikujące, urozmaicające/banalizujące życie. Problem jednak w tym, że obecnie zajmujemy się próbami zrozumienia i ingerowania w systemy tak skomplikowane (ludzkie ciało, ludzki mózg, społeczeństwo), że ta prosta heurystyka przestaje działać.
  • Dlatego posługujemy się statystyką. Godzimy się, że dostrzeżone przez nas relacje nie występują zawsze. Wystarczy, że zachodzą przeważnie. Przyczynowość zastępujemy korelacją. Tyle tylko, że proste korelacje między wyizolowanymi zmiennymi, jakie odkrywane są w laboratoriach, mogą się nie powtórzyć w swoich naturalnych, dużo bardziej skomplikowanych, środowiskach (takim środowiskiem może być ludzkie ciało).
  • Dlatego wyprodukowanie nowego leku kosztuje dziś 100 razy więcej (uwzględniając inflację) i trwa trzy razy dłużej niż w 1950 roku. Produkowanie nowych leków przestaje się opłacać (wróćmy do torcetrapibu: badania kosztowały 1 miliard dolarów, ale informacja o zaprzestaniu badań spowodowała, że wartość akcji Pfizera spadła o 21 miliardów dolarów).
  • Inny przykład chybionej relacji przyczynowoskutkowej: ból pleców. Amerykanie wydają rocznie 90 miliardów dolarów na walkę z bólem pleców (w zasadzie tyle samo wydają na walkę z rakiem). Sprawa wydaje się prosta, ale złożony system składający się z kręgosłupa, rdzenia kręgowego, elementów aparatu kostno-mięśniowego i nerwów to jedna wielka zagadka. Określenie, co dokładnie sprawia ból to prawie wróżenie z fusów i dlatego – do lat 70. XX w., kiedy zastosowano w medycynie rezonans magnetyczny – najskuteczniejszym sposobem leczenia bólu pleców było nic nierobienie. Wykorzystanie MRI pozwoliło jednak na diagnozowanie, że ból pleców wynika z ucisku na rdzeń i korzenie nerwowe.
  • I tu pojawia się problem, bo nim zaczęto diagnozować problemy wykrywane przy użyciu MRI – nie skalibrowano narzędzia. To znaczy – to, co diagnozowano, jako przyczynę bólu pleców, występowało również u osób, których plecy nie bolały. Lehrer powołuje się między innymi na tekst opublikowany w 1994 roku w The New England Journal of Medicine, w którym poddano rezonansowi magnetycznemu 98 osób i w efekcie u 2/3 w pełni zdrowych badanych zdiagnozowano „poważne problemy”, które powinny objawiać się bólem pleców. To, co lekarze odczytywali z obrazów MRI to niewiele więcej, niż to, co „widzieli” badani przez Alberta Michotte’a ludzie, którzy dopisywali własną interpretację do ruchu kulek. Dlatego obecnie American College of Physicians oraz American Pain Society mocno zalecają, aby lekarze nie korzystali rutynowo z MRI przy diagnozowaniu bólu pleców. (najnowsze badania wskazują, że przyczyną bólu pleców może być palenie lub depresja, ale jeszcze piekielnie daleka droga do zrozumienia dokładnego łańcucha relacji przyczynowo-skutkowych, które do tego prowadzą, jeśli w ogóle da się to w ten sposób, „liniowo”, opisać).
  • W tekście Lehrera nie może zabraknąć odwołania do Johna Ioannidisa [polecam również ten tekst z The Atlantic i stronę domową Ioannidisa; można się z niej łatwo przeklikać do tekstów], który zajmuje się demaskowaniem metodologicznych słabości nauk medycznych. Pomijając fragment z tekstu Lehrera, pokazujący, że to zjawisko o dużej skali, podaję przykład: przez kilka dekad zakładano związek między homocysteiną a chorobami serca. Tekst, który wykrył tę zależność cytowano w literaturze medycznej ponad 1800 razy. Lekarze przepisywali witaminę B, by obniżyć poziom homocysteiny. Jednak w 2010 roku opublikowano wyniki badań (w ciągu 7 lat zbadano 12064 przypadki), z których wynika, że obniżenie poziomu homocysteiny nie obniża ryzyka zawału serca. Kolejna zależność, której nie było.
  • Oczywiście, tak rozwija się nauka. Błędne założenia i wnioski są weryfikowane i zastępowane lepszymi. Na tym polega postęp i postęp dokonuje się bez przerwy. To, że odkrywane są rozmaite pomyłki – to świadczy tylko o tym, że mechanizmy weryfikacji wiedzy naukowej działają jak należy. Zadziwia tylko skala pomyłek (które można przeliczać zarówno na dolary, jak i na ludzkie życia). Lehrer przywołuje badanie, w którym poddano analizie 432 założenia o związkach między obecnością wybranych genów a ryzykiem występowania określonych chorób. Spośród 432 założeń tylko 1 (sic!) jedno dało się rzetelnie zreplikować w innych badaniach. W innej metaanalizie sprawdzono 49 najczęściej cytowanych (a więc bardzo cenionych przez społeczność uczonych) tekstów omawiających wyniki badań klinicznych, opublikowanych w latach 1990-2003. W ponad 40% przypadków okazało się, że wyniki te albo były całkowicie błędne, albo znacząco niepoprawne.
  • Czy to dziwne? Nie. Po prostu nie mamy narzędzi, by odkryć, zrozumieć i kontrolować wszystkie zmienne, które mogą wpływać na końcowy efekt zależnych od siebie relacji zachodzących w złożonych systemach, w które ingerujemy.
  • Według szacunków Centers for Disease Control and Prevention w XX wieku średnia długość życia Amerykanów wydłużyła się o około 30 lat. Z tej liczby 25 lat zawdzięczają Amerykanie dwóm zwyczajnym zabiegom: poprawie czystości wody pitnej i poprawie warunków sanitarnych. Na tym tle wieloletnie, miliardowe zabiegi związane z rozwijaniem zaawansowanych metod wydłużania życia przynoszą marginalne korzyści. A im wyżej na tę górę wchodzimy – tym mniej owoców, tym mocniej wieje, tym bardziej ślisko i łatwiej spaść.

Patrz też:

Reklamy

10 myśli na temat “Pora zmienić młotek? Złożoność świata vs prostota Metody

    1. Szczerze w to wątpię. Jestem zwolennikiem prostoty wszędzie, gdzie to tylko możliwe. Ale trzeba brać pod uwagę fakty. A te wskazują, że XIX-wieczna metoda przy rozwiązywaniu problemów XXI wieku jest coraz bardziej kosztowna i mniej efektywna.

  1. Dziękuję za tekst! Dobrze się Ciebie, Wojtku, czyta – ciekawie i o ciekawych rzeczach piszesz.
    Tak sobie myślę, że na gruncie socjologii problem może leżeć w nadmiernie „wytwórczym” podejściu do wiedzy z jednej strony (fajnie jest produkować nowe metafory, mniej fajnie: testować czy rewidować stare) oraz podejściu jedynie „rytualnym” do tego, co zastaliśmy (dotychczasowe teorie służą nam jako księga cytatów, które muszą się gdzieś pojawić, żeby tekst spełniał pewne standardy; tą myśl czerpię, filtrując przez własne jej rozumienie, od Dra S.).
    Abstrahuję tu od tak zwanych cech przedmiotu naszych badań – nie tylko złożonego, ale chyba rzeczywiście zmiennego, przynajmniej w niektórych warstwach – i konsekwencji z nich płynących dla sposobów, w jaki naukę można uprawiać…

    1. Dzięki Zuziu, choć ja tylko referowałem ;-)

      Sporej części socjologii, określmy ją mianem socjologii eseistycznej, faktycznie nie bardzo da się włączyć w powyższe rozważania (co nie znaczy, że nie jest potrzebna, albo że nie pomaga lepiej rozumieć świata).

      Nie brakuje jednak w socjologii ilościowych prób opisu i wyjaśniania społeczeństwa. Taki pierwszy przykład, jaki mi się nasuwa na naszym podwórku to badania Henryka Domańskiego dot. stratyfikacji i ruchliwości społecznej. To jest kawał sensownej metodologii i statystyki, którą można rozważać z wyżej opisanej perspektywy. Oczywiście – to pierwszy z brzegu przykład, które można mnożyć (nie tylko nazwiskami autorów, ale i nazwami periodyków poświęconych ilościowej socjologii).

      1. Tylko referowałeś… dobrze, dobrze (powiedziała pozornie zgodnie, ale CAŁKIEM nieprzekonana).

        Nie chodzi mi o to, że nie ma sensownych, ilościowych prób opisu/wyjaśnienia (no i na marginesie: nie tworzyłabym opozycji jakościowe vs ilościowe; to może – lub nawet: powinno – uzupełniać się). Chodzi raczej o pewien stopień oderwania różnych rzeczywistości badawczych poszczególnych badaczy/pod-dziedzin. Nie, jasne, że nie wszędzie – i tak, jest i sensowna wzajemna krytyka, i testowanie tez. Ale to ostatnie – jak często? To pytanie o poziom woli twórczego wysłuchania a sądzę, że na tym polu jest trochę do zrobienia, może: zawsze jest :)

        (Istnieje też prawdopodobieństwo, że moje wątpliwości powinnam kierować raczej nie tyle na zewnątrz, ile do wewnątrz i że jedynie własne przywary wyrzucam publicznie. Prawdopodobnie jednak i w przywarach nie jestem bardzo oryginalna.)

      2. Zuziu, no tak, prowadzenie badań mających na celu weryfikację wyników uzyskanych wcześniej przez kogoś innego nie wydaje się zbyt sexy naukowo :] Ba, pewnie niejeden „naukowiec” czułby się obrażony, gdyby się dowiedział, że ktoś chce zweryfikować jego wyniki. No, ale to już patologia niemetodologiczna :)

        1. Otóż. I tak oto rosnąca złożoność problemów okazuje się być w części funkcją naukowej nad-rzeczywistości, która z kolei powstaje jako element gry ewolucyjnej (co nie jest szczególnym znów odkryciem). Czy pora zmieniać młotek, czy może na razie – sposób uderzania? :)

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Wyloguj / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Wyloguj / Zmień )

Connecting to %s