Na czym polega metoda drzewka decyzyjnego?

Metoda drzewa decyzyjnego to technika uczenia maszynowego stosowana do tworzenia modeli predykcyjnych, która zapewnia jasne, precyzyjne i zrozumiałe rozwiązania do rozwiązywania złożonych problemów. Metoda ta wykorzystuje algorytmy uczenia się do wyciągania wniosków na podstawie danych. Drzewka decyzyjne są tworzone i analizowane przy pomocy danych historycznych i stanowią graficzne przedstawienie wielu alternatywnych decyzji opartych na określonych regułach określonych na podstawie danych historycznych. Technologia ta jest szeroko stosowana wśród uczenia maszynowego, a także przy projektowaniu procesów decyzyjnych.

Drzewo decyzyjne jest narzędziem wspomagania podejmowanie decyzji, które wykorzystuje drzewo podobny model decyzyjny i jego możliwe konsekwencji, w tym przypadkowych skutki, koszty surowców i użyteczności. 

Zaufali mi najlepsi:

Jest to jeden ze sposobów wyświetlania algorytmu, który zawiera tylko instrukcje sterowania warunkowego.

Drzewa decyzyjne są powszechnie używane w badaniach operacyjnych, szczególnie w analizie decyzji , aby pomóc w określeniu strategii, która najprawdopodobniej osiągnie cel , ale są również popularnym narzędziem w uczeniu maszynowym.

Przegląd czym jest i jak stworzyć drzewo decyzyjne

Drzewo decyzyjne jest strukturą podobną do schematu blokowego, w którym każdy węzeł wewnętrzny reprezentuje „test” atrybutu (np. czy rzut monetą pojawia się jako orzeł czy reszka), każda gałąź reprezentuje wynik testu, a każdy boks reprezentuje etykieta klasy (decyzja podjęta po obliczeniu wszystkich atrybutów). Ścieżki od korzenia boxu reprezentują reguły klasyfikacji.

W analizie decyzji drzewo decyzyjne i diagram przepływu są wykorzystywane jako wizualne i analityczne narzędzie wspomagania decyzji, w którym obliczane są oczekiwane wartości (lub oczekiwana użyteczność) konkurencyjnych alternatyw.

Drzewo decyzyjne składa się z trzech rodzajów węzłów:

1. Węzły decyzyjne – zazwyczaj reprezentowane przez kwadraty
2. Węzły losowe (węzeł stanu natury) – zazwyczaj reprezentowane przez koła. Jeśli występuje niepewny wynik.
3. Węzły końcowe – zazwyczaj reprezentowane przez trójkąty

Drzewa decyzyjne są powszechnie używane w badaniach operacyjnych i zarządzaniu operacyjnym Jeżeli w praktyce decyzje muszą być podejmowane przy niepełnej wiedzy, drzewo decyzji powinno być równoległe z modelem prawdopodobieństwa jako modelem najlepszego wyboru lub algorytmem modelu wyboru. Kolejnym zastosowaniem drzew decyzyjnych jest opisowy sposób obliczania prawdopodobieństw warunkowych.

Drzewa decyzyjne,  diagram przepływu, funkcje użyteczności oraz inne narzędzia i metody analizy decyzji uczy się studentów MBA, szkół biznesu, ekonomii zdrowia i zdrowia publicznego i są przykładami metod badań operacyjnych lub metod zarządzania nauką.

Teoria decyzji

Teoria decyzji mówi jak rozłożyć trudny problem na części podstawowe. Przecież nimi jest zawsze łatwiej zarządzać. W przypadku gdybyśmy nie posiadali schematu postępowania w skomplikowanych sytuacjach to mogły by one wymknąć się nam spod kontroli. Posłużymy się za chwilę genialnym przykładem odnośnie poszukiwania ropy naftowej i odwiertów z książki MBA, która jest świetna.

We wspaniały sposób możemy ograniczy ryzyko stosując tą metodę.

Diagram drzewa decyzyjnego daje nam szansę aby oszacować wszystkie opcje, stopień niepewności i ryzyko.

Analiza drzewa decyzyjnego

1. Musimy określić wszystkie możliwe opcje oraz zagrożenia związane z sytuacją.
2. Obliczamy pieniężne konsekwencje wszystkich opcji.
3. Określamy niepewność związaną z każdą opcją.
4. Łączymy trzy pierwsze kroki w diagramie drzewa decyzyjnego.
5. Wskazujemy najlepszą opcję, a także rozważamy niepieniężne aspekty problemu

Przykładowe drzewo decyzyjne

Jak już wspomniałem, z przykładem zetknąłem się w świetnej książce MBA, do której link udostępniłem wcześniej.

Jest to moja interpretacja i ćwiczenie zostało trochę zmienione, ale oddaje całe sedno.

Rysunki również moje, a wiec zaczynamy!

Stan:

Załóżmy, że Jan Kowalski zamierza szukać ropy w Teksasie. Ropy będzie szukał na obiecującej parceli.

I teraz pytanie… Czy powinien robić odwiert próbny?

Jeżeli Kowalski trafi na źródło ropy to zarobi 1 mln dolarów.

Po rozważeniu kilku opcji sporządził on listę:

1. Pozwolenie aby wykonać odwiert na tym obszarze kosztowało go 20,000 $. Są to tzw. koszty utopione ponieważ nie może już ich odzyskać.
2. Ale można zmniejszyć ryzyko. przeprowadzając badania geologiczne za 50,000 $. Wtedy Kowalski może lepiej oszacować prawdopodobieństwo sukcesu i zmniejszyć ryzyko stracenia pieniędzy na wykonanie odwiertu w którym nie pojawi się ropa.
3. Czy może warto lepiej zaryzykować i wydać 200,000 $ aby wykonać odwiert bez przeprowadzenia badań geologicznych.
4. Po konsultacji Kowalski dostał opinię od specjalistów, że istnieje 60% szans znalezienia ropy na działce bez wykonywania badań.
5. Jeśli badania geologiczne wykażą obecność ropy, to prawdopodobieństwo jej odnalezienia wzrośnie do 90%, a ryzyko porażki spanie do 10%.
6. Jeśli badania geologiczne wykażą brak ropy, to cały czas można wykonać odwiert, ale ryzyko porażki wyniesie 90%, a sukcesu 10%.
7. Można w ogóle się wycofać.

I my zaraz te opcje przedstawimy za pomocą drzewa decyzyjnego.

Ale zanim zaczniemy zadecydujmy co powinno się znaleźć w schemacie drzewo decyzyjne i co jest ważne.

Rysowanie drzewa decyzyjnego

W punkcie 1 mamy informację o kosztach utopionych, których już nie odzyskamy. Ta informacja jest więc zbędna. Ponieważ pieniędzy już nie odzyskamy.

W związku z tym nie uwzględniamy w drzewie decyzyjnym tych kosztów i zaczynamy rysować:

Tworzymy pierwszą decyzję (pierwszy węzeł).

Czy Kowalski powinien przeprowadzić badania geologiczne czy nie.

Jeśli Kowalski zleci przeprowadzenie badań to ma 60% szans na pozytywny wynik i 40% na negatywny.

Jeżeli zrezygnuje z badań to wciąż może wykonać odwiert próbny.

Będzie mógł również odstąpić od tego zamiaru.

Następnym krokiem będzie uwzględnienie konsekwencji pieniężnych, które są „liśćmi” na naszym drzewie.

Jeżeli znajdziemy ropę to Kowalski zarobi 1,000,000 $, jeśli nie to straci 200,000$. A koszty badania to 50,000$.

Abyśmy poznali potencjalne skutki finansowe każdej decyzji, musimy pomnożyć możliwe przychody przez prawdopodobieństwa, które znajdują się na węzłach (okręgach).

Np (1,000,000 x 0,90) + (0 x 0,10) = 900,000

Wynikiem obliczeń jest oczekiwana wartość pieniężna (EMV- expected monetary value).

Prawdopodobieństwa na każdym okręgu muszą się zsumować do 100%.

Tak abyśmy nie mieli wątpliwości, że uwzględniliśmy wszystkie opcje.

Każdy węzeł wyklucza wszystkie inne opcje i dla każdego węzła łączne prawdopodobieństwo wynosi 100 %, tak aby wyczerpać wszystkie możliwości.

W kwadratach decyzji wybieramy najlepszy wynik. Musimy odjąć wtedy koszt realizacji danej opcji od jej możliwego wyniku pieniężnego.

Obliczanie wyników pieniężnych należy zacząć od prawej strony drzewa i przesuwać się w lewo.

Ten proces nazywa się „zwijanie”, lub „przycinanie”. Tak aby w konsekwencji wskazać najlepsze rozwiązanie.

Na węzłach wybieramy najlepsze wyniki pieniężne.

Na węzłach stanu natury mnożymy możliwe wyniki pieniężne przez prawdopodobieństwa ich uzyskania.

Z analizy drzewa decyzyjnego widzimy, że musimy się pozbyć nadmiernej ostrożności i rezygnować z badań geologicznych.

Oczekiwana wartość dolarów po badaniach wynosi 370,000$ (420,000-50,000), natomiast EMV wiercenia bez badań wynosi 400,000$.

Wybieramy więc najwyższą wartość pieniężną.

Schemat możemy użyć w multum przypadków, np decyzja odnośnie budowy, posiadanych zapasów, czy rozwoju nowych produktów.

Drzewo decyzji zmusza zawsze decydenta do uważnego przyjrzenia się możliwościom, dokonania oceny niepewności i konkretnego obliczenia możliwych wyników finansowych.

Odnośnie oceny niepewności to proszę pamiętać że często będziemy musieli zgadywać jej poziom.

Drzewo w bardzo dobry sposób ponadto zmusza osoby podejmujące decyzje do jednoznacznego formułowania wszystkich założeń.

Przykład drzewa decyzyjnego nr 2

Michał jest kierownikiem dużego klubu golfowego. Niestety posiada pewne problemy.

Istnieją dni kiedy każdy chce grać w golfa i wtedy jego pracownicy są przepracowani.

Natomiast w inne dni, bez wyraźnej przyczyny, nikt nie chce grać w golfa i jego pracownicy mają zbyt wiele czasu wolnego.

Michał chce tak zoptymalizować dostępność personelu dla graczy.

Jednak aby tego dokonać musi zrozumieć jakimi decyzjami kierują się gracze.

Założy że pogoda jest ważnym czynnikiem.

Także przez kolejne tygodnie zapisywał w tabeli:

• zachmurzenie, czy było słonecznie, pochmurno, czy deszczowo
• temperaturę w stopniach Fahrenheita
• wilgotność względną w procentach
• wietrzność tak(true) czy nie(false)
• obecność graczy w klubie

Na podstawie zebranych danych Michał sporządził drzewo decyzyjne, które pomoże mu w rozwiązaniu problemu.

Korzeń zawiera wszystkie możliwe sytuacje, a jest ich 14 (9 dni gracze grali, a 5 nie grali).

Więc podzielmy je na zależne od zachmurzenia na słoneczne (5dni spośród których 2 grali, 3 nie grali), zachmurzone (4 dni i wszystkie grali), deszczowe(5 dni, spośród których 3 grali, a 2 nie grali).

Pierwszy wniosek jaki się nasuwa jest taki, że gdy niebo jest zachmurzone ludzie zawsze grają w golfa.

W pozostałych przypadkach jest to już bardziej skomplikowane. Jeżeli jest słonecznie to gracze wybierają się na grę gdy wilgotność nie przekracza 70%.

Natomiast gdy jest deszczowo, gracze przychodzą grać, jednak tylko w wypadku gdy jest bezwietrznie.

Teraz Michał może podjąć decyzję w celu zoptymalizowania wykorzystania swoich pracowników.

Tak więc w dni słoneczne i wilgotne, oraz deszczowe i wietrzne, Michał może dać wolne większości swoich pracowników, ponieważ i tak prawie nikt nie będzie grać w tych dniach w golfa.

Natomiast w pozostałe dni gdy wiele osób będzie grało, musi on wynająć dodatkowych pracowników, bądź w te dni zapewnić pracę osobom które miały wolne z powodu braku chętnych do gry.

Drzewo decyzyjne przykład numer 3

Student Krzysztof obudził się 25 minut przed egzaminem. Profesor był formalistą i nawet minuta spóźnienia wykluczała możliwość pisania egzaminu, Krzyśkowi groziła więc sesja poprawkowa.

Sprawa była jednak znacznie bardziej skomplikowana, gdyż Krzysiek miał zamiar wyjechać do pracy do Stanów Zjednoczonych, zaś wcześniejszy powrót we wrześniu oznaczałby dla niego utratę 4 tys.zł zarobków.

Jeżeli jednak zdążyłby dotrzeć na czas, to rodzice w nagrodę za dobre oceny kupiliby mu prezent (zazwyczaj wartości 500 zł).

Krzysiek musiał więc starannie przemyśleć, w jaki sposób dotrzeć do szkoły. Autobus nie wchodził w grę, jazda nim zajmowała co najmniej 40 minut.

Pozostawała jeszcze inna możliwość – pożyczyć samochód ojca.

Samochód ten jednak był w kiepskim stanie i szanse na dojechanie do szkoły wynosiły 90%, zaś w przypadku awarii Krzysiek musiałby pokryć część kosztów naprawy, gdyż ojciec od dawna winił go za za zły stan samochodu(3 tys. zł).

Oprócz tego musiał zdecydować, czy opłaca się jechać przez miasto szybko,czy wolno.

Przy wolnej jeździe dotarłby na czas z prawdopodobieństwem 60 %, natomiast przy szybkiej zdążyłby na pewno (Krzysiek potrafił naprawdę szybko jeździć). Mógł jednak zostać zatrzymany przez patrol policji, co groziło mandatem w wysokości 500 zł (prawdopodobieństwa trafienia na patrol – 20%).

Druga możliwość to wynajęcie taksówki, za którą trzeba będzie zapłacić 30 zł.

Jednak taksówkę trzeba będzie znaleźć w ciągu kilku minut, co można wykonać z prawdopodobieństwem sukcesu 80 % (jeżeli nie będzie taksówki w pobliżu, Krzysiek już nie zdąży).

Aby ponaglić kierowcę Krzysiek może wręczyć napiwek w wysokości 20 zł, co zwiększy szanse na dotarcie na czas do 85 % (w przeciwnym wypadku tylko 70 %).

Jaką decyzję powinien podjąć Krzysiek?

W prawidłowo skonstruowanym drzewie węzły decyzyjne i stanów natury powinny występować na przemian, zaś każda ścieżka powinna być zakończona węzłem końcowym.

Rozwiązywanie problemu przy pomocy drzewa decyzyjnego rozpoczynamy od węzłów końcowych tego drzewa, przypisując im końcowe wypłaty.

Przykładowo, dla sekwencji:

taksówka – znajdzie – napiwek – zdąży, końcowa wypłata wynosi 4000 zł (zarobek w Stanach) + 500 zł (prezent) – 30 zł (koszt taksówki) – 20 zł (napiwek) = 4450 zł.

Następnym krokiem jest zaznaczenie przy gałęziach wychodzących ze stanów natury odpowiadających im prawdopodobieństw.

Na przykład dla jednego z węzłów wynoszą: policja – 0.20, uda się – 0.80.Kolejny krok to wyznaczenie dla każdego węzła – stanu natury wartości oczekiwanej.

Np. wartość oczekiwana wyniesie: 0.20 * (-500) zł + 0.80 * 4500 zł =3500 zł.

Przy każdym węźle decyzyjnym zapisujemy największą wartość z wyznaczonych wartości oczekiwanych (odpowiada to najkorzystniejszej decyzji).

Wnioski z przykładów drzew decyzyjnych

Jak widać w załączonych przykładach drzewa decyzji maja wiele zalet, m.in.:

Są proste do zrozumienia i interpretacji. Większość ludzi jest w stanie zrozumieć na czym polega model podejmowania decyzji na podstawie drzew decyzji po krótkim wyjaśnieniu.

Nie wymagają przygotowywania danych. Inne techniki często wymagają normalizacji danych, tworzenia ślepych zmiennych czy usuwania pustych wartości.

Drzewa są w stanie obsługiwać zarówno dane numeryczne jak i kategoryczne. Inne techniki są wyspecjalizowane w analizie zestawów danych, które mają tylko jeden typ zmiennych. Przykładowo sieci neuronowe mogą obsługiwać tylko dane numeryczne.

Możliwość poprawienia modelu za pomocą metod statystycznych. Co powoduje niezawodność modelu.

Są solidne, dobrze i szybko wykonują operacje na dużych ilościach danych. Także duże ilości danych mogą być szybko przetworzone na komputerach osobistych, umożliwiając zainteresowanym podjęcie decyzji.

Używają modelu “białego pudła”, jeżeli wyjaśnimy stan w danym modelu, to jest łatwo go wytłumaczyć, gdyż możemy przejść przez całą ścieżkę decyzji. Jest to zupełnie inne podejście niż przy sztucznej sieci neuronowej która jest jak “czarne pudło” gdzie wrzucamy dane, otrzymujemy wyniki, ale nie wiemy dokładnie jak podjęte zostały decyzje

Metoda drzew decyzyjnych, algorytm losowy?

System klasyfikacyjny jest bardzo dobrym narzędziem. Drzewa klasyfikacyjne i skuteczny proces decyzyjny to cos co charakteryzuje jednostki (a także firmy) osiągające sukces. Samo tworzenie drzewa decyzyjnego jak już widzisz nie jest trudne.

Podsumowanie

Będzie krótko i konkretnie.

Drzewo decyzyjne pozwala dostrzec złożoność pozornie prostych problemów.

Trzeba na prawdę dużo ćwiczyć żeby osiągnąć tu biegłość.

Jak zauważysz w praktyce, każda osoba otrzyma inne wyniki i inne drzewo.

Da Ci to kolejne informacje aby podjąć najlepszą decyzję.

• szkolenia online
• szkolenia u Ciebie w firmie i doradztwo-konsulting
• agencja SEO/SEM

Co myślisz o moim nowym wpisie na blogu?

A może masz pytanie dotyczące strategii lub techniki jak działać najlepiej?

Tak czy inaczej, chciałbym usłyszeć, co masz do powiedzenia.

Więc śmiało, teraz udostępnij ten wpis na swoich social mediach i zobacz co inni mają do powiedzenia.