Eduexe Forum

Przypomnij mi, jakie są zastosowania Uczenia Maszynowego?

W tym kursie omawiane są podstawy Uczenia Maszynowego (UM) z wykorzystaniem intuicyjnych przykładów, skupiając się na zadaniach praktycznych wykonywanych w zewnętrznym narzędziu - Google Teachable Machine.

Uczenie maszynowe (ang. Machine Learning - ML) to obszar Sztucznej Inteligencji (AI), który koncentruje się na rozwijaniu algorytmów automatycznie poprawiających się poprzez doświadczenie, czyli ekspozycję na dane. Algorytmy te budują model matematyczny, który potrafi podejmować decyzje czy prognozować rezultaty bez potrzeby bycia wprost zaprogramowanym do danego celu przez człowieka.

Dokładność (accuracy), precyzja (precision) i czułość (recall) to trzy metryki używane do oceny jakości modelu klasyfikacyjnego. Dokładność (accuracy) to stosunek wszystkich poprawnych klasyfikacji do wielkości zbioru testowego. Precyzja (precision) to stosunek liczby przypadków prawdziwie pozytywnych do liczby wszystkich przypadków ocenjonych jako pozytywne. Czułość (recall) to stosunek liczby przypadków prawdziwie pozytywnych do liczby wszystkich przypadków pozytywnych. W tym kontekście, dokładność, precyzja i czułość są używane do oceny jakości modelu klasyfikacyjnego, takiego jak rozpoznawanie kotów i niekotów.

Czułość to miara zdolności modelu do rozpoznawania przykładów należących do klasy pozytywnej. Jest to miara, która określa, jak dobrze model rozpoznaje przykłady, które rzeczywiście należą do klasy pozytywnej. Czułość jest obliczana jako stosunek liczby przykładów, które zostały prawidłowo rozpoznane jako pozytywne (TP), do liczby wszystkich przykładów, które rzeczywiście należą do klasy pozytywnej (TP + FN). Na przykład, jeśli model rozpoznał 80 przykładów jako pozytywne i 20 z nich było poprawnie rozpoznanych, a w rzeczywistości 90 przykładów należało do klasy pozytywnej, to czułość modelu wynosi 80/90 = 0,89 lub 89%. Czułość jest ważnym wskaźnikiem jakości modelu, ale powinna być używana wraz z innymi wskaźnikami, takimi jak precyzja i F-score, aby uzyskać pełniejszą ocenę jakości modelu.

F-score to miara, która stanowi pewien kompromis pomiędzy precyzją (precision) i czułością (recall). Jest to miara, która ocenia model bardziej obiektywnie niż każda z tych dwóch metryk z osobna. F-score bierze pod uwagę tylko 3 z 4 ćwiartek macierzy pomyłek, ignorując przykłady true negative (TN) - prawdziwie negatywne.

[eduexe-intent]student_progress[/eduexe-intent] Na podstawie Twoich postępów, najważniejszą rzeczą jest teraz ukończenie modułu "Metryki" (Moduł D). Uzasadnienie: Analiza Twoich postępów pokazuje, że jest to ostatni moduł merytoryczny, który właśnie rozpocząłeś/aś, ale nie ukończyłeś/aś jeszcze żadnego z zawartych w nim ćwiczeń. Pierwszy krok: Wróć do sekcji "Metryki" i odpowiedz na pierwsze pytanie kontrolne, dotyczące analizy macierzy pomyłek.

[eduexe-intent]student_progress[/eduexe-intent] Na podstawie Twoich błędnych odpowiedzi i częściowo poprawnych interakcji, sugeruję powtórzyć następujące zagadnienia, aby wzmocnić Twoje podstawy w uczeniu maszynowym: Wprowadzenie do Uczenia Maszynowego: Definicja ML i jego relacja do AI: Miałeś błędy w pytaniach dotyczących tego, które pojęcie jest szersze oraz na czym polega uczenie przez doświadczenie. [eduexe-source]7:1[/eduexe-source][eduexe-source]7:2[/eduexe-source][eduexe-source]7:3[/eduexe-source] Zastosowania Uczenia Maszynowego: Błędy w dopasowywaniu przykładów zastosowań do odpowiednich obszarów. [eduexe-source]7:4[/eduexe-source][eduexe-source]7:5[/eduexe-source] Rodzaje Uczenia Maszynowego (nadzorowane, nienadzorowane, przez wzmacnianie): Błędy w identyfikacji typu uczenia na podstawie opisu problemu oraz w rozpoznawaniu algorytmów uczenia przez wzmocnienie. [eduexe-source]7:6[/eduexe-source][eduexe-source]7:7[/eduexe-source] Problemy Uczenia Maszynowego i wpływ danych: Klasyfikacja vs. Predykcja: Miałeś trudności z rozróżnieniem problemów klasyfikacji. [eduexe-source]7:8[/eduexe-source][eduexe-source]7:9[/eduexe-source] Wpływ danych (przypadki graniczne, nierówna liczebność klas, dane spoza klas): Błędy w pytaniach dotyczących postępowania w przypadku, gdy model nie jest w stanie wykryć nowych kategorii. Przejrzyj materiały o tym, jak jakość i rodzaj danych wpływa na działanie modelu. [eduexe-source]11:2[/eduexe-source][eduexe-source]11:3[/eduexe-source][eduexe-source]11:4[/eduexe-source][eduexe-source]11:5[/eduexe-source][eduexe-source]12:3[/eduexe-source][eduexe-source]12:5[/eduexe-source] Przeuczenie (Overfitting): Miałeś błędne odpowiedzi dotyczące charakterystyki zjawiska przeuczenia. [eduexe-source]17:4[/eduexe-source][eduexe-source]17:5[/eduexe-source] Macierz pomyłek i metryki: Odczytywanie Macierzy Pomyłek: Upewnij się, że rozumiesz, co oznaczają poszczególne pola w macierzy pomyłek. [eduexe-source]18:1[/eduexe-source][eduexe-source]18:2[/eduexe-source][eduexe-source]18:3[/eduexe-source] Obliczanie Dokładności, Precyzji, Czułości: Błędy w zadaniach wymagających obliczeń tych metryk na podstawie macierzy pomyłek. Skup się na zrozumieniu wzorów i ich zastosowaniu. [eduexe-source]22:1[/eduexe-source][eduexe-source]22:2[/eduexe-source][eduexe-source]22:5[/eduexe-source][eduexe-source]23:1[/eduexe-source][eduexe-source]23:2[/eduexe-source][eduexe-source]23:5[/eduexe-source][eduexe-source]24:1[/eduexe-source][eduexe-source]24:2[/eduexe-source][eduexe-source]24:5[/eduexe-source] Zacznij od przeglądu materiałów w komponencie 7, a następnie przejdź do pozostałych tematów, koncentrując się na slajdach wskazanych w źródłach.

[eduexe-intent]student_progress[/eduexe-intent] W kursie spędziłeś 189 minut.

[eduexe-intent]course_content[/eduexe-intent] Czułość (recall) mierzy, jaki procent wszystkich rzeczywistych pozytywnych przypadków model jest w stanie wykryć. Jest ona kluczowa, gdy zależy nam na zminimalizowaniu liczby fałszywie negatywnych przypadków, czyli sytuacji, w której model nie wykrywa pozytywnego przypadku, który faktycznie występuje. Przykładem może być diagnostyka choroby, gdzie chcemy wykryć jak najwięcej chorych, nawet jeśli błędnie zaklasyfikujemy kilka zdrowych osób. [eduexe-source]24:1[/eduexe-source][eduexe-source]26:4[/eduexe-source]

[eduexe-intent]other[/eduexe-intent] Oto sposoby obliczania poszczególnych metryk: Dokładność (Accuracy): Jest to stosunek poprawnie zaklasyfikowanych przykładów testowych (True Positive + True Negative) do wszystkich przykładów testowych (True Positive + True Negative + False Positive + False Negative). [eduexe-source]22:1[/eduexe-source] Precyzja (Precision): To stosunek poprawnie sklasyfikowanych diagnoz pozytywnych (True Positive) do liczby wszystkich przypadków sklasyfikowanych przez model jako pozytywne (True Positive + False Positive). [eduexe-source]23:1[/eduexe-source] Czułość (Recall): Jest to stosunek przykładów prawdziwie pozytywnych (True Positive) do wszystkich pozytywnych przykładów w rzeczywistości (True Positive + False Negative). [eduexe-source]24:1[/eduexe-source] F-score: Oblicza się go jako średnią harmoniczną precyzji (Precision) i czułości (Recall), czyli 2 * (Precision * Recall) / (Precision + Recall). [eduexe-source]25:2[/eduexe-source] Wszystkie te metryki opierają się na wartościach z macierzy pomyłek (True Positive, True Negative, False Positive, False Negative). [eduexe-source]21:2[/eduexe-source]

[eduexe-intent]course_content[/eduexe-intent] Metryka F-score stanowi kompromis pomiędzy precyzją (precision) i czułością (recall), dzięki czemu ocenia model bardziej obiektywnie niż każda z tych dwóch metryk z osobna. Jest to uniwersalna metryka używana, gdy potrzebny jest balans między precyzją a czułością. Wadą F-score jest to, że wciąż nie jest metryką doskonałą. Bazując na precyzji i czułości, F-score bierze pod uwagę tylko 3 z 4 ćwiartek macierzy pomyłek, ignorując przykłady fałszywie negatywne (ćwiartka oznaczona na fioletowo na poprzedniej ilustracji w kursie). [eduexe-source]25:1[/eduexe-source][eduexe-source]25:3[/eduexe-source][eduexe-source]26:4[/eduexe-source]

[eduexe-intent]course_content[/eduexe-intent] Brak informacji w dostarczonym źródle.

[eduexe-intent]'course_content'[/eduexe-intent] Różne rejestry uznają około 60 ras kotów. [eduexe-source]2:1[/eduexe-source]

[eduexe-intent]course_content[/eduexe-intent] Nie ma jednej "najlepszej" metryki. Każda z omówionych metryk ma swoje wady i zalety, a wybór tej najodpowiedniejszej zależy od zbioru danych oraz głównego celu, jaki ma spełniać model. [eduexe-source]26:4[/eduexe-source] Dokładność (accuracy) jest uniwersalna, ale może być niemiarodajna przy dużej różnicy liczebności między klasami. Precyzja (precision) jest najważniejsza, gdy celem jest ograniczenie liczby fałszywie pozytywnych przypadków. Czułość (recall) jest kluczowa, gdy zależy nam na wykryciu jak największej liczby przykładów z jednej klasy (ograniczenie fałszywie negatywnych). F-score to uniwersalna metryka, gdy potrzebny jest kompromis między precyzją a czułością.

Metryki są miarą jakości modelu Uczenia Maszynowego, która umożliwia porównywanie modeli między sobą. W kontekście, którym dyskutujemy, metryki są obliczane na podstawie macierzy pomyłek. W materiałach jest mowa o czterech głównych metrykach: Dokładność (accuracy) - to często metryka domyślna, która określa, jak często model poprawnie klasyfikuje przykłady. Precyzja (precision) - to metryka, która określa, jak często model poprawnie klasyfikuje przykłady z jednej klasy. Czułość (recall) - to metryka, która określa, jak często model poprawnie klasyfikuje przykłady z jednej klasy, nawet jeśli są one rzadkie. F-score - to uniwersalna metryka, która łączy precyzję i czułość modelu. Metryki te są ważne, ponieważ pozwalają ocenić jakość modelu i porównywać go z innymi modelami. Warto zwrócić uwagę, że każda metryka ma swoje wady i zalety, i zależy od celu, jaki chcemy osiągnąć.

Dokładność jest miarą, która pokazuje, jaki procent wszystkich przykładów został poprawnie sklasyfikowany przez model. Prawda.

Wzór na dokładność to: Dokładność = (poprawne klasyfikacje) / (wszystkie klasyfikacje) lub w inny sposób: Dokładność = (suma przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe) / (suma wszystkich przykładów testowych) Przykładem może być tabela poniżej: Prawdziwie pozytywne Prawdziwie negatywne Suma Prawdziwie pozytywne 80 20 100 Prawdziwie negatywne 10 90 100 Suma 90 110 200 W tym przykładzie dokładność wynosi 90/200 = 0,45.

Aby poprawić klasyfikowanie przez model niewyraźnie narysowanej cyfry, która trochę przypomina 6, a trochę 8, należy dostarczyć modelowi dodatkowych danych, które mogą pomóc mu w rozróżnieniu tych dwóch cyfr. W naszym przypadku, model został wytrenowany na danych, które zawierają wyraźnie narysowane cyfry 6 i 8. Jednak w przypadku niewyraźnie narysowanej cyfry, model może mieć trudności z rozróżnieniem jej od innych cyfr. Aby poprawić klasyfikowanie przez model, można: Dodawać więcej danych do modelu, które zawierają niewyraźnie narysowane cyfry 6 i 8. To pozwoli modelowi nauczyć się rozróżniać te cyfry w różnych kontekstach. Ulepszyć model, aby był bardziej elastyczny i mógł radzić sobie z niewyraźnie narysowanymi cyframi. Zastosować techniki post-processing, które mogą pomóc modelowi poprawić swoje klasyfikowanie w przypadku niewyraźnie narysowanych cyfr. Warto zauważyć, że poprawienie klasyfikowania przez model niewyraźnie narysowanej cyfry wymaga dodatkowych danych i ulepszeń modelu.

Strata (loss) w modelach nie zmienia się liniowo z każdą kolejną epoką, ponieważ jest to wynik interakcji między modelami a danymi. W każdej kolejnej epoce model koryguje swoje wyniki w oparciu o dane, ale zmiana straty nie jest liniowa ze względu na fakt, że model może się nadmiernie dostosowywać do danych szkoleniowych. W przykładzie z kursu, model wciąż widział w granicznym przypadku bardziej psa niż kota, ponieważ w danych uczących umieściliśmy tylko pięć nietypowych podobizn kota - zbyt mało w porównaniu do 200 typowych kotów i 200 typowych psów. W takim przypadku, model może się nadmiernie dostosowywać do danych szkoleniowych, co prowadzi do zmiany straty w sposób nieliniowy. Dodatkowo, zmiana straty może być również wpływana przez różne czynniki, takie jak współczynnik uczenia (learning rate), liczba epok, a także sama struktura modelu. Wszystkie te czynniki mogą wpływać na sposób, w jaki model koryguje swoje wyniki w czasie treningu, co prowadzi do zmiany straty w sposób nieliniowy. Warto zauważyć, że zmiana straty w modelach jest zależna od wielu czynników, a nie tylko od liczby epok. W związku z tym, nie można przewidzieć, jak zmieni się strata w każdej kolejnej epoce, a jedynie można obserwować, jak zmienia się strata w czasie treningu.