1. Macierz pomyłek i metryki: Upewnij się, że potrafisz w pełni interpretować macierz pomyłek i odczytywać z niej błędne klasyfikacje. [18:2][18:4][19:2] Powtórz też różnice w zastosowaniu Precyzji i Czułości, wiedząc, kiedy minimalizować Fałszywe Pozytywne (FP), a kiedy Fałszywe Negatywne (FN). [26:4][23:1][24:1]
2. Ocena dopasowania modelu: Skup się na wizualnym rozróżnianiu modeli przeuczonych i niedouczonych na wykresach funkcji straty. [17:4][17:6][17:7]
3. Podstawowe pojęcia GTM i danych: Wróć do prawidłowej sekwencji działań w Google Teachable Machine [9:3][9:4][9:5][9:6][9:7] oraz sposobu identyfikacji problemów takich jak "dane spoza klas" i "przypadki graniczne". [11:2][11:4][11:5][11:10] Upewnij się również, że rozumiesz obliczanie wsadów na epokę. [16:5][16:6]

Teraz wyjaśnij, proszę, dlaczego czułość jest najważniejsza w tym przypadku oraz które konkretnie przypadki w macierzy pomyłek (True Positive, True Negative, False Positive, False Negative) są najbardziej krytyczne i dlaczego. [26:4][24:1]

• Precyzja jest kluczowa, gdy nie chcesz fałszywych alarmów. Chcesz mieć pewność, że to, co model uznał za 'tak', faktycznie jest 'tak'. [23:1][26:4]
• Czułość jest ważna, gdy chcesz znaleźć wszystkie prawdziwe przypadki 'tak', nawet kosztem kilku fałszywych alarmów. [24:1][26:4]

Przykład:
Wyobraź sobie model, który ma wykrywać wady w produktach na linii produkcyjnej. Jeśli model oznajmi, że produkt ma wadę, a jest on w rzeczywistości dobry (fałszywy alarm), firma traci pieniądze na sprawdzenie dobrego produktu. Jeśli model oznajmi, że produkt jest dobry, a ma wadę (przegapiona wada), wadliwy produkt trafia do klienta.

Pytanie sprawdzające:
Którą metrykę (precyzję czy czułość) powinieneś/powinnaś maksymalizować, jeśli zależy Ci przede wszystkim na tym, aby do klienta nie trafił żaden wadliwy produkt?

Teraz wyjaśnij, proszę, dlaczego czułość jest najważniejsza w tym przypadku oraz które konkretnie przypadki w macierzy pomyłek (True Positive, True Negative, False Positive, False Negative) są najbardziej krytyczne i dlaczego.

Wyobraź sobie, że budujesz model do wykrywania spamu w skrzynce pocztowej. Zależy Ci na tym, aby model nigdy nie oznaczył jako spam ważnej wiadomości (nie chcesz, aby cokolwiek istotnego trafiło do kosza), nawet jeśli oznacza to, że czasem przepuści jakiś spam do Twojej skrzynki odbiorczej.

Jaką metrykę powinieneś/powinnaś przede wszystkim brać pod uwagę przy ocenie takiego modelu i dlaczego? Które przypadki w macierzy pomyłek (True Positive, True Negative, False Positive, False Negative) są w tym scenariuszu najbardziej krytyczne i dlaczego? [26:4][23:1][24:1][21:2]

1. Dokładność (Accuracy) – stosunek poprawnie zaklasyfikowanych przykładów do wszystkich przykładów testowych. [22:1]
2. Precyzja (Precision) – stosunek poprawnie sklasyfikowanych diagnoz pozytywnych do liczby wszystkich przypadków sklasyfikowanych jako pozytywne. [23:1]
3. Czułość (Recall) – stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. [24:1]
4. F-score – średnia harmoniczna precyzji i czułości. [25:1][25:2]

Macierz pomyłek jest podstawą do obliczania tych metryk, które pozwalają ocenić jakość wytrenowanego modelu. [20:1][21:2]

• True Positive (TP): przypadki poprawnie zaklasyfikowane jako pozytywne.
• True Negative (TN): przypadki poprawnie zaklasyfikowane jako negatywne.
• False Positive (FP): przypadki błędnie zaklasyfikowane jako pozytywne.
• False Negative (FN): przypadki błędnie zaklasyfikowane jako negatywne. [18:2][21:2]

1. Podstawy Google Teachable Machine i typy problemów UM:

   • Powtórz prawidłową kolejność kroków przy tworzeniu modelu w GTM. Zwróć uwagę na to, które problemy (klasyfikacja, predykcja) można rozwiązać w GTM. [9:3][9:4][9:5][9:6][9:7][7:8][10:10]
   • Przejrzyj, jak GTM automatycznie dzieli dane na zbiór uczący i testowy oraz jak oblicza się wielkość zbioru testowego. Skup się na proporcjach podziału. [15:4][15:9]

2. Problemy z danymi i ich naprawa:

   • Ponownie przeanalizuj różne typy problemów z danymi, takie jak dane spoza klas, przypadki graniczne i nierówna liczebność klas. Zrozum, jak każdy z nich wpływa na model. [11:2][11:4][11:5][13:4]
   • Powtórz metody radzenia sobie z tymi problemami, w tym dodawanie klas, uzupełnianie brakujących danych i wprowadzanie klas pośrednich. [12:1][12:3]
   • Szczególnie zwróć uwagę na analizę zachowania modelu przy różnych plikach testowych w kontekście tych problemów. [13:3][13:4][13:5]

3. Parametry treningu modelu (epoki, wsad, współczynnik uczenia) i ocena dopasowania:

   • Upewnij się, że rozumiesz, jak oblicza się liczbę wsadów potrzebnych do ukończenia jednej epoki. [16:5][16:6]
   • Powtórz, jakie są konsekwencje zbyt wysokiego współczynnika uczenia. [16:7][16:8]
   • Przeanalizuj ponownie wykresy funkcji straty, aby poprawnie rozróżniać modele przeuczone i niedouczone. Zwróć uwagę na zachowanie krzywych dla zbioru uczącego i testowego. [17:4][17:6][17:7]

4. Macierz pomyłek i podstawowe metryki:

   • Utrwal interpretację macierzy pomyłek, w szczególności jak odczytywać z niej błędne klasyfikacje. [18:2][18:4][19:2]
   • Przejrzyj podstawowe metryki oceny modelu (dokładność, precyzja, czułość), których definicje sprawiły Ci trudność w początkowym teście. [21:1][22:1][23:1][24:1]