conversation_by_yzt
-
wow, nawet takie info masz. Co jeszcze ciekawego wiesz?
-
wow, nawet takie info masz. Co jeszcze ciekawego wiesz?
[eduexe-intent]other[/eduexe-intent]
Cieszę się, że moje informacje są dla Ciebie interesujące! Wiem na przykład, że system punktacji w tym kursie jest tak zaprojektowany, abyś zawsze otrzymał korzystniejszy dla siebie wynik. Twoja końcowa ocena to suma punktów z testu początkowego i wszystkich testów cząstkowych, LUB suma punktów z testu początkowego i testu końcowego – wybierana jest wyższa z tych dwóch wartości. To daje Ci elastyczność i szansę na najlepszy możliwy rezultat! [eduexe-source]1:1[/eduexe-source] -
czy metryka to nie funkcja mierząca odległość między dwiema punktami? czy również może być funkcją agregującą, przyporządkowującą dla pewnego modelu liczbę?
-
czy metryka to nie funkcja mierząca odległość między dwiema punktami? czy również może być funkcją agregującą, przyporządkowującą dla pewnego modelu liczbę?
[eduexe-intent]course_content[/eduexe-intent]
Tak, masz rację. W kontekście uczenia maszynowego metryka jest funkcją, która przyjmując model jako argument, zwraca pewną wartość. Ta wartość służy do oceny i porównywania modeli. Nie jest to jedynie funkcja mierząca odległość między dwoma punktami, choć niektóre metryki mogą opierać się na koncepcji odległości. Jej głównym celem jest przyporządkowanie liczbowej miary jakości działania modelu. [eduexe-source]21:1[/eduexe-source] -
czy precyzja to innymi słowy dokładność dla pojedyńczej kategorii?
-
czy precyzja to innymi słowy dokładność dla pojedyńczej kategorii?
[eduexe-intent]course_content[/eduexe-intent]
Tak, precyzja (precision) mierzy poprawność klasyfikacji, ale w bardzo specyficznym kontekście: jest to stosunek poprawnie sklasyfikowanych przykładów pozytywnych do wszystkich przykładów, które model sklasyfikował jako pozytywne. [eduexe-source]23:1[/eduexe-source]Nie jest to więc "dokładność dla pojedynczej kategorii" w ogólnym sensie, ponieważ skupia się wyłącznie na tym, jak wiele z pozytywnych predykcji modelu było rzeczywiście poprawnych, ignorując przypadki negatywne. Można powiedzieć, że precyzja odpowiada na pytanie: "Spośród wszystkich, które uznałem za X, ile faktycznie było X?".
-
no i ta wartość jest wyświetlana w GTM jako accuracy, tylko dla każdej klasy to osobna wartość?
-
no i ta wartość jest wyświetlana w GTM jako accuracy, tylko dla każdej klasy to osobna wartość?
[eduexe-intent]course_content[/eduexe-intent]
Tak, Google Teachable Machine (GTM) wyświetla wartość nazwaną "Dokładność wg klas" osobno dla każdej klasy. Jednakże, zgodnie z opisem w kursie, wartość ta jest obliczana jako stosunek poprawnie sklasyfikowanych przykładów danej klasy do wszystkich przykładów tej klasy w zbiorze testowym. To odpowiada metryce czułości (recall) dla danej klasy, a nie precyzji (precision) ani ogólnej dokładności (accuracy) modelu. [eduexe-source]22:3[/eduexe-source] -
na przykładzie wyjaśnij jak się liczy (wzory) czułość, precyzja i dokładność dla pojedyńczej klasy oraz modelu
-
na przykładzie wyjaśnij jak się liczy (wzory) czułość, precyzja i dokładność dla pojedyńczej klasy oraz modelu
[eduexe-intent]course_content[/eduexe-intent]
W kontekście oceny modelu, kluczowe są pojęcia z macierzy pomyłek:- True Positive (TP): Liczba poprawnie przewidzianych przypadków pozytywnych.
- True Negative (TN): Liczba poprawnie przewidzianych przypadków negatywnych.
- False Positive (FP): Liczba przypadków negatywnych błędnie przewidzianych jako pozytywne.
- False Negative (FN): Liczba przypadków pozytywnych błędnie przewidzianych jako negatywne.
[eduexe-source]21:2[/eduexe-source]
Przykład: Załóżmy, że model rozpoznaje koty (klasa pozytywna) i nie-koty (klasa negatywna) w zbiorze testowym 120 przykładów:
- TP = 40 (40 kotów prawidłowo sklasyfikowanych jako koty)
- FN = 10 (10 kotów błędnie sklasyfikowanych jako nie-koty)
- TN = 60 (60 nie-kotów prawidłowo sklasyfikowanych jako nie-koty)
- FP = 10 (10 nie-kotów błędnie sklasyfikowanych jako koty)
[eduexe-source]29:2[/eduexe-source]
1. Dokładność (Accuracy):
- Definicja: Stosunek wszystkich poprawnie sklasyfikowanych przykładów do wszystkich przykładów w zbiorze testowym. Jest to metryka dla całego modelu. [eduexe-source]22:1[/eduexe-source]
- Wzór: (TP + TN) / (TP + TN + FP + FN) [eduexe-source]22:2[/eduexe-source]
- Obliczenie (dla modelu): (40 + 60) / (40 + 10 + 60 + 10) = 100 / 120 ≈ 83%. [eduexe-source]29:2[/eduexe-source]
- Dla pojedynczej klasy: W Google Teachable Machine "Dokładność wg klas" to w rzeczywistości czułość (recall) dla tej konkretnej klasy. [eduexe-source]22:3[/eduexe-source]
2. Precyzja (Precision):
- Definicja: Stosunek poprawnie sklasyfikowanych przykładów pozytywnych do wszystkich przykładów, które model sklasyfikował jako pozytywne. Mierzy, ile z przewidzianych pozytywnych przypadków było faktycznie pozytywnych. Jest to metryka specyficzna dla klasy pozytywnej. [eduexe-source]23:1[/eduexe-source]
- Wzór: TP / (TP + FP) [eduexe-source]23:2[/eduexe-source]
- Obliczenie (dla klasy "koty"): 40 / (40 + 10) = 40 / 50 = 80%. [eduexe-source]29:2[/eduexe-source]
3. Czułość (Recall):
- Definicja: Stosunek poprawnie sklasyfikowanych przykładów pozytywnych do wszystkich rzeczywistych przykładów pozytywnych. Mierzy, jaki procent wszystkich rzeczywistych przypadków pozytywnych model był w stanie wykryć. Jest to metryka specyficzna dla klasy pozytywnej. [eduexe-source]24:1[/eduexe-source]
- Wzór: TP / (TP + FN) [eduexe-source]24:2[/eduexe-source]
- Obliczenie (dla klasy "koty"): 40 / (40 + 10) = 40 / 50 = 80%. [eduexe-source]29:2[/eduexe-source]
-
Precyzja - sprawdź się! Załóżmy, że mamy model odróżniający psy od kotów. 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 psów błędnie jako koty (przykłady fałszywie negatywne), 20 kotów poprawnie jako koty (przykłady prawdziwie neg
-
Precyzja - sprawdź się! Załóżmy, że mamy model odróżniający psy od kotów. 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 psów błędnie jako koty (przykłady fałszywie negatywne), 20 kotów poprawnie jako koty (przykłady prawdziwie neg
[eduexe-intent]course_content[/eduexe-intent]
W podanym przez Ciebie przykładzie, przyjmując "psy" jako klasę pozytywną, mamy:- Prawdziwie pozytywne (TP - psy poprawnie ocenione jako psy): 15
- Fałszywie pozytywne (FP - koty niesłusznie ocenione jako psy, zgodnie z pełną wersją pytania w kursie): 5
Precyzję obliczamy ze wzoru:
TP / (TP + FP).
Zatem:15 / (15 + 5) = 15 / 20 = 0.75.Precyzja tego modelu wynosi 75%. [eduexe-source]23:5[/eduexe-source]
-
czy masz info ile pytań zadawałem do każdej części w trakcie rozmowy
-
czy masz info ile pytań zadawałem do każdej części w trakcie rozmowy
[eduexe-intent]student_progress[/eduexe-intent]
W trakcie naszej rozmowy zadałeś łącznie 25 pytań, które można podzielić na następujące obszary:- Rozdziały Uczenia Maszynowego i metody: 3 pytania
- Sztuczna Inteligencja (SI) a UM, NLP i Wizja Komputerowa: 6 pytań
- Pewność modelu, nierówna liczebność klas i problemy z danymi: 5 pytań
- Google Teachable Machine (GTM), podział danych i wielkość wsadu: 3 pytania
- Metryki oceny modeli (macierz pomyłek, precyzja, czułość, dokładność, F-score): 6 pytań
- Wiedza o kursie / bota (pytania meta): 2 pytania
-
chodzi o części kursu, ile było do a,b,c,d
-
chodzi o części kursu, ile było do a,b,c,d
[eduexe-intent]course_content[/eduexe-intent]
Zgodnie z analizą naszej dotychczasowej rozmowy, pytania, które zadałeś, rozkładają się następująco w odniesieniu do modułów kursu:- Moduł A: Wprowadzenie do Uczenia Maszynowego - 7 pytań
- Moduł B: Dane w Uczeniu Maszynowym - 3 pytania
- Moduł C: Podstawowe pojęcia Uczenia Maszynowego - 4 pytania
- Moduł D: Metryki - 5 pytań