conversation_by_b78

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Dokładność (Accuracy) to podstawowa metryka w Uczeniu Maszynowym, która określa stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im wyższa jej wartość (od 0 do 1), tym lepiej. [eduexe-source]22:1[/eduexe-source]

Przykład: Załóżmy, że model ma odróżniać psy od kotów. W zbiorze testowym poprawnie ocenił 20 psów jako psy i 15 kotów jako koty. Jednocześnie błędnie ocenił 5 psów jako koty i 10 kotów jako psy. Całkowita liczba poprawnych klasyfikacji to 20 + 15 = 35. Łączna liczba przykładów testowych to 20 + 5 + 15 + 10 = 50. Dokładność modelu wynosi więc 35/50 = 0.7, czyli 70%. [eduexe-source]22:5[/eduexe-source]

[student_1137_b78]

wytłumacz na przykładzie czym jest Recall

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Czułość (Recall) to metryka określająca, jaki procent wszystkich rzeczywistych pozytywnych przypadków został poprawnie wykryty przez model. Oblicza się ją jako stosunek prawdziwie pozytywnych przykładów (TP) do sumy prawdziwie pozytywnych i fałszywie negatywnych (FN) przykładów, czyli TP / (TP + FN). [eduexe-source]24:1[/eduexe-source]

Przykład: Model ma odróżniać psy od kotów. Jeśli poprawnie zidentyfikował 15 psów jako psy (TP) i błędnie określił 10 psów jako koty (FN), to czułość wynosi 15 / (15 + 10) = 15 / 25 = 0.6, czyli 60%. [eduexe-source]24:5[/eduexe-source]

[student_1137_b78]

wytłumacz na przykładzie czym jest Precision

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Precyzja (Precision) to metryka określająca stosunek poprawnie sklasyfikowanych pozytywnych przykładów do wszystkich przypadków, które model oznaczył jako pozytywne. Inaczej mówiąc, ile z przewidzianych przez model pozytywnych wyników było faktycznie pozytywnych.

Przykład: Załóżmy, że model ma diagnozować chorobę. Jeśli poprawnie wykrył 27 chorób (prawdziwie pozytywne, TP) i jednocześnie błędnie sklasyfikował 4 zdrowe osoby jako chore (fałszywie pozytywne, FP), to precyzja wynosi 27 / (27 + 4) = 27 / 31 ≈ 0.87, czyli około 87%. [eduexe-source]23:1[/eduexe-source]

[student_1137_b78]

wytłumacz na przykładzie czym jest F-score

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
F-score to uniwersalna metryka, która łączy w sobie precyzję (precision) i czułość (recall), będąc ich średnią harmoniczną. Ma na celu zapewnienie bardziej zrównoważonej oceny modelu niż każda z tych metryk osobno. [eduexe-source]25:1[/eduexe-source][eduexe-source]25:2[/eduexe-source]

Przykład:
Załóżmy, że model diagnozuje chorobę.

• Spośród 25 chorych osób w zbiorze testowym, 20 zostało poprawnie sklasyfikowanych jako chorzy (TP), a 5 błędnie jako zdrowi (FN).
• Spośród 25 zdrowych osób, 15 zostało poprawnie ocenionych jako zdrowe (TN), a 10 błędnie jako chore (FP).

Najpierw obliczamy Precyzję i Czułość:

• Precyzja (Precision) = TP / (TP + FP) = 20 / (20 + 10) = 20 / 30 ≈ 0.67 (67%)
• Czułość (Recall) = TP / (TP + FN) = 20 / (20 + 5) = 20 / 25 = 0.80 (80%)

Następnie obliczamy F-score:
F-score = 2 * (Precision * Recall) / (Precision + Recall) = 2 * (0.67 * 0.80) / (0.67 + 0.80) ≈ 2 * 0.536 / 1.47 ≈ 1.072 / 1.47 ≈ 0.73 (73%)
[eduexe-source]25:5[/eduexe-source]

[student_1137_b78]

porównaj wszystkie te metryki i kiedy jaka jest lepsza

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Każda z metryk ma swoje zastosowanie w zależności od problemu i struktury danych:

• Dokładność (Accuracy): Jest podstawową metryką, uniwersalną, ale może być myląca, gdy klasy są niezbalansowane (np. rzadka choroba). [eduexe-source]22:1[/eduexe-source][eduexe-source]22:6[/eduexe-source]
• Precyzja (Precision): Jest kluczowa, gdy chcemy minimalizować fałszywie pozytywne przypadki (np. nie chcemy leczyć zdrowych osób na chorobę z poważnymi skutkami ubocznymi). [eduexe-source]23:1[/eduexe-source][eduexe-source]26:4[/eduexe-source]
• Czułość (Recall): Jest najważniejsza, gdy zależy nam na wykryciu jak największej liczby rzeczywistych pozytywnych przypadków, minimalizując fałszywie negatywne (np. wczesne wykrywanie groźnej choroby). [eduexe-source]24:1[/eduexe-source][eduexe-source]26:4[/eduexe-source]
• F-score: To uniwersalna metryka, która łączy precyzję i czułość, będąc ich średnią harmoniczną. Jest przydatna, gdy potrzebujemy zbalansowanej oceny modelu. [eduexe-source]25:1[/eduexe-source][eduexe-source]25:2[/eduexe-source]

Wartości metryk (od 0 do 1) są zawsze lepsze, im są wyższe. [eduexe-source]21:1[/eduexe-source]

[student_1137_b78]

co oznaczają wartości tych metryk i czemu są to liczby z takiego przedziału

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Wartości tych metryk (Accuracy, Precision, Recall, F-score) mieszczą się w przedziale od 0 do 1 (lub od 0% do 100%). Wyższe wartości zawsze oznaczają lepszą jakość modelu w danym aspekcie [eduexe-source]21:1[/eduexe-source].

Ten zakres wynika z faktu, że każda z tych metryk jest obliczana jako stosunek liczby poprawnie (lub pożądanie) sklasyfikowanych przypadków do całkowitej liczby przypadków (np. wszystkich przypadków testowych, wszystkich pozytywnych predykcji, wszystkich rzeczywistych pozytywnych przypadków). Oznacza to, że liczba poprawnych klasyfikacji nigdy nie może przekroczyć całkowitej liczby przypadków, stąd wartość maksymalna to 1 (100%). Wartość 0 (0%) oznacza brak jakichkolwiek poprawnych klasyfikacji w danym aspekcie.

[student_1137_b78]

czy w Google Teachable Machine są automwatycznei liczone jakieś metryki (jeśli tak to gdzie) czy trzeba je liczyć ręcznie

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Tak, w Google Teachable Machine (GTM) metryki są liczone automatycznie, choć z pewnymi ograniczeniami. Dokładność (Accuracy) dla poszczególnych klas jest dostępna w zakładce "Dla zaawansowanych", w sekcji "Dokładność wg klas". GTM udostępnia również macierz pomyłek, na podstawie której możesz samodzielnie obliczyć dokładność całego modelu oraz inne metryki, takie jak Precyzja, Czułość czy F-score. [eduexe-source]22:3[/eduexe-source]