conversation_by_v9a

[student_1137_v9a]

Czy czułość jest zawsze dobrą metryką?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Nie, czułość (recall) nie zawsze jest dobrą metryką. Podobnie jak dokładność i precyzja, czułość jest "ślepa" na jedną z klas, co oznacza, że może dawać wysoką wartość nawet dla modelu, który jest mało użyteczny, ponieważ nie bierze pod uwagę błędnie zaklasyfikowanych przypadków z drugiej klasy. Przykładem jest model, który zawsze wskazuje, że osoba jest chora, osiągając 100% czułości (bo poprawnie zdiagnozował wszystkich chorych), ale jednocześnie ma niską dokładność (np. 50%), ponieważ błędnie zaklasyfikował wiele zdrowych osób. [eduexe-source]24:4[/eduexe-source]

[student_1137_v9a]

Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Pełne pytanie brzmi: "Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało ocenionych jako koty (przykłady prawdziwie negatywne), a 5 kotów - błędnie jako psy (przykłady fałszywie pozytywne). Ile procent czułości (recall) ma ten model?".

Odpowiedź: 60%. [eduexe-source]24:5[/eduexe-source]

[student_1137_v9a]

Obliczanie F-score

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
F-score oblicza się jako średnią harmoniczną precyzji (precision) i czułości (recall). Aby go obliczyć, najpierw należy wyliczyć precyzję i czułość modelu, a następnie podstawić te wartości do odpowiedniego wzoru. [eduexe-source]25:2[/eduexe-source]

[student_1137_v9a]

a co to f score

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
F-score to metryka będąca próbą stworzenia bardziej uniwersalnej miary oceny modelu, opartej jednocześnie na precyzji (precision) i czułości (recall). Oblicza się ją jako średnią harmoniczną tych dwóch metryk. F-score stanowi kompromis pomiędzy precyzją a czułością, oceniając model bardziej obiektywnie niż każda z nich z osobna. [eduexe-source]25:1[/eduexe-source][eduexe-source]25:2[/eduexe-source][eduexe-source]25:3[/eduexe-source]

[student_1137_v9a]

Załóżmy, że mamy model, który ma diagnozować pewną chorobę. Spośród 25 chorych w zbiorze testowym 20 osób zostało poprawnie sklasyfikowanych przez model jako chorzy (przykłady prawdziwie pozytywne), a pozostałych 5 osób - błędnie jako zdrowi (przykłady fał

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Bazując na podanych danych:

• Prawdziwie pozytywne (TP): 20
• Fałszywie negatywne (FN): 5
• Prawdziwie negatywne (TN): 15
• Fałszywie pozytywne (FP): 10

Obliczamy:

• Precyzja (precision): TP / (TP + FP) = 20 / (20 + 10) = 20 / 30 ≈ 67%
• Czułość (recall): TP / (TP + FN) = 20 / (20 + 5) = 20 / 25 = 80%
• F-score: 2 * (Precision * Recall) / (Precision + Recall) = 2 * (0.6667 * 0.8) / (0.6667 + 0.8) ≈ 73%

[eduexe-source]25:5[/eduexe-source]

[student_1137_v9a]

Kiedy korzystać z poszczególnych metryk?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Wybór metryki zależy od zbioru danych i głównego celu modelu:

• Dokładność (accuracy) jest uniwersalna, ale może być myląca przy nierównej liczebności klas.
• Precyzja (precision) jest kluczowa, gdy chcesz ograniczyć fałszywie pozytywne przypadki (np. nie stawiać błędnej diagnozy zdrowym).
• Czułość (recall) jest najważniejsza, gdy zależy Ci na wykryciu jak największej liczby prawdziwie pozytywnych przypadków (np. wczesne wykrywanie choroby).
• F-score to kompromis między precyzją a czułością, użyteczny, gdy potrzebujesz zbalansowanej oceny.
  [eduexe-source]26:4[/eduexe-source]

[student_1137_v9a]

recall co to

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Czułość (ang. recall) to metryka, którą oblicza się na podstawie macierzy pomyłek. Definiuje się ją jako stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. Mówi nam, jaki procent wszystkich pozytywnych przypadków wykrywa model. [eduexe-source]24:1[/eduexe-source]

[student_1137_v9a]

po co sa te metryki

[bot_eduexe]

[eduexe-intent]student_progress[/eduexe-intent]
Metryki w Uczeniu Maszynowym służą do oceny jakości wytrenowanych modeli. Pozwalają one na porównywanie różnych modeli ze sobą, gdzie wyższa wartość metryki zazwyczaj oznacza lepszą ocenę modelu. [eduexe-source]21:1[/eduexe-source]

[student_1137_v9a]

a po co te wszytskie recall accurcy

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Metryki w Uczeniu Maszynowym, takie jak dokładność (accuracy) i czułość (recall), służą do oceny jakości wytrenowanych modeli oraz do ich porównywania. [eduexe-source]21:1[/eduexe-source]

Różne metryki są potrzebne, ponieważ każda z nich mierzy inny aspekt działania modelu i ma swoje wady oraz zalety w zależności od problemu, który model ma rozwiązać:

• Dokładność (accuracy) jest podstawową i uniwersalną miarą, ale może być myląca, gdy klasy w zbiorze danych mają bardzo różną liczebność. [eduexe-source]26:4[/eduexe-source]
• Czułość (recall) jest kluczowa, gdy zależy nam na wykryciu jak największej liczby prawdziwie pozytywnych przypadków, np. w diagnostyce chorób. [eduexe-source]26:4[/eduexe-source]

Wybór odpowiedniej metryki zależy więc od tego, co jest najważniejsze w danym zastosowaniu modelu.

[student_1137_v9a]

jak poruwnuja sie modele

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Modele porównuje się za pomocą obliczonych wartości metryk, takich jak dokładność (accuracy), precyzja (precision), czułość (recall) i F-score. Aby porównanie było miarodajne, oba modele powinny być uczone na tych samych danych. Im wyższa wartość metryki, tym lepiej świadczy to o modelu. [eduexe-source]26:1[/eduexe-source]