conversation_by_v9a

student_1137_v9a

Warunki stosowania dokładności jako metryki - sprawdź się! Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. Prawda Fałsz

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Prawda. Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. W przeciwnym razie, zwłaszcza przy dużej rozbieżności w liczebności klas, dokładność może być myląca i dawać wysokie wartości, nawet jeśli model jest praktycznie bezużyteczny. [eduexe-source]22:7[/eduexe-source][eduexe-source]22:6[/eduexe-source]

student_1137_v9a

co to precyzja

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Precyzja (ang. precision) to metryka, która opisuje jakość modelu Uczenia Maszynowego. Definiuje się ją jako stosunek poprawnie sklasyfikowanych diagnoz pozytywnych do liczby wszystkich przypadków testowych sklasyfikowanych przez model jako pozytywne. Mówiąc prościej, precyzja porównuje liczbę poprawnych wskazań pozytywnych modelu do wszystkich pozytywnych wskazań modelu. [eduexe-source]23:1[/eduexe-source]

student_1137_v9a

Precyzja (precision) jest zawsze lepszą metryką niż dokładność (accuracy). Prawda Fałsz

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Fałsz. [eduexe-source]23:6[/eduexe-source]

student_1137_v9a

co to jest czulosc

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Czułość (ang. recall) to metryka, którą oblicza się na podstawie macierzy pomyłek. Definiuje się ją jako stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. Mówi nam, jaki procent wszystkich pozytywnych przypadków wykrywa model. [eduexe-source]24:1[/eduexe-source]

student_1137_v9a

Czy czułość jest zawsze dobrą metryką?

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Nie, czułość (recall) nie zawsze jest dobrą metryką. Podobnie jak dokładność i precyzja, czułość jest "ślepa" na jedną z klas, co oznacza, że może dawać wysoką wartość nawet dla modelu, który jest mało użyteczny, ponieważ nie bierze pod uwagę błędnie zaklasyfikowanych przypadków z drugiej klasy. Przykładem jest model, który zawsze wskazuje, że osoba jest chora, osiągając 100% czułości (bo poprawnie zdiagnozował wszystkich chorych), ale jednocześnie ma niską dokładność (np. 50%), ponieważ błędnie zaklasyfikował wiele zdrowych osób. [eduexe-source]24:4[/eduexe-source]

student_1137_v9a

Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Pełne pytanie brzmi: "Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało ocenionych jako koty (przykłady prawdziwie negatywne), a 5 kotów - błędnie jako psy (przykłady fałszywie pozytywne). Ile procent czułości (recall) ma ten model?".

Odpowiedź: 60%. [eduexe-source]24:5[/eduexe-source]

student_1137_v9a

Obliczanie F-score

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
F-score oblicza się jako średnią harmoniczną precyzji (precision) i czułości (recall). Aby go obliczyć, najpierw należy wyliczyć precyzję i czułość modelu, a następnie podstawić te wartości do odpowiedniego wzoru. [eduexe-source]25:2[/eduexe-source]

student_1137_v9a

a co to f score

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
F-score to metryka będąca próbą stworzenia bardziej uniwersalnej miary oceny modelu, opartej jednocześnie na precyzji (precision) i czułości (recall). Oblicza się ją jako średnią harmoniczną tych dwóch metryk. F-score stanowi kompromis pomiędzy precyzją a czułością, oceniając model bardziej obiektywnie niż każda z nich z osobna. [eduexe-source]25:1[/eduexe-source][eduexe-source]25:2[/eduexe-source][eduexe-source]25:3[/eduexe-source]

student_1137_v9a

Załóżmy, że mamy model, który ma diagnozować pewną chorobę. Spośród 25 chorych w zbiorze testowym 20 osób zostało poprawnie sklasyfikowanych przez model jako chorzy (przykłady prawdziwie pozytywne), a pozostałych 5 osób - błędnie jako zdrowi (przykłady fał

bot_eduexe

[eduexe-intent]other[/eduexe-intent]
Bazując na podanych danych:

Prawdziwie pozytywne (TP): 20
Fałszywie negatywne (FN): 5
Prawdziwie negatywne (TN): 15
Fałszywie pozytywne (FP): 10

Obliczamy:

Precyzja (precision): TP / (TP + FP) = 20 / (20 + 10) = 20 / 30 ≈ 67%
Czułość (recall): TP / (TP + FN) = 20 / (20 + 5) = 20 / 25 = 80%
F-score: 2 * (Precision * Recall) / (Precision + Recall) = 2 * (0.6667 * 0.8) / (0.6667 + 0.8) ≈ 73%

[eduexe-source]25:5[/eduexe-source]

student_1137_v9a

Kiedy korzystać z poszczególnych metryk?

bot_eduexe

[eduexe-intent]course_content[/eduexe-intent]
Wybór metryki zależy od zbioru danych i głównego celu modelu:

Dokładność (accuracy) jest uniwersalna, ale może być myląca przy nierównej liczebności klas.
Precyzja (precision) jest kluczowa, gdy chcesz ograniczyć fałszywie pozytywne przypadki (np. nie stawiać błędnej diagnozy zdrowym).
Czułość (recall) jest najważniejsza, gdy zależy Ci na wykryciu jak największej liczby prawdziwie pozytywnych przypadków (np. wczesne wykrywanie choroby).
F-score to kompromis między precyzją a czułością, użyteczny, gdy potrzebujesz zbalansowanej oceny.
[eduexe-source]26:4[/eduexe-source]

Eduexe Forum

conversation_by_v9a