conversation_by_v9a

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Podstawą do obliczania metryk jest macierz pomyłek (nazywana również tablicą pomyłek), która pokazuje, ile przykładów ze zbioru testowego zostało sklasyfikowanych przez model poprawnie, a ile błędnie. [eduexe-source]21:2[/eduexe-source]

[student_1137_v9a]

jak policzyc dokladnosc

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Dokładność (Accuracy) oblicza się jako stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im większa wartość dokładności, tym lepiej świadczy to o modelu. [eduexe-source]22:1[/eduexe-source]

[student_1137_v9a]

podaj wzor

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Dokładność (Accuracy) oblicza się według wzoru:

Dokładność = (TP + TN) / (TP + TN + FP + FN)

Gdzie:

• TP (True Positive) to przypadki prawdziwie pozytywne (poprawnie zaklasyfikowane jako pozytywne).
• TN (True Negative) to przypadki prawdziwie negatywne (poprawnie zaklasyfikowane jako negatywne).
• FP (False Positive) to przypadki fałszywie pozytywne (błędnie zaklasyfikowane jako pozytywne).
• FN (False Negative) to przypadki fałszywie negatywne (błędnie zaklasyfikowane jako negatywne).

[eduexe-source]22:1[/eduexe-source][eduexe-source]21:2[/eduexe-source]

[student_1137_v9a]

Warunki stosowania dokładności jako metryki - sprawdź się! Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. Prawda Fałsz

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Prawda. Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. W przeciwnym razie, zwłaszcza przy dużej rozbieżności w liczebności klas, dokładność może być myląca i dawać wysokie wartości, nawet jeśli model jest praktycznie bezużyteczny. [eduexe-source]22:7[/eduexe-source][eduexe-source]22:6[/eduexe-source]

[student_1137_v9a]

co to precyzja

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Precyzja (ang. precision) to metryka, która opisuje jakość modelu Uczenia Maszynowego. Definiuje się ją jako stosunek poprawnie sklasyfikowanych diagnoz pozytywnych do liczby wszystkich przypadków testowych sklasyfikowanych przez model jako pozytywne. Mówiąc prościej, precyzja porównuje liczbę poprawnych wskazań pozytywnych modelu do wszystkich pozytywnych wskazań modelu. [eduexe-source]23:1[/eduexe-source]

[student_1137_v9a]

Precyzja (precision) jest zawsze lepszą metryką niż dokładność (accuracy). Prawda Fałsz

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Fałsz. [eduexe-source]23:6[/eduexe-source]

[student_1137_v9a]

co to jest czulosc

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Czułość (ang. recall) to metryka, którą oblicza się na podstawie macierzy pomyłek. Definiuje się ją jako stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. Mówi nam, jaki procent wszystkich pozytywnych przypadków wykrywa model. [eduexe-source]24:1[/eduexe-source]

[student_1137_v9a]

Czy czułość jest zawsze dobrą metryką?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Nie, czułość (recall) nie zawsze jest dobrą metryką. Podobnie jak dokładność i precyzja, czułość jest "ślepa" na jedną z klas, co oznacza, że może dawać wysoką wartość nawet dla modelu, który jest mało użyteczny, ponieważ nie bierze pod uwagę błędnie zaklasyfikowanych przypadków z drugiej klasy. Przykładem jest model, który zawsze wskazuje, że osoba jest chora, osiągając 100% czułości (bo poprawnie zdiagnozował wszystkich chorych), ale jednocześnie ma niską dokładność (np. 50%), ponieważ błędnie zaklasyfikował wiele zdrowych osób. [eduexe-source]24:4[/eduexe-source]

[student_1137_v9a]

Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Pełne pytanie brzmi: "Czułość - sprawdź się! Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało ocenionych jako koty (przykłady prawdziwie negatywne), a 5 kotów - błędnie jako psy (przykłady fałszywie pozytywne). Ile procent czułości (recall) ma ten model?".

Odpowiedź: 60%. [eduexe-source]24:5[/eduexe-source]

[student_1137_v9a]

Obliczanie F-score

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
F-score oblicza się jako średnią harmoniczną precyzji (precision) i czułości (recall). Aby go obliczyć, najpierw należy wyliczyć precyzję i czułość modelu, a następnie podstawić te wartości do odpowiedniego wzoru. [eduexe-source]25:2[/eduexe-source]

[student_1137_v9a]

a co to f score