conversation_by_7u2

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Macierz pomyłek (ang. confusion matrix), nazywana też tablicą pomyłek, to macierz przygotowywana dla zbioru testowego. Pozwala odczytać, ile przykładów testowych z poszczególnych klas zostało sklasyfikowanych przez model poprawnie, a ile błędnie. Jest kluczowa dla oceny i porównywania modeli oraz podstawą do obliczania metryk. [eduexe-source]20:1[/eduexe-source]

[student_1137_7u2]

Czym są metryki i do czego ich używamy?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Metryki w kontekście Uczenia Maszynowego to miary oceny wytrenowanych modeli. Używamy ich do porównywania modeli między sobą; im wyższa wartość metryki, tym wyższa ocena modelu. Podstawą do ich obliczania jest macierz pomyłek. [eduexe-source]21:1[/eduexe-source][eduexe-source]21:2[/eduexe-source]

[student_1137_7u2]

Czym jest dokładność modelu UM?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Dokładność (ang. Accuracy) to podstawowa i najczęściej wykorzystywana metryka służąca do oceny jakości modelu w Uczeniu Maszynowym. Jest to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im większa wartość dokładności, tym lepiej – dokładność wyniesie 0, jeśli model będzie się zawsze mylił, a 1, jeśli wszystkie przypadki testowe zostaną zaklasyfikowane poprawnie. [eduexe-source]22:1[/eduexe-source]

[student_1137_7u2]

Załóżmy, że mamy model, którego celem jest odróżnianie psów od kotów. Dla zbioru testowego, model ocenił 20 psów jako psy, 5 psów jako koty, 15 kotów jako koty i 10 kotów jako psy. Ile procent wynosi dokładność tego modelu?

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Dokładność tego modelu wynosi 70%.

Oblicza się ją, sumując poprawnie zaklasyfikowane psy (20) i koty (15), co daje 35 poprawnych klasyfikacji. Następnie dzieli się tę sumę przez całkowitą liczbę przykładów testowych (20 psów + 5 psów + 15 kotów + 10 kotów = 50).

(35 / 50) * 100% = 70%. [eduexe-source]22:1[/eduexe-source]

[student_1137_7u2]

Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. Prawda Fałsz

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Prawda. Aby dokładność (accuracy) dobrze opisywała model, liczebność poszczególnych klas powinna być podobna. W przypadku dużej rozbieżności między liczebnością klas, dokładność może być wysoka, mimo że model jest praktycznie bezużyteczny, ponieważ ignoruje klasę mniej liczną. [eduexe-source]22:6[/eduexe-source]

[student_1137_7u2]

Precyzja to

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Precyzja (ang. precision) to metryka oceny jakości modelu Uczenia Maszynowego. Definiuje się ją jako stosunek poprawnie sklasyfikowanych diagnoz pozytywnych do liczby wszystkich przypadków testowych sklasyfikowanych przez model jako pozytywne. [eduexe-source]23:1[/eduexe-source]

[student_1137_7u2]

czułość to

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Czułość (ang. recall) to metryka obliczana na podstawie macierzy pomyłek. Definiuje się ją jako stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. Mówi nam, jaki procent wszystkich pozytywnych przypadków wykrywa model. [eduexe-source]24:1[/eduexe-source]

[student_1137_7u2]

F-score to

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
F-score to metryka, która stanowi próbę stworzenia bardziej uniwersalnej miary oceny modelu, opartej jednocześnie na Precyzji (precision) i Czułości (recall). Oblicza się ją jako średnią harmoniczną tych dwóch metryk. [eduexe-source]25:1[/eduexe-source][eduexe-source]25:2[/eduexe-source]