conversation_by_xle
-
-
Czym są metryki i do czego ich używamy?
-
Czym są metryki i do czego ich używamy?
Metryki to miary jakości modelu Uczenia Maszynowego, które umożliwiają porównywanie modeli między sobą. Są one obliczane na podstawie macierzy pomyłek, która informuje o liczbie przykładów ze zbioru testowego, które zostały zaklasyfikowane przez model prawidłowo do właściwej klasy, a ile nie.
Metryki są używane do oceny jakości modelu i pomagają w podejmowaniu decyzji o jego poprawności. W zależności od celu modelu, różne metryki są bardziej istotne. Na przykład, jeśli głównym celem modelu jest ograniczenie liczby przypadków fałszywie pozytywnych, to precyzja (precision) jest najważniejszą metryką. Jeśli natomiast chcemy wykryć jak najwięcej przykładów z jednej klasy, to czułość (recall) jest najważniejsza.
Warto zwrócić uwagę, że ten sam model może mieć skrajnie różne wartości różnych metryk, nawet 99% dokładności i 0% czułości. Dlatego ważne jest, aby zwracać uwagę na różne metryki w zależności od celu modelu i danych.
-
Czym jest dokładność modelu UM?
-
Czym jest dokładność modelu UM?
Dokładność modelu Uczenia Maszynowego (UM) to podstawowa i najczęściej wykorzystywana metryka służąca do oceny jakości modelu. Jest to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im większa wartość dokładności, tym lepiej - jeżeli model będzie się zawsze mylił, dokładność wyniesie 0, natomiast jeżeli wszystkie testowe przypadki zostaną zaklasyfikowane poprawnie, dokładność wyniesie 1.
Przykładem może być model, który diagnozuje choroby. Dokładność modelu w tym przypadku będzie wynosiła sumę przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe, podzieloną przez sumę wszystkich przykładów testowych.
-
Załóżmy, że mamy model odróżniający psy od kotów. 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 psów błędnie jako koty (przykłady fałszywie negatywne), 20 kotów poprawnie jako koty (przykłady prawdziwie negatywne), a 5 kotów niesłu
-
Załóżmy, że mamy model odróżniający psy od kotów. 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 psów błędnie jako koty (przykłady fałszywie negatywne), 20 kotów poprawnie jako koty (przykłady prawdziwie negatywne), a 5 kotów niesłu
Dokładność modelu odróżniającego psy od kotów można obliczyć, biorąc pod uwagę wszystkie poprawnie zaklasyfikowane przykłady testowe. W tym przypadku mamy:
- 15 psów poprawnie ocenionych jako psy (przykłady prawdziwie pozytywne)
- 20 kotów poprawnie ocenionych jako koty (przykłady prawdziwie negatywne)
W sumie mamy 15 + 20 = 35 poprawnie zaklasyfikowanych przykładów testowych.
Wszystkie przykłady testowe to suma psów i kotów, czyli 15 + 10 + 20 + 5 = 50.
Dokładność modelu wynosi więc 35/50 = 0,7 lub 70%.
Warto zauważyć, że dokładność modelu jest ograniczona przez błędy w klasyfikacji psów i kotów. Model błędnie zaklasyfikował 10 psów jako koty, co wpłynęło na obniżenie dokładności.
-
ile wynosi precyzja?
-
ile wynosi precyzja?
Aby obliczyć precyzję, musimy wiedzieć, ile przykładów zostało zaklasyfikowanych przez model jako psy, a także ile z nich było poprawnie zaklasyfikowanych.
Z Twoich danych wiemy, że 15 psów zostało poprawnie ocenionych jako psy (przykłady prawdziwie pozytywne) i 10 psów zostało błędnie zaklasyfikowanych jako koty (przykłady fałszywie negatywne).
Aby obliczyć precyzję, bierzemy liczbę poprawnie zaklasyfikowanych psów (15) i dzielimy ją przez liczbę wszystkich psów, którzy zostali zaklasyfikowani przez model jako psy (15 + 10 = 25).
Precyzja wynosi więc 15/25 = 0,6 lub 60%.
Warto zauważyć, że precyzja modelu jest ograniczona przez błędy w klasyfikacji psów. Model błędnie zaklasyfikował 10 psów jako koty, co wpłynęło na obniżenie precyzji.