conversation_by_0ua
-
Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało oceni
-
czym jest ml?
-
czym jest ml?
Odpowiedź na pytanie kursanta jest zawarta w pierwszym fragmencie tekstu, który opisuje Glossary of artificial intelligence - A - Automatyczne uczenie maszynowe (AutoML).
"Automatyczne uczenie maszynowe (AutoML) – dziedzina uczenia maszynowego (ML), której celem jest automatyczna konfiguracja systemu ML w celu maksymalizacji jego wydajności (np. dokładności klasyfikacji)."
-
Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało oceni
-
Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało oceni
Aby odpowiedzieć na pytanie kursanta, musimy obliczyć wartości metryk dla jego modelu.
Dokładność (ang. accuracy) to stosunek wszystkich poprawnych klasyfikacji do wielkości zbioru testowego. W tym przypadku mamy w sumie 25 poprawnych ocen (15 psów poprawnie ocenionych jako psy i 10 kotów poprawnie ocenionych jako koty) na 35 przypadków (15 psów + 20 kotów), zatem dokładność modelu wynosi 25/35, czyli około 71%.
Precyzja (ang. precision) to stosunek liczby przypadków prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków ocenjonych jako pozytywne. Dla naszego modelu to 15 przez (15 + 10), czyli 15/25, czyli 60%.
Czułość (ang. recall) mówi nam, jaki procent wszystkich przypadków pozytywnych (czyli wszystkich psów w zbiorze testowym) został prawidłowo rozpoznany przez model. U nas było to 15 z 25 psów, czyli czułość modelu wynosi 60%.
F-score to metryka będąca kompromisem pomiędzy precyzją a czułością. Oblicza się ją, najpierw obliczając te dwie metryki bazowe, a następnie podstawiając ich wartości do wzoru. F-score naszego modelu wynosi 60%.
-
czym jest precyzja
-
czym jest precyzja
Precyzja (ang. precision) to stosunek liczby przypadków prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków ocenjonych jako pozytywne. W naszym przypadku to 15 przez (15 + 10), czyli 15/25, czyli 60%.
-
czym jest accuracy
-
czym jest accuracy
Dokładność (ang. accuracy) to stosunek wszystkich poprawnych klasyfikacji do wielkości zbioru testowego. Im większa wartość dokładności, tym lepiej - jeżeli model będzie się zawsze mylił, dokładność wyniesie 0, natomiast jeżeli wszystkie testowe przypadki zostaną zaklasyfikowane poprawnie, dokładność wyniesie 1.
-
czym jest czułość
-
czym jest czułość
Czułość (ang. recall) to stosunek liczby przykładów prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków pozytywnych w rzeczywistości. W naszym przypadku to 15 przez 25, czyli 60%. Czułość mówi nam, jaki procent wszystkich przypadków pozytywnych został prawidłowo rozpoznany przez model.
-
czym jest f1
-
czym jest f1
F1 to metryka będąca kompromisem pomiędzy precyzją a czułością. Jest to średnia harmoniczna precyzji i czułości. W naszym przypadku, dla modelu rozróżniającego psy od kotów, F1 wynosi 60%, ponieważ obie metryki bazowe (precyzja i czułość) również wynoszą 60%.