conversation_by_0ua

[bot_external]

Odpowiedź na pytanie kursanta jest zawarta w pierwszym fragmencie tekstu, który opisuje Glossary of artificial intelligence - A - Automatyczne uczenie maszynowe (AutoML).

"Automatyczne uczenie maszynowe (AutoML) – dziedzina uczenia maszynowego (ML), której celem jest automatyczna konfiguracja systemu ML w celu maksymalizacji jego wydajności (np. dokładności klasyfikacji)."

[student_0ua]

Załóżmy, że mamy model, który ma rozróżniać psy od kotów. W zbiorze testowym, 15 psów poprawnie ocenił jako psy (przykłady prawdziwie pozytywne), 10 kolejnych psów błędnie określił jako koty (przykłady fałszywie negatywne). 20 kotów poprawnie zostało oceni

[bot_external]

Aby odpowiedzieć na pytanie kursanta, musimy obliczyć wartości metryk dla jego modelu.

Dokładność (ang. accuracy) to stosunek wszystkich poprawnych klasyfikacji do wielkości zbioru testowego. W tym przypadku mamy w sumie 25 poprawnych ocen (15 psów poprawnie ocenionych jako psy i 10 kotów poprawnie ocenionych jako koty) na 35 przypadków (15 psów + 20 kotów), zatem dokładność modelu wynosi 25/35, czyli około 71%.

Precyzja (ang. precision) to stosunek liczby przypadków prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków ocenjonych jako pozytywne. Dla naszego modelu to 15 przez (15 + 10), czyli 15/25, czyli 60%.

Czułość (ang. recall) mówi nam, jaki procent wszystkich przypadków pozytywnych (czyli wszystkich psów w zbiorze testowym) został prawidłowo rozpoznany przez model. U nas było to 15 z 25 psów, czyli czułość modelu wynosi 60%.

F-score to metryka będąca kompromisem pomiędzy precyzją a czułością. Oblicza się ją, najpierw obliczając te dwie metryki bazowe, a następnie podstawiając ich wartości do wzoru. F-score naszego modelu wynosi 60%.

[student_0ua]

czym jest precyzja

[bot_external]

Precyzja (ang. precision) to stosunek liczby przypadków prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków ocenjonych jako pozytywne. W naszym przypadku to 15 przez (15 + 10), czyli 15/25, czyli 60%.

[student_0ua]

czym jest accuracy

[bot_external]

Dokładność (ang. accuracy) to stosunek wszystkich poprawnych klasyfikacji do wielkości zbioru testowego. Im większa wartość dokładności, tym lepiej - jeżeli model będzie się zawsze mylił, dokładność wyniesie 0, natomiast jeżeli wszystkie testowe przypadki zostaną zaklasyfikowane poprawnie, dokładność wyniesie 1.

[student_0ua]

czym jest czułość

[bot_external]

Czułość (ang. recall) to stosunek liczby przykładów prawdziwie pozytywnych (czyli psów poprawnie ocenionych jako psy) do liczby wszystkich przypadków pozytywnych w rzeczywistości. W naszym przypadku to 15 przez 25, czyli 60%. Czułość mówi nam, jaki procent wszystkich przypadków pozytywnych został prawidłowo rozpoznany przez model.

[student_0ua]

czym jest f1

[bot_external]

F1 to metryka będąca kompromisem pomiędzy precyzją a czułością. Jest to średnia harmoniczna precyzji i czułości. W naszym przypadku, dla modelu rozróżniającego psy od kotów, F1 wynosi 60%, ponieważ obie metryki bazowe (precyzja i czułość) również wynoszą 60%.