conversation_by_96v
-
Załóżmy, że korzystając z Google Teachable Machine, trenujemy model dla pięciu klas. Dla każdej z klas dostarczyliśmy po 500 przykładów. Z ilu łącznie przykładów będzie składał się cały zbiór testowy dla tego modelu?
Zbiór testowy w Google Teachable Machine jest losowo wybierany z całościowego zbioru danych. Nie ma określonej liczby przykładów, które muszą być włączone do zbioru testowego.
-
czym na przykładzie jest przeuczenie?
-
czym na przykładzie jest przeuczenie?
Przeuczenie (ang. overfitting) - stan, w którym model za bardzo dopasował się do konkretnego zbioru uczącego (można powiedzieć, że zapamiętał poprawne odpowiedzi) i w efekcie nie radzi sobie z poprawną klasyfikacją w zbiorze testowym.
-
czym, na jakimś przykładzie, jest przeuczenie?
-
czym, na jakimś przykładzie, jest przeuczenie?
Przeuczenie (ang. overfitting) - stan, w którym model za bardzo dopasował się do konkretnego zbioru uczącego (można powiedzieć, że zapamiętał poprawne odpowiedzi) i w efekcie nie radzi sobie z poprawną klasyfikacją w zbiorze testowym. Przykładem przeuczenia jest uczeń, który rozwiązał tylko niewielką część zadań z repetytorium i stara się - mało skutecznie - generalizować ich rozwiązania na inne zadania.
-
kiedy przypadek jest fałszywie negatywny?
-
kiedy przypadek jest fałszywie negatywny?
Fałszywie negatywny przypadek to sytuacja, w której model klasyfikuje osobę lub obiekt jako zdrowy lub niechory, podczas gdy w rzeczywistości jest on chory lub ma chorobę.
-
czy precyzja jest w konkretnym wierszu a dokładność na podstawie całej tabeli ibliczana?
-
czy precyzja jest w konkretnym wierszu a dokładność na podstawie całej tabeli ibliczana?
Odpowiedź na to pytanie jest zawarta w poprzednich odpowiedziach kursanta. Dokładność (ang. Accuracy) to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im większa wartość dokładności, tym lepiej. Wracając do naszego poprzedniego przykładu - dokładnością modelu oceniającego na podstawie objawów, czy dany pacjent jest chory na chorobę X, będzie suma przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe, podzielona przez sumę wszystkich przykładów testowych.
Precyzja (ang. Precision) to inna metryka, która jest definiowana jako stosunek prawdziwie pozytywnych wyników do wszystkich wyników pozytywnych. W kontekście tabeli, precyzja jest obliczana w konkretnym wierszu, natomiast dokładność jest obliczana na podstawie całej tabeli.
-
porównaj modele precyzji, dokładności, czułości, F-score
-
porównaj modele precyzji, dokładności, czułości, F-score
Porównanie modeli precyzji, dokładności, czułości i F-score jest interesującym tematem w kontekście oceny modeli klasyfikacyjnych.
Precyzja (ang. Precision) to stosunek prawdziwie pozytywnych wyników do wszystkich wyników pozytywnych. Jest obliczana w konkretnym wierszu tabeli.
Dokładność (ang. Accuracy) to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Jest obliczana na podstawie całej tabeli.
Czułość (ang. Recall) to stosunek prawdziwie pozytywnych wyników do wszystkich rzeczywiście pozytywnych wyników. Jest również obliczana w konkretnym wierszu tabeli.
F-score to średnia harmoniczna precyzji i czułości. Jest obliczana jako średnia harmoniczna dwóch wartości: precyzji i czułości.
Warto zauważyć, że precyzja i dokładność są obliczane w różny sposób. Dokładność jest obliczana na podstawie całej tabeli, podczas gdy precyzja jest obliczana w konkretnym wierszu. Czułość i F-score są również obliczane w konkretnym wierszu.
Przykładem porównania tych modeli może być tabela poniżej:
Prawdziwie pozytywne Prawdziwie negatywne Suma Prawdziwie pozytywne 80 20 100 Prawdziwie negatywne 10 90 100 Suma 90 110 200 W tym przykładzie:
- Dokładność (Accuracy) to 90/200 = 0,45
- Precyzja (Precision) to 80/100 = 0,8
- Czułość (Recall) to 80/90 = 0,89
- F-score to średnia harmoniczna precyzji i czułości, czyli (0,8 + 0,89) / 2 = 0,845
Warto zauważyć, że F-score jest średnią harmoniczną precyzji i czułości, co oznacza, że jest bardziej obiektywną miarą modelu niż precyzja lub czułość osobno.
-
przypomnij mi wzór na dokładność
-
przypomnij mi wzór na dokładność
Wzór na dokładność to:
Dokładność = (poprawne klasyfikacje) / (wszystkie klasyfikacje)
lub w inny sposób:
Dokładność = (suma przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe) / (suma wszystkich przykładów testowych)
Przykładem może być tabela poniżej:
Prawdziwie pozytywne Prawdziwie negatywne Suma Prawdziwie pozytywne 80 20 100 Prawdziwie negatywne 10 90 100 Suma 90 110 200 W tym przykładzie dokładność wynosi 90/200 = 0,45.