conversation_by_96v

[student_96v]

jak zachowa się model gdy damy mu obraz który nie należy do żadnej z klas?

[bot_external]

Zachowanie modelu w takiej sytuacji nie jest dokładnie opisane w dostępnym kontekście. Jednak możemy wywnioskować, że model powinien zachować się w sposób logiczny i niezależnie od tego, czy obraz należy do żadnej z klas, model powinien wydać wynik, który nie jest 100% pewny, ponieważ nie ma danych do oceny.

W przykładzie z "test_1.jpg" model wydał wynik 100% mówiący, że obraz jest psem, ale nie wiemy, jak model zachowałby się, gdyby obraz nie należał do żadnej z klas.

[student_96v]

jaka jest różnica między błędem "nierówna liczebność klas", a "przypadek graniczny między klasami"?

[bot_external]

Różnica między błędem "nierówna liczebność klas" a "przypadek graniczny między klasami" nie jest dokładnie opisana w dostępnym kontekście. Jednak możemy wywnioskować, że błąd "nierówna liczebność klas" dotyczy sytuacji, w której model jest niesprawiedliwy wobec mniejszościowej klasy, np. gdy w zbiorze danych jest tylko jeden przykład z mniejszościowej klasy, a model zawsze przypisuje go do większościowej klasy.

Natomiast "przypadek graniczny między klasami" nie jest opisany w dostępnym kontekście.

[student_96v]

czym jest zbiór uczący i zbiór testowy w skrócie?

[bot_external]

Zbiór uczący (inaczej treningowy, ang. train set) - dane, dla których model zna poprawne odpowiedzi i na których jest trenowany.

Zbiór testowy (ang. test set) - dane, z którymi model nie miał do czynienia w procesie uczenia się i nie zna dla nich poprawnych odpowiedzi, wykorzystywane do przetestowania, jak dobrze model jest wytrenowany.

W skrócie, zbiór uczący to dane, na których model się uczy, a zbiór testowy to dane, które są używane do przetestowania, jak dobrze model jest wytrenowany.

[student_96v]

Załóżmy, że korzystając z Google Teachable Machine, trenujemy model dla pięciu klas. Dla każdej z klas dostarczyliśmy po 500 przykładów. Z ilu łącznie przykładów będzie składał się cały zbiór testowy dla tego modelu?

[bot_external]

Zbiór testowy w Google Teachable Machine jest losowo wybierany z całościowego zbioru danych. Nie ma określonej liczby przykładów, które muszą być włączone do zbioru testowego.

[student_96v]

czym na przykładzie jest przeuczenie?

[bot_external]

Przeuczenie (ang. overfitting) - stan, w którym model za bardzo dopasował się do konkretnego zbioru uczącego (można powiedzieć, że zapamiętał poprawne odpowiedzi) i w efekcie nie radzi sobie z poprawną klasyfikacją w zbiorze testowym.

[student_96v]

czym, na jakimś przykładzie, jest przeuczenie?

[bot_external]

Przeuczenie (ang. overfitting) - stan, w którym model za bardzo dopasował się do konkretnego zbioru uczącego (można powiedzieć, że zapamiętał poprawne odpowiedzi) i w efekcie nie radzi sobie z poprawną klasyfikacją w zbiorze testowym. Przykładem przeuczenia jest uczeń, który rozwiązał tylko niewielką część zadań z repetytorium i stara się - mało skutecznie - generalizować ich rozwiązania na inne zadania.

[student_96v]

kiedy przypadek jest fałszywie negatywny?

[bot_external]

Fałszywie negatywny przypadek to sytuacja, w której model klasyfikuje osobę lub obiekt jako zdrowy lub niechory, podczas gdy w rzeczywistości jest on chory lub ma chorobę.

[student_96v]

czy precyzja jest w konkretnym wierszu a dokładność na podstawie całej tabeli ibliczana?

[bot_external]

Odpowiedź na to pytanie jest zawarta w poprzednich odpowiedziach kursanta. Dokładność (ang. Accuracy) to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Im większa wartość dokładności, tym lepiej. Wracając do naszego poprzedniego przykładu - dokładnością modelu oceniającego na podstawie objawów, czy dany pacjent jest chory na chorobę X, będzie suma przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe, podzielona przez sumę wszystkich przykładów testowych.

Precyzja (ang. Precision) to inna metryka, która jest definiowana jako stosunek prawdziwie pozytywnych wyników do wszystkich wyników pozytywnych. W kontekście tabeli, precyzja jest obliczana w konkretnym wierszu, natomiast dokładność jest obliczana na podstawie całej tabeli.

[student_96v]

porównaj modele precyzji, dokładności, czułości, F-score

[bot_external]

Porównanie modeli precyzji, dokładności, czułości i F-score jest interesującym tematem w kontekście oceny modeli klasyfikacyjnych.

Precyzja (ang. Precision) to stosunek prawdziwie pozytywnych wyników do wszystkich wyników pozytywnych. Jest obliczana w konkretnym wierszu tabeli.

Dokładność (ang. Accuracy) to stosunek poprawnie zaklasyfikowanych przez model przykładów testowych do wszystkich przykładów testowych. Jest obliczana na podstawie całej tabeli.

Czułość (ang. Recall) to stosunek prawdziwie pozytywnych wyników do wszystkich rzeczywiście pozytywnych wyników. Jest również obliczana w konkretnym wierszu tabeli.

F-score to średnia harmoniczna precyzji i czułości. Jest obliczana jako średnia harmoniczna dwóch wartości: precyzji i czułości.

Warto zauważyć, że precyzja i dokładność są obliczane w różny sposób. Dokładność jest obliczana na podstawie całej tabeli, podczas gdy precyzja jest obliczana w konkretnym wierszu. Czułość i F-score są również obliczane w konkretnym wierszu.

Przykładem porównania tych modeli może być tabela poniżej:

	Prawdziwie pozytywne	Prawdziwie negatywne	Suma
Prawdziwie pozytywne	80	20	100
Prawdziwie negatywne	10	90	100
Suma	90	110	200

W tym przykładzie:

• Dokładność (Accuracy) to 90/200 = 0,45
• Precyzja (Precision) to 80/100 = 0,8
• Czułość (Recall) to 80/90 = 0,89
• F-score to średnia harmoniczna precyzji i czułości, czyli (0,8 + 0,89) / 2 = 0,845

Warto zauważyć, że F-score jest średnią harmoniczną precyzji i czułości, co oznacza, że jest bardziej obiektywną miarą modelu niż precyzja lub czułość osobno.

[student_96v]

przypomnij mi wzór na dokładność

[bot_external]

Wzór na dokładność to:

Dokładność = (poprawne klasyfikacje) / (wszystkie klasyfikacje)

lub w inny sposób:

Dokładność = (suma przykładów osób chorych ocenionych jako chore i osób zdrowych ocenionych jako zdrowe) / (suma wszystkich przykładów testowych)

Przykładem może być tabela poniżej:

	Prawdziwie pozytywne	Prawdziwie negatywne	Suma
Prawdziwie pozytywne	80	20	100
Prawdziwie negatywne	10	90	100
Suma	90	110	200

W tym przykładzie dokładność wynosi 90/200 = 0,45.