conversation_by_gj4

[student_gj4]

Jak możemy naprawić model, żeby lepiej klasyfikował przypadki graniczne?

[bot_external]

Aby naprawić model, aby lepiej klasyfikował przypadki graniczne, możemy wykonać następujące kroki:

1. Dodać klasę "4" i załadować tam zawartość katalogu "4" z Materiałów.
2. Uzupełnić klasę "3", ładując do niej zawartość katalogu "3" z Materiałów.
3. Wcisnąć przycisk "Trenuj model" i poczekać na zakończenie procesu.
4. Ponownie załadować pliki "test_B2.jpg" i "test_B3.jpg" (możliwe, że trzeba będzie przełączyć źródło danych wejściowych na "Webcam" i ponownie na "Plik") - zobaczyć, jak teraz zostaną zaklasyfikowane obrazki.

Alternatywnie, jeśli sami nie dysponujemy prawidłową odpowiedzią w przypadkach granicznych, możemy stworzyć klasę pośrednią, w tym wypadku np. "Nieokreślone", i umieścić w niej wszystkie trudne przypadki.

[student_gj4]

Jaki przykład z prawdziwego życia dobrze odzwierciedla zbiory treningowe i testowe?

[bot_external]

Przykładem z prawdziwego życia, który dobrze odzwierciedla zbiory treningowe i testowe, jest ocena zdrowia osoby. Zbiór treningowy może składać się z danych osób, które zostały już zdiagnozowane z chorobą X, a zbiór testowy może składać się z danych osób, które nie zostały jeszcze zdiagnozowane z chorobą X.

W tym przykładzie, zbiór treningowy jest używany do trenowania modelu, który będzie w stanie rozpoznać chorobę X na podstawie danych osób, które zostały już zdiagnozowane. Zbiór testowy jest używany do przetestowania modelu, aby sprawdzić, jak dobrze on radzi sobie z rozpoznawaniem choroby X w przypadkach, w których nie ma jeszcze diagnozy.

To odzwierciedla proces uczenia maszynowego, w którym model jest trenowany na danych treningowych i następnie testowany na danych testowych, aby sprawdzić jego skuteczność.

[student_gj4]

Po czym poznać, że model jest przeuczony?

[bot_external]

Model jest przeuczony, gdy jest zbyt skomplikowany, by poradzić sobie skutecznie z danymi ze zbioru uczącego. W tym przypadku model jest przeuczony, gdy jest zbyt skomplikowany, by rozpoznać wszystkie klasy, które zostały zdefiniowane. Przykładem tego jest sytuacja, w której model nie jest w stanie rozpoznać cyfry 3, 4, 6, 8 i 9, ponieważ dostarczono zbyt mało przykładów tych cyfr lub tylko jeden przykład.

[student_gj4]

W jakich sytuacjach dokładność nie jest dobrą metryką?

[bot_external]

Dokładność (accuracy) nie jest dobrą metryką w sytuacjach, w których model jest zbyt skomplikowany, by poradzić sobie skutecznie z danymi ze zbioru uczącego. Przykładem tego jest sytuacja, w której model nie jest w stanie rozpoznać wszystkich klas, które zostały zdefiniowane.

Jednak, w opisanym w tekście przypadku, dokładność nie jest dobrą metryką również wtedy, gdy model zawsze wskazuje, że osoba jest chora, nawet jeśli jest zdrowa. W takim przypadku model jest mało użyteczny, ale jego dokładność wynosi 100%, ponieważ poprawnie zdiagnozował wszystkie osoby, które rzeczywiście były chore.

[student_gj4]

Czym jest przykład "false positive"

[bot_external]

Przykładem "false positive" jest sytuacja, w której model klasyfikacji zaklasyfikuje przykład jako pozytywny, ale w rzeczywistości jest to negatywny. Inaczej mówiąc, model zdiagnozuje osobę jako chore, ale w rzeczywistości jest zdrowa.

Przykładem tego jest sytuacja, w której model klasyfikacji błędnie zaklasyfikuje 10 nie-kotów jako koty, co oznacza, że są one przykładami "false positive".

[student_gj4]

Czym się różni precyzja od dokładności?

[bot_external]

Precyzja i dokładność to dwa pojęcia, które często są mylone, ale mają różne znaczenia w kontekście modelowania i oceny dokładności.

Precyzja odnosi się do miary błędów losowych, czyli zmienności statystycznej. Oznacza to, że precyzja mierzy, jak blisko są pomiary względem siebie. Im wyższa precyzja, tym mniejsze są błędy losowe.

Dokładność, z drugiej strony, odnosi się do miary błędów systematycznych, czyli obciążenia statystycznego danej miary tendencji centralnej, takiej jak średnia. Dokładność mierzy, jak blisko dany zbiór pomiarów jest od prawdziwej wartości. Im wyższa dokładność, tym mniejsze są błędy systematyczne.

Przykładem, który ilustruje różnicę między precyzją a dokładnością, jest sytuacja, w której model klasyfikacji zawsze wskazuje, że osoba jest chora, nawet jeśli jest zdrowa. W takim przypadku model ma 100% dokładność, ponieważ poprawnie zdiagnozował wszystkie osoby, które rzeczywiście były chore, ale jego precyzja jest niska, ponieważ błędnie zaklasyfikował wszystkie osoby zdrowe jako chore.

[student_gj4]

Czy F-score jest uniwersalną metryką?

[bot_external]

F-score nie jest uniwersalną metryką. Jak wskazano w tekście, F-score bierze pod uwagę tylko 3 z 4 ćwiartek macierzy pomyłek, ignorując przykłady true negative (TN) - prawdziwie negatywne. To oznacza, że F-score nie uwzględnia wyników prawdziwie negatywnych, co może prowadzić do nieprawidłowych ocen modeli w niektórych sytuacjach.

Przykładem tego jest sytuacja, w której model klasyfikacji zawsze wskazuje, że osoba jest chora, nawet jeśli jest zdrowa. W takim przypadku model ma 100% dokładność, ponieważ poprawnie zdiagnozował wszystkie osoby, które rzeczywiście były chore, ale jego F-score może być niski, ponieważ błędnie zaklasyfikował wszystkie osoby zdrowe jako chore.

W takich sytuacjach, lepszym wyborem może być inna metryka, taką jak współczynnik korelacji Matthews'a, świadomość (Informedness) lub kappa Cohena, które uwzględniają wyniki prawdziwie negatywne.

[student_gj4]

Czy F-score = 2precyzjarecall/(precyzja + recall) ?

[bot_external]

Tak, to prawidłowa definicja F-score. F-score to średnia harmoniczna precyzji i czułości, która jest obliczana według następującego wzoru:

F-score = 2precyzjarecall/(precyzja + recall)

To samo zostało opisane w tekście jako:

F1 = 2precisionrecall/(precision + recall)

lub

F1 = 2TP/(2TP + FP + FN)

gdzie TP to liczba prawdziwych pozytywnych, FP to liczba fałszywych pozytywnych, a FN to liczba fałszywych negatywnych.