conversation_by_sby
-
dlaczego model jak nie jest pewny przypadku pośredniego nie zwracca 50% dla obu klas tylko 90% dla jednej z nich
-
dlaczego model jak nie jest pewny przypadku pośredniego nie zwracca 50% dla obu klas tylko 90% dla jednej z nich
Odpowiedź na to pytanie jest zawarta w kontekście. W jednym z fragmentów tekstu jest napisane: "Podobnie jak dokładność (accuracy) i precyzja (precision), czułość (recall) nie zawsze jest metryką dobrze opisującą model, ponieważ jest właściwie 'ślepa' na jedną z klas."
Oznacza to, że model może być bardzo pewny przypadku pośredniego, ale nie zwraca 50% dla obu klas, ponieważ jest "ślepy" na jedną z klas. W tym przypadku, model zignorował klasę mniej liczną i automatycznie przypisał wszystkie przykłady do klasy dominującej, osiągając przy tym bardzo wysoką dokładność (accuracy) na poziomie 99%.
-
co się stanie jeśli użyjemy wyników ze zbioru testowego w trakcie uczenia
-
co się stanie jeśli użyjemy wyników ze zbioru testowego w trakcie uczenia
Jeśli użyjemy wyników ze zbioru testowego w trakcie uczenia, model będzie mógł dostosować się do tych wyników i poprawić swoją dokładność w klasyfikacji. Jednak to może również spowodować przeuczenie (overfitting), ponieważ model będzie się za bardzo dostosowywał do danych testowych, a nie do ogólnych tendencji w danych.
W opisie korzystania z Google Teachable Machine (GTM) jest napisane: "Obserwując wykres funkcji straty, możemy czasem dostrzec, że choć dla zbioru uczącego jej wartość systematycznie maleje w każdej kolejnej epoce, to dla zbioru testowego nie dość, że strata przestaje w którymś momencie maleć, to nawet zaczyna rosnąć. Taki wykres jest świadectwem tego, że w przypadku danego modelu mamy do czynienia z przeuczeniem."
Oznacza to, że jeśli użyjemy wyników ze zbioru testowego w trakcie uczenia, model może przeuczyć się i nie będzie w stanie poprawnie klasyfikować danych nowych.
-
Jak rozpoznać że tempo uczenia się jest za duże
-
Jak rozpoznać że tempo uczenia się jest za duże
Jeśli chodzi o rozpoznanie, że tempo uczenia się jest za duże, w kontekście nie ma bezpośrednich informacji na ten temat. Jednak w opisie korzystania z Google Teachable Machine (GTM) jest napisane, że zbyt duża korekta może oznaczać, że "przeskoczymy" przez oczekiwane rozwiązanie.
Przykładowo, w jednym z przykładów jest napisane, że jeśli stała uczenia się wynosiłaby 1, to w kolejnym kroku nasz model zwróci wynik 7,5, który nie jest ani trochę bliższy naszemu oczekiwanemu rozwiązaniu, niż 6,5, z którego startowaliśmy.
Oznacza to, że zbyt duże tempo uczenia się może spowodować, że model "przeskoczy" przez oczekiwane rozwiązanie i nie będzie w stanie poprawnie go osiągnąć.
-
która metryka jest najlepsza dla danych medycznych w których false negative są bardzo bardzo złe
-
która metryka jest najlepsza dla danych medycznych w których false negative są bardzo bardzo złe
Odpowiedź na to pytanie jest zawarta w kontekście. W jednym z fragmentów tekstu jest napisane: "Czułość (recall) - jest najważniejszą metryką w sytuacji, w której zależy nam, by wykryć jak najwięcej przykładów z jednej klasy (a więc ograniczamy liczbę przypadków fałszywie negatywnych) - przykładowo, celem modelu jest wykrycie we wczesnym stadium choroby, która niewykryta staje się bardzo niebezpieczna, chcemy więć wykryć na pewno wszystkich chorych, nawet jeżeli błędnie zaklasyfikujemy i wyślemy w efekcie na dodatkowe badania również kilka zdrowych osób - czułość modelu powinna być jak najwyższa"
Oznacza to, że w przypadku danych medycznych, gdzie false negative są bardzo złe, metryką najlepszą jest czułość (recall), ponieważ jest ona najważniejszą metryką w sytuacji, w której zależy nam na wykryciu jak największej liczby przykładów z jednej klasy, czyli w tym przypadku chorych osób.
-
czy da się skorzystać z tych metryk (accuracy, precision, recall) w trakie tenowania
-
czy da się skorzystać z tych metryk (accuracy, precision, recall) w trakie tenowania
Tak, można skorzystać z tych metryk (accuracy, precision, recall) w trakcie trenowania modelu. Jednak, jak wspomniano w kontekście, dokładność (accuracy) może być mylącą metryką dla niezbalansowanych zbiorów danych, ponieważ ignoruje przykłady true negative (TN).
W trakcie trenowania modelu, można monitorować wartości tych metryk, aby ocenić, jak dobrze model się uczy. Jednak, jak wspomniano w kontekście, zbyt duże tempo uczenia się może spowodować przeuczenie (overfitting), a zbyt małe tempo uczenia się może spowodować, że model nie będzie w stanie poprawnie klasyfikować danych nowych.
Dlatego, w trakcie trenowania modelu, ważne jest, aby monitorować wartości tych metryk i dostosować parametry uczenia się, aby uniknąć przeuczenia i osiągnąć najlepsze wyniki.
-
jkie pzpadki ingoruje f-scr?/?
-
jkie pzpadki ingoruje f-scr?/?
Odpowiedź na to pytanie jest zawarta w kontekście. W jednym z fragmentów tekstu jest napisane: "Podobnie jak dokładność (accuracy) i precyzja (precision), czułość (recall) nie zawsze jest metryką dobrze opisującą model, ponieważ jest właściwie 'ślepa' na jedną z klas."
Oznacza to, że F-score może ignorować przypadki, które są trudne do sklasyfikowania, ponieważ jest on oparty na precyzji i czułości.