conversation_by_lif

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
W kursie wspomniano, że proporcje podziału danych na zbiór uczący i testowy mogą być różne, a Google Teachable Machine automatycznie dzieli dane w proporcji 85% na zbiór uczący i 15% na zbiór testowy. Inne często spotykane proporcje to np. 80:20. Ważne jest, aby zbiór uczący był znacząco większy od testowego, aby model mógł skutecznie trenować. Zbiór testowy powinien być reprezentatywny jakościowo dla całości danych i wystarczająco duży, aby umożliwić wiarygodną ocenę modelu. [eduexe-source]15:7[/eduexe-source]

[student_1137_lif]

Chciałbym się dowiedzieć więcej o samym zastosowaniu metryk. Rozumiem ich specyfikę, jednak jak wygląda ich zastosowanie? Czy używamy wszytskich na raz przy uczeniu jednego modelu?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Metryki w uczeniu maszynowym służą do oceny wytrenowanych modeli i pozwalają na ich porównywanie. Choć dla danego modelu można obliczyć wiele metryk, nie używa się ich wszystkich na raz jako głównych kryteriów oceny. Zależy to od specyfiki zbioru danych i głównego celu modelu. W zależności od sytuacji, należy zwracać szczególną uwagę na konkretne metryki, ponieważ każda z nich ma swoje wady i zalety. [eduexe-source]21:1[/eduexe-source][eduexe-source]26:4[/eduexe-source]

[student_1137_lif]

Pewne metryki wyrażamy w procentach, np. accuracy mówi, jak poprawny jest model. Czy są jakieś przedziały wartości, które są uznawane za "dobre"?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Wartości wszystkich omawianych metryk, w tym dokładności (accuracy), zawierają się w przedziale od 0 do 1 (czyli od 0% do 100%). Im wyższa wartość metryki, tym lepiej świadczy to o modelu. Idealny model, który poprawnie klasyfikuje wszystkie przypadki, miałby dokładność wynoszącą 1 (100%), natomiast model, który zawsze się myli, miałby dokładność 0 (0%).

Nie ma jednak uniwersalnych przedziałów wartości uznawanych za "dobre", ponieważ "dobra" wartość zależy od specyfiki problemu i zbioru danych. Kurs podkreśla, że nawet bardzo wysoka dokładność (np. 99%) może być myląca i wskazywać na bezużyteczny model, jeśli problem dotyczy niezbalansowanych klas (np. rzadkiej choroby). [eduexe-source]22:1[/eduexe-source][eduexe-source]22:4[/eduexe-source][eduexe-source]22:6[/eduexe-source][eduexe-source]21:1[/eduexe-source]

[student_1137_lif]

No tak, przykład z rzadką chorobą jest bardzo dobry. Jeśli choroba występuje tylko u jednego procenta, a model wszyskich oznaczy jako zdrowych, to otrzymamy bardzo wysokie accuracy.

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Tak, dokładnie tak. Właśnie dlatego, mimo wysokiej dokładności, taki model jest bezużyteczny, bo nie spełnia swojego głównego celu diagnostycznego, czyli wykrywania rzadkiej choroby. W takich sytuacjach niezbędne jest spojrzenie na inne metryki, które lepiej oddają rzeczywistą skuteczność modelu, zwłaszcza dla rzadkich klas. [eduexe-source]22:6[/eduexe-source]

[student_1137_lif]

Jednak jeśli problem klasyfikacji ma dwa przypadki, oba występujące z szansą 1/2 i 1/2, to accuracy na poziomie > 90% pewnie określimy jako bardzo dobry model?

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Tak, Twoje rozumienie jest poprawne. Jeśli problem klasyfikacji ma dwie klasy o zbalansowanej liczebności (np. 50% do 50%), to dokładność (accuracy) na poziomie powyżej 90% jest zazwyczaj uznawana za bardzo dobry wynik. W takim przypadku accuracy jest wiarygodną metryką, ponieważ ryzyko, że model będzie "oszukiwał" ignorując mniej liczną klasę, jest minimalne. [eduexe-source]22:7[/eduexe-source]

[student_1137_lif]

Czy bardziej należy patrzeć nie na samo accuracy, a rozkład prawdopodobieństwa wystąpienia klas i dopiero rozkład porónywać ze skutecznośćią?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Tak, Twoje rozumienie jest trafne. Kurs podkreśla, że samo accuracy może być mylące, zwłaszcza gdy mamy do czynienia z niezbalansowanymi klasami. Rozkład prawdopodobieństwa wystąpienia klas, czyli ich liczebność, jest kluczowy dla oceny skuteczności modelu. Jeśli klasy są nierównoliczne (np. jedna klasa jest znacznie rzadsza), wysoka dokładność może nie świadczyć o dobrym modelu, ponieważ może on po prostu klasyfikować wszystkie przypadki jako należące do klasy dominującej. W takich sytuacjach należy patrzeć na inne metryki, takie jak precyzja, czułość czy F-score, które lepiej oddają rzeczywistą skuteczność modelu dla każdej z klas. [eduexe-source]22:6[/eduexe-source][eduexe-source]26:4[/eduexe-source]