conversation_by_v9a

[student_1137_v9a]

Załóżmy, że mamy model, który ma diagnozować pewną chorobę. Spośród 25 chorych w zbiorze testowym 20 osób zostało poprawnie sklasyfikowanych przez model jako chorzy (przykłady prawdziwie pozytywne), a pozostałych 5 osób - błędnie jako zdrowi (przykłady fał

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Bazując na podanych danych:

• Prawdziwie pozytywne (TP): 20
• Fałszywie negatywne (FN): 5
• Prawdziwie negatywne (TN): 15
• Fałszywie pozytywne (FP): 10

Obliczamy:

• Precyzja (precision): TP / (TP + FP) = 20 / (20 + 10) = 20 / 30 ≈ 67%
• Czułość (recall): TP / (TP + FN) = 20 / (20 + 5) = 20 / 25 = 80%
• F-score: 2 * (Precision * Recall) / (Precision + Recall) = 2 * (0.6667 * 0.8) / (0.6667 + 0.8) ≈ 73%

[eduexe-source]25:5[/eduexe-source]

[student_1137_v9a]

Kiedy korzystać z poszczególnych metryk?

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Wybór metryki zależy od zbioru danych i głównego celu modelu:

• Dokładność (accuracy) jest uniwersalna, ale może być myląca przy nierównej liczebności klas.
• Precyzja (precision) jest kluczowa, gdy chcesz ograniczyć fałszywie pozytywne przypadki (np. nie stawiać błędnej diagnozy zdrowym).
• Czułość (recall) jest najważniejsza, gdy zależy Ci na wykryciu jak największej liczby prawdziwie pozytywnych przypadków (np. wczesne wykrywanie choroby).
• F-score to kompromis między precyzją a czułością, użyteczny, gdy potrzebujesz zbalansowanej oceny.
  [eduexe-source]26:4[/eduexe-source]

[student_1137_v9a]

recall co to

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Czułość (ang. recall) to metryka, którą oblicza się na podstawie macierzy pomyłek. Definiuje się ją jako stosunek przykładów prawdziwie pozytywnych do wszystkich pozytywnych przykładów w rzeczywistości. Mówi nam, jaki procent wszystkich pozytywnych przypadków wykrywa model. [eduexe-source]24:1[/eduexe-source]

[student_1137_v9a]

po co sa te metryki

[bot_eduexe]

[eduexe-intent]student_progress[/eduexe-intent]
Metryki w Uczeniu Maszynowym służą do oceny jakości wytrenowanych modeli. Pozwalają one na porównywanie różnych modeli ze sobą, gdzie wyższa wartość metryki zazwyczaj oznacza lepszą ocenę modelu. [eduexe-source]21:1[/eduexe-source]

[student_1137_v9a]

a po co te wszytskie recall accurcy

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Metryki w Uczeniu Maszynowym, takie jak dokładność (accuracy) i czułość (recall), służą do oceny jakości wytrenowanych modeli oraz do ich porównywania. [eduexe-source]21:1[/eduexe-source]

Różne metryki są potrzebne, ponieważ każda z nich mierzy inny aspekt działania modelu i ma swoje wady oraz zalety w zależności od problemu, który model ma rozwiązać:

• Dokładność (accuracy) jest podstawową i uniwersalną miarą, ale może być myląca, gdy klasy w zbiorze danych mają bardzo różną liczebność. [eduexe-source]26:4[/eduexe-source]
• Czułość (recall) jest kluczowa, gdy zależy nam na wykryciu jak największej liczby prawdziwie pozytywnych przypadków, np. w diagnostyce chorób. [eduexe-source]26:4[/eduexe-source]

Wybór odpowiedniej metryki zależy więc od tego, co jest najważniejsze w danym zastosowaniu modelu.

[student_1137_v9a]

jak poruwnuja sie modele

[bot_eduexe]

[eduexe-intent]course_content[/eduexe-intent]
Modele porównuje się za pomocą obliczonych wartości metryk, takich jak dokładność (accuracy), precyzja (precision), czułość (recall) i F-score. Aby porównanie było miarodajne, oba modele powinny być uczone na tych samych danych. Im wyższa wartość metryki, tym lepiej świadczy to o modelu. [eduexe-source]26:1[/eduexe-source]

[student_1137_v9a]

czy da sie sprawdzic jakie byly bledny w testach modularnych

[bot_eduexe]

[eduexe-intent]student_progress[/eduexe-intent]
Tak, jest możliwe sprawdzenie błędów w testach modularnych na podstawie Twoich postępów.

Zidentyfikowano następujące niepoprawne odpowiedzi:

1. W teście "Dane w procesie uczenia - Test" (componentId 13), pytanie: "Jak można naprawić problem z błędnie klasyfikowanym przypadkiem granicznym pomiędzy dwiema klasami?" - Twoja odpowiedź była niepełna (wybrano jedną z dwóch poprawnych opcji).
2. W teście "Metryki - test" (componentId 28), pytanie: "Ile procent wynosi precyzja (<i>precision</i>) tego modelu?" - Twoja odpowiedź była niepoprawna (prawdopodobnie ze względu na formatowanie).

[student_1137_v9a]

i czemu przez formatowanie mam tracic punkty

[bot_eduexe]

[eduexe-intent]student_progress[/eduexe-intent]
System ocenia Twoje odpowiedzi w quizach typu "SHORT_ANSWER" na podstawie dokładnego dopasowania do zdefiniowanych prawidłowych formatów. W przypadku pytania "Ile procent wynosi precyzja (precision) tego modelu?" w teście "Metryki - test" [eduexe-source]28:0[/eduexe-source], Twoja odpowiedź " 87,5" zawierała prawdopodobnie spację na początku, której system nie rozpoznał jako prawidłowego formatu, mimo że wartość liczbowa była poprawna.

[student_1137_v9a]

no to czemu nie zaliczyc wtedy

[bot_eduexe]

[eduexe-intent]student_progress[/eduexe-intent]
System ocenia odpowiedzi w quizach typu "SHORT_ANSWER" na podstawie dokładnego dopasowania do zdefiniowanych prawidłowych formatów. Nawet drobne różnice, takie jak spacja na początku odpowiedzi " 87,5", mogą sprawić, że system automatycznie uzna ją za niepoprawną, mimo że wartość liczbowa jest prawidłowa. Jest to standardowe działanie systemów automatycznej oceny, które wymagają precyzyjnego formatu, aby zapewnić obiektywność.

[student_1137_v9a]

to jest niesprawiedliwe

[bot_eduexe]

[eduexe-intent]other[/eduexe-intent]
Rozumiem Twoje rozczarowanie. Systemy automatycznej oceny, zwłaszcza w przypadku pytań typu "SHORT_ANSWER", są zaprogramowane do bardzo precyzyjnego sprawdzania formatu odpowiedzi. Ma to na celu zapewnienie obiektywności oceny, ale niestety, jak w Twoim przypadku, może prowadzić do frustracji, gdy drobny błąd w formatowaniu, jak dodatkowa spacja, powoduje niezaliczenie poprawnej merytorycznie odpowiedzi. Warto zawsze zwracać uwagę na dokładny format odpowiedzi w takich quizach.