﻿הערות למורה — שלב 1: תמונות הבוס (60 דקות)

מטרה
התלמידים פוגשים בינה מלאכותית שנראית מושלמת על נתוני האימון ובכל זאת נכשלת מול מגוון מציאותי. הם מגלים למה (עבודת בלשים), מתקנים עם נתונים מגוונים יותר (סיבוב 2) ורואים מה נשאר קשה (תמונות סיוט ומלכודת).

מהלך השיעור (כ-60 דקות)
  0-5    המשימה (פרקי סרטון 1-2). התלמידים מנחשים את הציון.
  5-20   בונים מחלקות, מעלים 1_TRAIN, מאמנים (פרק סרטון 3).
  20-30  מבחן הבוס (12 תמונות), דף תוצאות.
  30-38  סיוט: אדם נגד בינה מלאכותית.   38-42 מלכודות.
  42-50  בלשות: מה משותף לתמונות שנכשלו? לא נותנים את התשובה — נותנים להם לגלות.
  50-60  סיבוב 2 עם חבילת התיקון והשוואה. אופציונלי: מחלקה רביעית „Other”.
  אחר כך שלב 2 (אקסל): אותם מספרים הופכים לטבלאות ותרשימים.

מה מקשה על התמונות (לא מספרים לתלמידים לפני שלב הבלשות)
  1. קיצור דרך נסתר: ב-1_TRAIN כל פרי יושב בעיקר על השולחן שלו (תפוחים על עץ 82%, בננות על אריחים לבנים 82%, תפוזים על בד משבצות 82%). הבינה המלאכותית יכולה ללמוד „שולחן = פרי”.
  2. תמונות מבחן הבוס נבחרו במקומות שבהם מודלים בסגנון Teachable Machine מתקשים: פרי על השולחן של הפרי האחר, תאורה חלשה, פרי קטן, פרי שנחתך בקצה, זנים נדירים באימון (תפוח צהוב/אדום-צהוב, בננה ירוקה או חומה, תפוז חצוי).
  3. סיוט: טשטוש, רעש, חשוך מאוד, זעיר, חיתוך, ציור בעיפרון, ו-3 תמונות עם יותר מפרי אחד (התשובה הנכונה היא „מעורב”: הבינה המלאכותית לא יכולה לומר זאת).
  4. מלכודות: עגבניות, לימונים, אפרסק, דלעת, כדור, תירס, פלפל. אין לבינה המלאכותית מחלקה „כלום” והיא עונה בכל זאת, בדרך כלל בביטחון גבוה.
  חבילת התיקון מראה כל פרי על כל שולחן, בתאורה חלשה, קטן ונחתך — כך נעלם קיצור הדרך. OTHER_PACK מלמדת מחלקה רביעית.

למה לצפות (המדידות שלנו)
  אימנו מודלים כמו Teachable Machine (מודל תמונות MobileNet עם ראש קטן מאומן) על שלוש גרסאות MobileNet, 3 זרעים אקראיים לכל אחת, והרצנו גם את אתר Teachable Machine האמיתי.
  תמונות דומות לקבוצת האימון: 100%. מבחן הבוס: סיבוב 1 62% (טווח 53%-69% בין גרסאות המודל), סיבוב 2 95% (טווח 92%-100%). סיוט (תמונות פרי בודד): סיבוב 1 33%, סיבוב 2 49%. תמונות מלכודת: המודלים היו בטוחים ביותר מ-80% ב-84% מהן בסיבוב 1 (וכל התשובות האלה שגויות). Teachable Machine אמיתית (2 ריצות): מבחן הבוס בסיבוב 1 7 מתוך 12, בסיבוב 2 10 מתוך 12. סיוט (תמונות פרי בודד): סיבוב 1 1 מתוך 9, סיבוב 2 4 and 3 מתוך 9. תמונות מלכודת בביטחון מעל 80%: סיבוב 1 11 and 10 מתוך 12, סיבוב 2 12 מתוך 12. עם המחלקה הרביעית Other: 11 מתוך 12 מלכודות נקראו Other ומבחן הבוס קיבל 9 מתוך 12.
  תוצאות Teachable Machine אמיתיות משתנות מריצה לריצה ומהמספרים שלנו. התייחסו לזה כהכוונה: בסיבוב 1 מבחן הבוס בדרך כלל נמוך בבירור מהדיוק על תמונות דומות לאימון, סיבוב 2 טוב בבירור, הסיוט נשאר קשה, ועל המלכודות כמעט תמיד עונים בביטחון.

מפתח תשובות
  TEACHER_KEY.csv מפרט כל תמונת מבחן, את התשובה הנכונה ואת סיבת הקושי (תגיות). בסיוט „MIXED” = יותר מפרי אחד: התלמידים מקבלים נקודה אם אמרו מעורב; הבינה המלאכותית לא יכולה לנקד כאן. לתמונות המלכודת אין מחלקה נכונה בין Apple, Banana, Orange.
  תגיות: bg_swap = על שולחן של פרי אחר · dim = חשוך · small = קטן · crop = נחתך בקצה · unseen_variety = זן נדיר · half = תפוז חצוי · bunch = כמה בננות · clutter = רקע עמוס · tiny/blur/noise/dark/sketch/crop/tint = אפקטי סיוט.

דיון
  - למה הבינה המלאכותית נראתה מושלמת באימון? (נבדקה על תמונות דומות למה שלמדה)
  - מהו קיצור דרך? איפה זה עוד יכול לקרות? (בינה מלאכותית רפואית שלומדת את לוגו בית החולים)
  - האם ביטחון של 90% הוא הבטחה? (לא)
  - מה הייתם מוסיפים לנתוני האימון? האם זה אי פעם מספיק?

הערות וכנות
  התמונות צוירו במחשב ואינן צילומים. החשוב הוא התנהגות הבינה המלאכותית, לא ריאליזם. Teachable Machine צריכה אינטרנט, והתמונות נשארות בדפדפן אלא אם התלמידים בוחרים Save to Drive.
