תחום הבינה המלאכותית הוא תחום צומח ודורשני למדי מבחינת דרישות מערכת. כך למשל, אימון של מודל Deep learning יכול לדרוש מספר רב של מכונות שיפעלו לאורך זמן, בדרך כלל עם חומרה יקרה כמו מעבדים גרפיים או חומרה ייעודית אחרת (לדוג' רכיב ה-TPU של גוגל).
מצד שני, משיחות פנימיות עם נציגים בספקיות הענן ניתן לשמוע שנתח השימוש במשאבי ענן לבינה מלאכותית נמצא במגמת צמיחה, אבל עדיין לא משמעותי כמו שניתן היה לצפות, והוא עומד סביב אחוז חד ספרתי מסך השימושים בענן.
אחת הסיבות המרכזיות היא החשש של ארגונים גדולים, אשר אינם טכנולוגים במהותם, מכניסה לפרויקטים חדשים בבינה מלאכותית. בשונה מפרויקטי תוכנה רגילים, שאפשר להעריך את סך העבודה ואת התוצאה הסופית, אופי פרויקטים בבינה מלאכותית הוא מחקרי והתוצאה בסופו של דבר אינה ידועה. בינה מלאכותית לא תגיע ל100% לפתרון בעיה, כמעט באף תרחיש, ובחלק מהמקרים לא תעבור את 80% הצלחה, מה שיחשב לכישלון בדרך כלל עבור ארגון כזה.
עוד סיבה היא שבינה מלאכותית דורשת המון מידע, ורוב המידע צריך להיות מתויג. לדוגמא - אם נרצה לאמן מודל בינה מלאכותית אשר יודע בהינתן תמונה להחליט האם היא צולמה ביום או בלילה, נצטרך דוגמאות רבות של תמונות שאדם יסנן בעצמו לתיקיות "יום" ו"לילה" בהתאמה. כיום, יש שירותים שונים (כדוגמת Mechanical Turk של אמזון) שמפעילים חוות שלמות של אנשים, בעיקר ממדינות עולם שלישי בתיוג של מידע. אפשר להבין שמדובר בתהליך יקר ודורשני שלא מתאפשר לכל החברות בהיקף הנדרש ללמידה יעילה.
למידה ב"השגחה עצמית"
ישנו שינוי שמתחיל להתרחש כיום בתחום ואני מאמין שנראה השנה ועלול לשנות את המפה, לפחות לגבי בעיית המידע המתוייג, והוא למידה "בהשגחה עצמית" - self-supervised Learning. בלמידה ב"השגחה עצמית" אלגוריתמים לומדים את העולם הכללי ואת הקונטסט שלו טוב יותר, בדרך כלל בעזרת טכניקות של יצירת "חורים" בדאטה ולמידה של אלגוריתמים איך להשלים אותם. למשל, האלגוריתם מקבל סרטון וידאו ממנו מוסר אובייקט או frame מסוים והוא צריך לחזות מה החלק החסר.
היתרון בגישה כזאת טמון בכך שהיא דורשת הרבה פחות דאטה מתויג (או אם בכלל), והארגונים המובילים בתעשייה בדרך מבצעים את האימון הזה על מספר ענק של מכונות ומנגישה אותו לציבור. בסופו של דבר, הידע שהאלגוריתם צבר ישמש אותו לבצע טוב יותר משימות אחרות שמבוצעות כיום. אציין שהגישה הגיעה מתחום ניתוח השפה הטבעית, ויושמה בהצלחה.
למה עכשיו? במחקרים האחרונים בוצעה התקדמות בתחום הזה, ועכשיו גם בתחום הראיה הממוחשבת - ובכלל תשמעו את המונח "self-supervised Learning" כמעט על כל במה של כנס בתחום. בנוסף, יאן לקון, אחד מאבות הבינה המלאכותית של היום, סימן את הנושא כאחד החמים ל-2020.
ולמה שזה ישנה משהו בענן? כמו שתיארתי, אחת הסוגיות המורכבות היא תיוג מידע, וברגע שנצטרך לתייג פחות מידע נוכל לאמן מודלים בקלות יותר ועל מידע רב יותר. המשמעות המיידית בהקטנת הרף היא שחברות יתחילו פרויקטים רבים יותר של בינה מלאכותית כי זה יהיה קל יותר ויניב תוצאות אפילו טובות מהיום, וכתוצאה מכך צריכת הענן בתחום תעלה.
ובנוגע לסיבה הראשונה, עם הזמן אני מאמין שגם ארגונים פחות טכנולוגיים יצברו הצלחות בתחום הבינה המלאכותית ונראה טרנד עולה של שימוש בבינה מלאכותית גם אצלם.
נכתב ע"י עמית בן דור, יועץ בעולמות ה-AI/ML וארכיטקט תוכנה
תחום הבינה המלאכותית הוא תחום צומח ודורשני למדי מבחינת דרישות מערכת. כך למשל, אימון של מודל Deep learning יכול לדרוש מספר רב של מכונות שיפעלו לאורך זמן, בדרך כלל עם חומרה יקרה כמו מעבדים גרפיים או חומרה ייעודית אחרת (לדוג' רכיב ה-TPU של גוגל).
מצד שני, משיחות פנימיות עם נציגים בספקיות הענן ניתן לשמוע שנתח השימוש במשאבי ענן לבינה מלאכותית נמצא במגמת צמיחה, אבל עדיין לא משמעותי כמו שניתן היה לצפות, והוא עומד סביב אחוז חד ספרתי מסך השימושים בענן.
אחת הסיבות המרכזיות היא החשש של ארגונים גדולים, אשר אינם טכנולוגים במהותם, מכניסה לפרויקטים חדשים בבינה מלאכותית. בשונה מפרויקטי תוכנה רגילים, שאפשר להעריך את סך העבודה ואת התוצאה הסופית, אופי פרויקטים בבינה מלאכותית הוא מחקרי והתוצאה בסופו של דבר אינה ידועה. בינה מלאכותית לא תגיע ל100% לפתרון בעיה, כמעט באף תרחיש, ובחלק מהמקרים לא תעבור את 80% הצלחה, מה שיחשב לכישלון בדרך כלל עבור ארגון כזה.
עוד סיבה היא שבינה מלאכותית דורשת המון מידע, ורוב המידע צריך להיות מתויג. לדוגמא - אם נרצה לאמן מודל בינה מלאכותית אשר יודע בהינתן תמונה להחליט האם היא צולמה ביום או בלילה, נצטרך דוגמאות רבות של תמונות שאדם יסנן בעצמו לתיקיות "יום" ו"לילה" בהתאמה. כיום, יש שירותים שונים (כדוגמת Mechanical Turk של אמזון) שמפעילים חוות שלמות של אנשים, בעיקר ממדינות עולם שלישי בתיוג של מידע. אפשר להבין שמדובר בתהליך יקר ודורשני שלא מתאפשר לכל החברות בהיקף הנדרש ללמידה יעילה.
למידה ב"השגחה עצמית"
ישנו שינוי שמתחיל להתרחש כיום בתחום ואני מאמין שנראה השנה ועלול לשנות את המפה, לפחות לגבי בעיית המידע המתוייג, והוא למידה "בהשגחה עצמית" - self-supervised Learning. בלמידה ב"השגחה עצמית" אלגוריתמים לומדים את העולם הכללי ואת הקונטסט שלו טוב יותר, בדרך כלל בעזרת טכניקות של יצירת "חורים" בדאטה ולמידה של אלגוריתמים איך להשלים אותם. למשל, האלגוריתם מקבל סרטון וידאו ממנו מוסר אובייקט או frame מסוים והוא צריך לחזות מה החלק החסר.
היתרון בגישה כזאת טמון בכך שהיא דורשת הרבה פחות דאטה מתויג (או אם בכלל), והארגונים המובילים בתעשייה בדרך מבצעים את האימון הזה על מספר ענק של מכונות ומנגישה אותו לציבור. בסופו של דבר, הידע שהאלגוריתם צבר ישמש אותו לבצע טוב יותר משימות אחרות שמבוצעות כיום. אציין שהגישה הגיעה מתחום ניתוח השפה הטבעית, ויושמה בהצלחה.
למה עכשיו? במחקרים האחרונים בוצעה התקדמות בתחום הזה, ועכשיו גם בתחום הראיה הממוחשבת - ובכלל תשמעו את המונח "self-supervised Learning" כמעט על כל במה של כנס בתחום. בנוסף, יאן לקון, אחד מאבות הבינה המלאכותית של היום, סימן את הנושא כאחד החמים ל-2020.
ולמה שזה ישנה משהו בענן? כמו שתיארתי, אחת הסוגיות המורכבות היא תיוג מידע, וברגע שנצטרך לתייג פחות מידע נוכל לאמן מודלים בקלות יותר ועל מידע רב יותר. המשמעות המיידית בהקטנת הרף היא שחברות יתחילו פרויקטים רבים יותר של בינה מלאכותית כי זה יהיה קל יותר ויניב תוצאות אפילו טובות מהיום, וכתוצאה מכך צריכת הענן בתחום תעלה.
ובנוגע לסיבה הראשונה, עם הזמן אני מאמין שגם ארגונים פחות טכנולוגיים יצברו הצלחות בתחום הבינה המלאכותית ונראה טרנד עולה של שימוש בבינה מלאכותית גם אצלם.
נכתב ע"י עמית בן דור, יועץ בעולמות ה-AI/ML וארכיטקט תוכנה
