448 Synthetic data generation for Computer Vision models with Orly Zvitia

מדע וטכנולוגיה | רן תבורי ואורי להב | 199 פרקים
רברס עם פלטפורמה

[קישור לקובץ mp3]פודקאסט מספר 448 של רברס עם פלטפורמה - רן מארח (וירטואלית) את אורלי מחברת Datagen לשיחה על איך ולמה מייצרים דאטה סינטטי למודלים של Computer Vision, כדי שבסוף השיחה כולם ילכו לג’נרט דאטה סיננטי ויבינו עד כמה זה חשוב.(רן) אבל לפני שנצלול פנימה - כמה מילים עליך, אורלי?(אורלי) אז אי-שם בתחילת שנות האלפיים סיימתי צבא - והלכתי ללמוד הנדסה ביו-רפואית . . . .בשנה השלישית של התואר הראשון עשינו קורס של עיבוד תמונה - ומאוד התלהבתי מהתחום הזה.התמחיתי בעיבוד אותות ותמונות והמשכתי לתואר שניבתואר השני נחשפתי לתחום של Machine Learning - וממש נדלקתי על הדבר הזה, בזה התמחיתי.ומאז ועד היום אני מתעסקת ב-Computer Vision ו-Machine Learning בתעשייה.עבדתי גם בחברות מאוד קטנות וגם בסטארטאפים וב-Corporates גדוליםהרבה שנים בניהול של קבוצות אלגוריתמיקהאני חייבת לציין שכשאני למדתי Machine Learning באוניברסיטה, עוד לא היה Deep Learningויצא לי לצפות בכל התהליך המהפכני הזה שקרה, ממש מתוך התעשייה - וזה היה מדהים לראות.(רן) היית עדה למהפכה . . . . אני מנסה לדמיין את עצמי כאזרח צרפתי במהפכה הצרפתית, צופה בדברים האלה . . . (אורלי) אני יכולה לתאר איך זה היה . . . . היינו עושים Hand-crafted features, היינו עובדים עם מודלים של SVM ו-Random Forest ו-K-Means  . . . ואז, כבר כשהייתי בתעשייה, יצא AlexNet - והוא ממש עבר את ה-State of the Art שהיה אז באחוזים ניכרים, אני לא זוכרת בדיוק בכמה - וזה היה נראה מאוד ברור שקורה משהו . . . [דיברנו על זה קצת ב-397 Bumpers 69, רן המליץ על Deep Learning ideas that have stood the test of time]אבל לפחות ממה שאני חוויתי, זה לא היה מעבר כל כך קל - כי עד אז באמת הייתה “אינטואיציה”היינו עושים Hand-crafted features והיה נורא חשוב . . . אני זוכרת בדיונים שבהם אמרנו ש”אולי נלך ל-Deep” - והיו הרבה מתנגדים שאמרו “רגע - אבל איך אני אסביר ללקוח שלי מה הוספתי? איזה Feature שיפר את הביצועים?” . . . גם בתור עובדת וגם בתור מנהלת - בהתחלה זה היה ממש  . . . .“למה זה עובד? איך הרשת שם מקודדת את המידע הזה?”וזה לקח זמן עד שהדבר הזה קצת . . . עד שאנשים קיבלו את זה, שזה Black-box, והסכימו “לשלם את המחיר” של ה-Explainability.יש קצת אינטואיציה - וגם קצת פתרו את זה והבינו שהשכבות הראשונות מקודדות פילטרים פשוטים, ואחרי זה זה מתקדם לדברים סמנטיים יותר גבוהים . . . אבל די כאילו . . . בגלל שזה שבר את ה-State of the Art - ריסק את ה-State of the Art שהיה עד אז - אז פשוט הייתה מעיין קבלה של “סבבה, זה עובד - נוותר על ה-Explainability”.וזה באמת נכון - ה-Deep Learning, כולנו כבר יודעים, השתלט לחלוטין על כל מה שיש ב-Computer Vision ולמעשה על כל מה שיש ב-Machine Learning אי-שם בכל תחום אחר . . . אבל הוא הביא איתו שני כאבים חדשים שלא היו קודם - אחד זה ה-Explainability והשני זה הצורך בהרבה Data ללמוד ממנוכי מודלים קלאסיים יכולת לאמן גם עם עשרות, מאות ואולי אלפים - וזה היה מספיקומודלים של Deep Learning - את הגדולים והטובים אתה מאמן עם עשרות-אלפים, מאות-אלפים, מיליונים ואולי גם יותר . . . .(רן) וגם תורם לא מעט לחימום כדור-הארץ, כדרך-אגב . . . . אבל מה לעשות? זה חלק מהסיפור . . . .(אורלי) המטרה קידשה את האמצעים . . . .(רן) אז Datagen - מהי Datagen? מה אתם עושים שם היום?(אורלי) אז Datagen קיימת מ-2018 - אני הצטרפתי לפני קצת פחות משנה.אני מנהלת את קבוצת האלגוריתמיקה - ומה שאנחנו עושים זה בעצם לייצר Data סינטטי לצורך אימון ובדיקה של מודלים של Deep Learning.בעצם, הרעיון, אם לסכם אותו במשפט, זה לייצר סימולציה תלת-מימדית שבה אתה יכול לשלוט בכל מה שאתה רוצהאתה יכול להחליט אם אתה Indoor או Outdoorאילו אובייקטים יש - אם יש אובייקטים של בניינים, עצים, שולחנות כסאות . . . אתה יכול להחליט האם יש אנשים בסצינה, כמה אנשים יש בסצינה, אילו אנשים יש, מאיזו קבוצה דמוגרפית - נשים, גברים, קבוצה אתנית . . . מה הם עושים, לאן הם מסתכליםלאן העיניים מסתכלות, האם הם באינטראקציה . . . .המון המון Control-ים . . . .ואז, כשאתה רוצה לייצר את ה-Data שאתה רוצה, אתה פשוט “מניח מצלמה בתוך הסצינה” ועושה תהליך שנקרא רינדור (Rendering) - שבעצם מייצר לך את התמונותובעצם, החוזק של ה-Data הסינטטי - וניגע בזה עוד מעט בהמשך - זה שאתה מקבל אוטומטית את כל המידע על הסצינה, ממש את הכלוזה כח מאוד מאוד חזק.נגיד …

לכל הפרקים של פודקאסט רברס עם פלטפורמה >>

פרסומת
[קישור לקובץ mp3]פודקאסט מספר 448 של רברס עם פלטפורמה - רן מארח (וירטואלית) את אורלי מחברת Datagen לשיחה על איך ולמה מייצרים דאטה סינטטי למודלים של Computer Vision, כדי שבסוף השיחה כולם ילכו לג’נרט דאטה סיננטי ויבינו עד כמה זה חשוב.(רן) אבל לפני שנצלול פנימה - כמה מילים עליך, אורלי?(אורלי) אז אי-שם בתחילת שנות האלפיים סיימתי צבא - והלכתי ללמוד הנדסה ביו-רפואית . . . .בשנה השלישית של התואר הראשון עשינו קורס של עיבוד תמונה - ומאוד התלהבתי מהתחום הזה.התמחיתי בעיבוד אותות ותמונות והמשכתי לתואר שניבתואר השני נחשפתי לתחום של Machine Learning - וממש נדלקתי על הדבר הזה, בזה התמחיתי.ומאז ועד היום אני מתעסקת ב-Computer Vision ו-Machine Learning בתעשייה.עבדתי גם בחברות מאוד קטנות וגם בסטארטאפים וב-Corporates גדוליםהרבה שנים בניהול של קבוצות אלגוריתמיקהאני חייבת לציין שכשאני למדתי Machine Learning באוניברסיטה, עוד לא היה Deep Learningויצא לי לצפות בכל התהליך המהפכני הזה שקרה, ממש מתוך התעשייה - וזה היה מדהים לראות.(רן) היית עדה למהפכה . . . . אני מנסה לדמיין את עצמי כאזרח צרפתי במהפכה הצרפתית, צופה בדברים האלה . . . (אורלי) אני יכולה לתאר איך זה היה . . . . היינו עושים Hand-crafted features, היינו עובדים עם מודלים של SVM ו-Random Forest ו-K-Means  . . . ואז, כבר כשהייתי בתעשייה, יצא AlexNet - והוא ממש עבר את ה-State of the Art שהיה אז באחוזים ניכרים, אני לא זוכרת בדיוק בכמה - וזה היה נראה מאוד ברור שקורה משהו . . . [דיברנו על זה קצת ב-397 Bumpers 69, רן המליץ על Deep Learning ideas that have stood the test of time]אבל לפחות ממה שאני חוויתי, זה לא היה מעבר כל כך קל - כי עד אז באמת הייתה “אינטואיציה”היינו עושים Hand-crafted features והיה נורא חשוב . . . אני זוכרת בדיונים שבהם אמרנו ש”אולי נלך ל-Deep” - והיו הרבה מתנגדים שאמרו “רגע - אבל איך אני אסביר ללקוח שלי מה הוספתי? איזה Feature שיפר את הביצועים?” . . . גם בתור עובדת וגם בתור מנהלת - בהתחלה זה היה ממש  . . . .“למה זה עובד? איך הרשת שם מקודדת את המידע הזה?”וזה לקח זמן עד שהדבר הזה קצת . . . עד שאנשים קיבלו את זה, שזה Black-box, והסכימו “לשלם את המחיר” של ה-Explainability.יש קצת אינטואיציה - וגם קצת פתרו את זה והבינו שהשכבות הראשונות מקודדות פילטרים פשוטים, ואחרי זה זה מתקדם לדברים סמנטיים יותר גבוהים . . . אבל די כאילו . . . בגלל שזה שבר את ה-State of the Art - ריסק את ה-State of the Art שהיה עד אז - אז פשוט הייתה מעיין קבלה של “סבבה, זה עובד - נוותר על ה-Explainability”.וזה באמת נכון - ה-Deep Learning, כולנו כבר יודעים, השתלט לחלוטין על כל מה שיש ב-Computer Vision ולמעשה על כל מה שיש ב-Machine Learning אי-שם בכל תחום אחר . . . אבל הוא הביא איתו שני כאבים חדשים שלא היו קודם - אחד זה ה-Explainability והשני זה הצורך בהרבה Data ללמוד ממנוכי מודלים קלאסיים יכולת לאמן גם עם עשרות, מאות ואולי אלפים - וזה היה מספיקומודלים של Deep Learning - את הגדולים והטובים אתה מאמן עם עשרות-אלפים, מאות-אלפים, מיליונים ואולי גם יותר . . . .(רן) וגם תורם לא מעט לחימום כדור-הארץ, כדרך-אגב . . . . אבל מה לעשות? זה חלק מהסיפור . . . .(אורלי) המטרה קידשה את האמצעים . . . .(רן) אז Datagen - מהי Datagen? מה אתם עושים שם היום?(אורלי) אז Datagen קיימת מ-2018 - אני הצטרפתי לפני קצת פחות משנה.אני מנהלת את קבוצת האלגוריתמיקה - ומה שאנחנו עושים זה בעצם לייצר Data סינטטי לצורך אימון ובדיקה של מודלים של Deep Learning.בעצם, הרעיון, אם לסכם אותו במשפט, זה לייצר סימולציה תלת-מימדית שבה אתה יכול לשלוט בכל מה שאתה רוצהאתה יכול להחליט אם אתה Indoor או Outdoorאילו אובייקטים יש - אם יש אובייקטים של בניינים, עצים, שולחנות כסאות . . . אתה יכול להחליט האם יש אנשים בסצינה, כמה אנשים יש בסצינה, אילו אנשים יש, מאיזו קבוצה דמוגרפית - נשים, גברים, קבוצה אתנית . . . מה הם עושים, לאן הם מסתכליםלאן העיניים מסתכלות, האם הם באינטראקציה . . . .המון המון Control-ים . . . .ואז, כשאתה רוצה לייצר את ה-Data שאתה רוצה, אתה פשוט “מניח מצלמה בתוך הסצינה” ועושה תהליך שנקרא רינדור (Rendering) - שבעצם מייצר לך את התמונותובעצם, החוזק של ה-Data הסינטטי - וניגע בזה עוד מעט בהמשך - זה שאתה מקבל אוטומטית את כל המידע על הסצינה, ממש את הכלוזה כח מאוד מאוד חזק.נגיד …

פודאסטים מובילים

מה שכרוך מה שכרוך 1156 פרקים
המעבדה המעבדה 787 פרקים
אש זרה אש זרה 551 פרקים
קטעיםקטעים528 פרקים
הפודיוםהפודיום526 פרקים
ציון 3ציון 3478 פרקים
פרסומת