397 Bumpers 69

מדע וטכנולוגיה | רן תבורי ואורי להב | 36 פרקים
רברס עם פלטפורמה

פרק מספר 69 (קוסמי?) של באמפרס (397 למניין רברס עם פלטפורמה) - רן, אלון ודותן כרגיל (החדש) באולפן הוירטואלי Across-the-Zoom: בוקר טוב וסגר נעים - אנחנו פחות או יותר בעיצומו של הגל השני של הקורונה, כבר בסגר, וכמו שאמרנו - מקליטים מרחוק ב-Zoom.ושוב בבאמפרס - סדרה של קצרצרים שבה כל אחד מאיתנו מספר על הדברים המעניינים שהוא נתקל בהם בחודש (או קצת יותר) האחרון - בלוג-פוסטים מעניינים, Repos מעניינים ב-GitHub, כתבות מעניינות וכו’.אז נתחיל . . .רן - בזמן האחרון אני מתעסק הרבה בתחום של Data ו-Machine learning וכו’, אז כנראה שרוב האייטמים שלי יהיו מהכיוון הזה.פוסט מעניין שנתקלתי בו נקרא Deep Learning's Most Important Ideas - A Brief Historical Reviewזה בעצם פוסט מעניין ודי קליל, לא צריך להיות מומחה ל-Deep Learning או ללמידת מכונה בכללהפוסט בא וסוקר, פחות או יותר, את ה(כמעט)עשור האחרון, ואת התמורות המשמעותיות שחלו בתחום הזה של Deep Learning.הוא מתחיל ב-2012, עם ImageNet - אחת מאבני היסוד של Deep Learning יחד עם AlexNet ו-Dropout - ועושה את זה בצורה חצי-מדעית-חצי-פופולארית: קצת מצייר דיאגרמות ורשתות וגם הרבה מאוד מסביר מה הן התמורות המעניינות שחלועובר דרך משחקי Atari עם Deep Reinforcement Learning, ממשיך דרך Encoder-Decoder Networks . . .מסביר את המושגים המשמעותיים ואת ה-Milestones המשמעותיים עובר דרך GANs, שאלו ה“יצורים” שיודעים לחולל תמונות ווידאו - אם ראיתם חיקוי של “אובמה מלאכותי” וכאלה - כל הדברים האלה זה GANs, למעשה.ראשי התיבות הן Generative Adversarial Networksבסופו של דבר, מסיים ב-2020 (כי המאיה פיספסו רק ב-8 שנים) - מתחיל לדבר על GPT-3, שזה החדשות החמות - יחסיתאמנם לא לגמרי חדש, עניין של כבר כמה חודשים, אבל החדשות היחסית-חמות בתחום של עיבוד שפה, הבנת שפה טבעית ואפילו Generation של טקסטים.אחד מה-Milestones המעניינים, אני חושב, שקרו בזמן האחרון הוא שבמגזין Nature, אם אני לא טועה, או שאולי מגזין מדעי אחר, למעשה פורסמה כתבה - טור דעה למעשה - שאת כל הטור כתב GPT-3 . . . את כל הטור כתב Bot, למעשה.הנה אחד מה-Guardianזהו - מעניין, הייתה שם התקדמות מאוד משמעותית, ופחות או יותר כל קהילת ה-Machine Learning מדברת על GPT-3 ומה שהוא עשה בזמן האחרוןבלוג-פוסט מומלץ למי שרוצה לראות Overview של מה שקרה בתחום של Deep Learning בפחות-או-יותר 8 השנים האחרונות. אני מאוד נהניתי.(אלון) ה-GPT-3 הזה . . .  הוא די, זאת אומרת - אנשים מדברים על זה שהוא פסיכי ברמות קיצוניות, ממש עושה משימות יום-יומיות אחרי שמלמדים אותו קצת.לי לא יצא לשחק איתו אבל שמעתי אנשים שעפים על הדבר הזה ברמה קיצונית.(רן) כן - הוא מאוד מעניין. יש שם אתגרים הנדסיים מאוד מעניינים - זו רשת שיש בה, אם אני זוכר נכון, משהו כמו 150 מיליארד פרמטרים (הפוסט טוען 175 מיליארד, אבל לא בטוח שספרו אחד-אחד…) האתגרים הגדולים באימון רשתות כאלה הוא מספר הפרמטרים שלהן - ברשת ממוצעת, בדרך מדובר על כמה עשרות, מאות או אלפי פרמטרים, ובאיזשהו שלב ה-CPU “מתחיל להיחנק” . . .אם אתם עובדים על GPU אז גם זה מתישהו מתחיל ככה להיות קשה - לפעמים מיליון פרמטרים . . . מליארד פרמטרים זה כבר המון, המקדמים של הניורונים ודברים כאלה.כאן מדובר, שוב - אם אני זוכר נכון, על 150 מיליארד (175) פרמטרים - וזה מספר כביר(דותן) אה, בקטנה . . .(רן) כן - אני לא זוכר אם זה 150 מיליארד, אולי 75 מיליארד - אבל הרבה, הרבה מאוד.זהו - מעבר לאתגרים המדעיים יש פה גם הרבה מאוד אתגרים הנדסיים מאוד מעניינים שפתרו שם, אז מעבר לסיפור של ההצלחה של הרשת הזו לייצר דברים סינטטיים שנראים כמו דברים אמיתיים - בוא נאמר לעבור את מבחן טיורינג די בקלות - יש פה גם הישגים הנדסיים די מעניינים.סיפור מעניין, כן.עוד קצת ל-R. Daneelעוד בתחום דומה - נתקלתי בפוסט שמדבר על הנושא שנקרא “רישיון Climate Strike" - נקרא לזה רישיון שביתת האקלים”, או “מכת האקלים”, תלוי איך מפרשים את זה (אקלים קטלני 3?) בעצם מדובר פה על רישיון תוכנה, כמו רישיונות קוד פתוח וכו’, אבל הרישיון הזה מדבר על זה שבתוכנה יהיה מותר להשתמש לכל דבר -  פרט לחיפוש נפט, או כריית משאבים באופן כללי.זה בא, ככל הנראה, מתוך איזושהי כוונה טובה של שימור האקלים, שימור כדור הארץ וכו’.יש איזשהו מסע פומבי לבוא ולסחוף כמה שיותר ספריות משמעותיות לתוכם, בין השאר ספריות כמו NumPy ו-Pandas  - ספריות שמדעני נתונים רגילים להשתמש בהן ביו…

לכל הפרקים של פודקאסט רברס עם פלטפורמה >>

פרסומת
397 Bumpers 6928/09/2020 |
פרק מספר 69 (קוסמי?) של באמפרס (397 למניין רברס עם פלטפורמה) - רן, אלון ודותן כרגיל (החדש) באולפן הוירטואלי Across-the-Zoom: בוקר טוב וסגר נעים - אנחנו פחות או יותר בעיצומו של הגל השני של הקורונה, כבר בסגר, וכמו שאמרנו - מקליטים מרחוק ב-Zoom.ושוב בבאמפרס - סדרה של קצרצרים שבה כל אחד מאיתנו מספר על הדברים המעניינים שהוא נתקל בהם בחודש (או קצת יותר) האחרון - בלוג-פוסטים מעניינים, Repos מעניינים ב-GitHub, כתבות מעניינות וכו’.אז נתחיל . . .רן - בזמן האחרון אני מתעסק הרבה בתחום של Data ו-Machine learning וכו’, אז כנראה שרוב האייטמים שלי יהיו מהכיוון הזה.פוסט מעניין שנתקלתי בו נקרא Deep Learning's Most Important Ideas - A Brief Historical Reviewזה בעצם פוסט מעניין ודי קליל, לא צריך להיות מומחה ל-Deep Learning או ללמידת מכונה בכללהפוסט בא וסוקר, פחות או יותר, את ה(כמעט)עשור האחרון, ואת התמורות המשמעותיות שחלו בתחום הזה של Deep Learning.הוא מתחיל ב-2012, עם ImageNet - אחת מאבני היסוד של Deep Learning יחד עם AlexNet ו-Dropout - ועושה את זה בצורה חצי-מדעית-חצי-פופולארית: קצת מצייר דיאגרמות ורשתות וגם הרבה מאוד מסביר מה הן התמורות המעניינות שחלועובר דרך משחקי Atari עם Deep Reinforcement Learning, ממשיך דרך Encoder-Decoder Networks . . .מסביר את המושגים המשמעותיים ואת ה-Milestones המשמעותיים עובר דרך GANs, שאלו ה“יצורים” שיודעים לחולל תמונות ווידאו - אם ראיתם חיקוי של “אובמה מלאכותי” וכאלה - כל הדברים האלה זה GANs, למעשה.ראשי התיבות הן Generative Adversarial Networksבסופו של דבר, מסיים ב-2020 (כי המאיה פיספסו רק ב-8 שנים) - מתחיל לדבר על GPT-3, שזה החדשות החמות - יחסיתאמנם לא לגמרי חדש, עניין של כבר כמה חודשים, אבל החדשות היחסית-חמות בתחום של עיבוד שפה, הבנת שפה טבעית ואפילו Generation של טקסטים.אחד מה-Milestones המעניינים, אני חושב, שקרו בזמן האחרון הוא שבמגזין Nature, אם אני לא טועה, או שאולי מגזין מדעי אחר, למעשה פורסמה כתבה - טור דעה למעשה - שאת כל הטור כתב GPT-3 . . . את כל הטור כתב Bot, למעשה.הנה אחד מה-Guardianזהו - מעניין, הייתה שם התקדמות מאוד משמעותית, ופחות או יותר כל קהילת ה-Machine Learning מדברת על GPT-3 ומה שהוא עשה בזמן האחרוןבלוג-פוסט מומלץ למי שרוצה לראות Overview של מה שקרה בתחום של Deep Learning בפחות-או-יותר 8 השנים האחרונות. אני מאוד נהניתי.(אלון) ה-GPT-3 הזה . . .  הוא די, זאת אומרת - אנשים מדברים על זה שהוא פסיכי ברמות קיצוניות, ממש עושה משימות יום-יומיות אחרי שמלמדים אותו קצת.לי לא יצא לשחק איתו אבל שמעתי אנשים שעפים על הדבר הזה ברמה קיצונית.(רן) כן - הוא מאוד מעניין. יש שם אתגרים הנדסיים מאוד מעניינים - זו רשת שיש בה, אם אני זוכר נכון, משהו כמו 150 מיליארד פרמטרים (הפוסט טוען 175 מיליארד, אבל לא בטוח שספרו אחד-אחד…) האתגרים הגדולים באימון רשתות כאלה הוא מספר הפרמטרים שלהן - ברשת ממוצעת, בדרך מדובר על כמה עשרות, מאות או אלפי פרמטרים, ובאיזשהו שלב ה-CPU “מתחיל להיחנק” . . .אם אתם עובדים על GPU אז גם זה מתישהו מתחיל ככה להיות קשה - לפעמים מיליון פרמטרים . . . מליארד פרמטרים זה כבר המון, המקדמים של הניורונים ודברים כאלה.כאן מדובר, שוב - אם אני זוכר נכון, על 150 מיליארד (175) פרמטרים - וזה מספר כביר(דותן) אה, בקטנה . . .(רן) כן - אני לא זוכר אם זה 150 מיליארד, אולי 75 מיליארד - אבל הרבה, הרבה מאוד.זהו - מעבר לאתגרים המדעיים יש פה גם הרבה מאוד אתגרים הנדסיים מאוד מעניינים שפתרו שם, אז מעבר לסיפור של ההצלחה של הרשת הזו לייצר דברים סינטטיים שנראים כמו דברים אמיתיים - בוא נאמר לעבור את מבחן טיורינג די בקלות - יש פה גם הישגים הנדסיים די מעניינים.סיפור מעניין, כן.עוד קצת ל-R. Daneelעוד בתחום דומה - נתקלתי בפוסט שמדבר על הנושא שנקרא “רישיון Climate Strike" - נקרא לזה רישיון שביתת האקלים”, או “מכת האקלים”, תלוי איך מפרשים את זה (אקלים קטלני 3?) בעצם מדובר פה על רישיון תוכנה, כמו רישיונות קוד פתוח וכו’, אבל הרישיון הזה מדבר על זה שבתוכנה יהיה מותר להשתמש לכל דבר -  פרט לחיפוש נפט, או כריית משאבים באופן כללי.זה בא, ככל הנראה, מתוך איזושהי כוונה טובה של שימור האקלים, שימור כדור הארץ וכו’.יש איזשהו מסע פומבי לבוא ולסחוף כמה שיותר ספריות משמעותיות לתוכם, בין השאר ספריות כמו NumPy ו-Pandas  - ספריות שמדעני נתונים רגילים להשתמש בהן ביו…

פודאסטים מובילים

מה שכרוך מה שכרוך 771 פרקים
הפודיוםהפודיום526 פרקים
המעבדה המעבדה 475 פרקים
קטעיםקטעים400 פרקים
ציון 3ציון 3328 פרקים
דברי הימיםדברי הימים232 פרקים
בלי סוללהבלי סוללה218 פרקים
גיקונומיגיקונומי202 פרקים
פרסומת