בשנים האחרונות, אנו עדים לצמיחה מאסיבית בהיקף המידע שארגונים מפיקים ומנתחים. מידע זה מגיע ממקורות מרובים, ביניהם חיישנים (IoT), רשתות חברתיות ועוד. מגמה זו הובילה לצורך שלא היה קיים בעבר, והביא לכך שמדעני הנתונים כיום נזקקים לכלים מתקדמים, שיאפשרו להם גמישות ומהירות רבה יותר בחקירת הנתונים ובבניית מודלים חדשים, שכן חומרת ה-IT המסורתית (on-premise) כבר אינה מסוגלת לספק את צרכי המחקר העדכניים.
VM for Data Science and AI, הפלטפורמה שאורקל מציעה למדעני הנתונים (Data Scientists) במענה לצורך זה, היא שרת וירטואלי מקונפג מראש ל-Data Science. השרת הינו בעל ביצועים יוצאי דופן ויכולות אבטחה ושליטה, ובאמצעותו מדעני הנתונים יכולים לבנות מודלים ולספק ערך עסקי במהירות.
השרת הוירטואלי כולל GPU של NVIDIA, CUDA, drivers cuDNN, סביבות פיתוח אינטגרטיביות (IDEs) לפייתון ול-R, וכן frameworks של למידת מכונה (ML) ולמידה עמוקה (DL) מבוססי קוד פתוח. הפלטפורמה מאפשרת למשתמשים להתאים את צריכת המשאבים באמצעות שימוש ב-autoscaling או לעצור את השרת הוירטואלי (כאשר אין בו צורך), כדי לשלוט בעלויות. השרת הוירטואלי כולל גם נתונים וקוד מדגמיים, אשר בעזרתם ניתן לחקור ולהתנסות בפלטפורמה.
הפלטפורמה מבוססת על תשתית הענן של אורקל, עם ביצועים יוצאי דופן, אבטחה ושליטה, ומאפשרת למשתמשים בה לבנות מודלים ולספק תמורה עסקית במהירות גבוהה יותר.
יתרונות המערכת
אלו כמה מהיתרונות של השימוש בפלטפורמת VM for Data Science and AI:
All-in-one image: הimage- כולל סט שלם של כלים המותקנים מראש שניתן בקלות להוסיף, ולהתאים גם לפני הפריסה, בעזרת Terraform או באופן ידני.
הטמעה מהירה: המשתמש צריך רק לפרוס את הimage-, שקונפג מראש, ולהתחיל לעבוד. כשהוא מסיים, הוא יכול למחוק את ה-image בקלות.
Compute shapes: לאימון ולתרגול של מודלים ללמידה עמוקה משתמשים ב-GPU-based shape, וללמידת מכונה משתמשים ב-CPU-based shape.
הפעלה פשוטה: משתמשים יכולים ליצור images בענן במהירות ובקלות, ללא צורך במעורבות או בסיוע של אנשי ה-IT בארגון.
הוספת משאבים בקלות: הוספת משאבי מחשוב נעשית במהירות ובקלות על ידי autoscaling או באמצעות Resource Manager.
עלויות נמוכות: ניתן להריץ מודל במשך יום על Tesla P100 GPU בענן בכ-30 דולר.
התחלת עבודה
בשביל להתחיל לעבוד עם השרת הוירטואלי, נרשמים ל-Oracle Cloud Free Tier ללא תשלום. לאחר מכן, עוברים ל-VM for Data Science and AI page ב-Marketplace, כדי להפעיל image ב-tenancy ולהציג את הוראות השימוש.
Instance המכונה הוירטואלית או ה-bare metal מסופק בעזרת Oracle Resource Manager, באמצעות Core Services API או באמצעות ה-Console. מיד אחרי שה-instance מתחיל, סביבת ה-AI/ML/DL מוכנה להגדרה. את הסביבה אפשר להגדיר באופן מקומי באמצעות גישה ל-instance דרך האינטרנט או מ-external node, כמו bastion host.
לאחר מכן יש לבצע את הפעולות הבאות:
1. כדי להגדיר ולהפעיל את סביבת ה- sandboxלמְפַתֵּחַ AI/ML/DL, צריך להריץ את הפקודות הבאות:
conda create --name sandbox pip python=3.7
conda activate sandbox
2. יש לאפס את הסיסמה ל-Jupyter Notebook, לקבלת גישה של קריאה וכתיבה ברשת, כך:
jupyter notebook password
אפשר להשתמש בפקודה הזו גם כדי לאפס את הסיסמה.
3. יש לשים אישור TLS ל-Jupyter Notebook Web Interface לצורך אבטחה. כדי לאפשר התחלת עבודה מהירה, נכלל במערכת אישור חתימה עצמית והוגדרה סביבת ה-Notebook. כדי לשים אישור חתימה עצמית של המשתמש, מריצים את הפקודה הבאה:
openssl req -x509 -nodes -days 365 -newkey rsa:2048
-keyout <Your Key>.key -out <Your Certificate>.pem
4. את שרת Jupyter מפעילים עם הפקודה הבאה:
jupyter notebook --certfile=<Your Certificate>.pem –
keyfile=<Your Key>.key
5. אפשר לגשת לסביבה של Jupyter בכתובת https://<instance-ip-address>:8888. חומת האש מוגדרת כך שהיא מאפשרת גישה לכתובת הזו. אם יש בעיה כלשהי בגישה, צריך לוודא ש-TCP port 8888 מורשה לתנועה נכנסת על ידי הגדרת התצורה של חומת האש מחדש באמצעות הפקודה הבאה:
sudo firewall-cmd --zone=public --add-port=8888/
tcp –permanent sudo firewall-cmd –reload
6. כדי לרשום את חבילות ה- AI Datascienceהכלולות ב-image, יש להריץ את הפקודה:
conda list
הארכיטקטורה המוצעת להפעלת workloads של למידה עמוקה על הענן של אורקל ממוקמת ב-Oracle Cloud Infrastructure Architecture Center. ה-Image יתעדכן יחד עם ה-kernel updates וה-framework updates העיקריים.
מוזמנים להתנסות בחינם: https://israelclouds.technology/Oracle-free-trial-data
בשנים האחרונות, אנו עדים לצמיחה מאסיבית בהיקף המידע שארגונים מפיקים ומנתחים. מידע זה מגיע ממקורות מרובים, ביניהם חיישנים (IoT), רשתות חברתיות ועוד. מגמה זו הובילה לצורך שלא היה קיים בעבר, והביא לכך שמדעני הנתונים כיום נזקקים לכלים מתקדמים, שיאפשרו להם גמישות ומהירות רבה יותר בחקירת הנתונים ובבניית מודלים חדשים, שכן חומרת ה-IT המסורתית (on-premise) כבר אינה מסוגלת לספק את צרכי המחקר העדכניים.
VM for Data Science and AI, הפלטפורמה שאורקל מציעה למדעני הנתונים (Data Scientists) במענה לצורך זה, היא שרת וירטואלי מקונפג מראש ל-Data Science. השרת הינו בעל ביצועים יוצאי דופן ויכולות אבטחה ושליטה, ובאמצעותו מדעני הנתונים יכולים לבנות מודלים ולספק ערך עסקי במהירות.
השרת הוירטואלי כולל GPU של NVIDIA, CUDA, drivers cuDNN, סביבות פיתוח אינטגרטיביות (IDEs) לפייתון ול-R, וכן frameworks של למידת מכונה (ML) ולמידה עמוקה (DL) מבוססי קוד פתוח. הפלטפורמה מאפשרת למשתמשים להתאים את צריכת המשאבים באמצעות שימוש ב-autoscaling או לעצור את השרת הוירטואלי (כאשר אין בו צורך), כדי לשלוט בעלויות. השרת הוירטואלי כולל גם נתונים וקוד מדגמיים, אשר בעזרתם ניתן לחקור ולהתנסות בפלטפורמה.
הפלטפורמה מבוססת על תשתית הענן של אורקל, עם ביצועים יוצאי דופן, אבטחה ושליטה, ומאפשרת למשתמשים בה לבנות מודלים ולספק תמורה עסקית במהירות גבוהה יותר.
יתרונות המערכת
אלו כמה מהיתרונות של השימוש בפלטפורמת VM for Data Science and AI:
All-in-one image: הimage- כולל סט שלם של כלים המותקנים מראש שניתן בקלות להוסיף, ולהתאים גם לפני הפריסה, בעזרת Terraform או באופן ידני.
הטמעה מהירה: המשתמש צריך רק לפרוס את הimage-, שקונפג מראש, ולהתחיל לעבוד. כשהוא מסיים, הוא יכול למחוק את ה-image בקלות.
Compute shapes: לאימון ולתרגול של מודלים ללמידה עמוקה משתמשים ב-GPU-based shape, וללמידת מכונה משתמשים ב-CPU-based shape.
הפעלה פשוטה: משתמשים יכולים ליצור images בענן במהירות ובקלות, ללא צורך במעורבות או בסיוע של אנשי ה-IT בארגון.
הוספת משאבים בקלות: הוספת משאבי מחשוב נעשית במהירות ובקלות על ידי autoscaling או באמצעות Resource Manager.
עלויות נמוכות: ניתן להריץ מודל במשך יום על Tesla P100 GPU בענן בכ-30 דולר.
התחלת עבודה
בשביל להתחיל לעבוד עם השרת הוירטואלי, נרשמים ל-Oracle Cloud Free Tier ללא תשלום. לאחר מכן, עוברים ל-VM for Data Science and AI page ב-Marketplace, כדי להפעיל image ב-tenancy ולהציג את הוראות השימוש.
Instance המכונה הוירטואלית או ה-bare metal מסופק בעזרת Oracle Resource Manager, באמצעות Core Services API או באמצעות ה-Console. מיד אחרי שה-instance מתחיל, סביבת ה-AI/ML/DL מוכנה להגדרה. את הסביבה אפשר להגדיר באופן מקומי באמצעות גישה ל-instance דרך האינטרנט או מ-external node, כמו bastion host.
לאחר מכן יש לבצע את הפעולות הבאות:
1. כדי להגדיר ולהפעיל את סביבת ה- sandboxלמְפַתֵּחַ AI/ML/DL, צריך להריץ את הפקודות הבאות:
conda create --name sandbox pip python=3.7
conda activate sandbox
2. יש לאפס את הסיסמה ל-Jupyter Notebook, לקבלת גישה של קריאה וכתיבה ברשת, כך:
jupyter notebook password
אפשר להשתמש בפקודה הזו גם כדי לאפס את הסיסמה.
3. יש לשים אישור TLS ל-Jupyter Notebook Web Interface לצורך אבטחה. כדי לאפשר התחלת עבודה מהירה, נכלל במערכת אישור חתימה עצמית והוגדרה סביבת ה-Notebook. כדי לשים אישור חתימה עצמית של המשתמש, מריצים את הפקודה הבאה:
openssl req -x509 -nodes -days 365 -newkey rsa:2048
-keyout <Your Key>.key -out <Your Certificate>.pem
4. את שרת Jupyter מפעילים עם הפקודה הבאה:
jupyter notebook --certfile=<Your Certificate>.pem –
keyfile=<Your Key>.key
5. אפשר לגשת לסביבה של Jupyter בכתובת https://<instance-ip-address>:8888. חומת האש מוגדרת כך שהיא מאפשרת גישה לכתובת הזו. אם יש בעיה כלשהי בגישה, צריך לוודא ש-TCP port 8888 מורשה לתנועה נכנסת על ידי הגדרת התצורה של חומת האש מחדש באמצעות הפקודה הבאה:
sudo firewall-cmd --zone=public --add-port=8888/
tcp –permanent sudo firewall-cmd –reload
6. כדי לרשום את חבילות ה- AI Datascienceהכלולות ב-image, יש להריץ את הפקודה:
conda list
הארכיטקטורה המוצעת להפעלת workloads של למידה עמוקה על הענן של אורקל ממוקמת ב-Oracle Cloud Infrastructure Architecture Center. ה-Image יתעדכן יחד עם ה-kernel updates וה-framework updates העיקריים.
מוזמנים להתנסות בחינם: https://israelclouds.technology/Oracle-free-trial-data
לפרטים נוספים ויצירת קשר עם נציג אורקל
הודעתך לא התקבלה - נסה שוב מאוחר יותר