אחסון Object: כיצד להתמודד עם כמויות של מידע בלתי מובנה?

מאגרי נתונים ענקיים הופכים יותר ויותר נפוצים בסביבות המחשוב של היום, כאשר חברות מאמצות יישומי ביג דאטה בנפחים של עשרות עד מאות פטה בייט הבנויים לעתים ממיליארדים רבים של קבצים קטנים. ישנו מספר רב של יישומים הדורשים ניתוח מאגרי נתונים מאסיביים כגון: יישומי מולטימדיה ׁ(תמונות, ווידאו), יישומי IOT, ביו-מד ועוד.  

מבחינה היסטורית, החברות הצליחו לנהל את הנתונים שלהם כהיררכיה של קבצים (File System). אבל גישה זו אינה יעילה במדרגיות ((Scale גבוהה, היות והיא דורשת תכנון וניהול, מוגבלת מבחינת גידול והרחבה, מקשה על גיבוי והגנה של הנתונים ולרוב מצריכה שימוש ב- DataBase ע"מ לשמור את מיקום הקובץ בעץ.

פלטפורמות ענן ציבוריות, כגון AWS ו- Azure, הנדרשות לשרת אלפים רבים של משתמשים בו זמנית, לא היו מצליחות לשרת את משתמשים באופן הרצוי אילו עבור כל בקשת נתוני משתמש היה עליהן לעבור דרך עצי תיקיות ותיקיות משנה מרובות ע"מ לאתר ולייבא את המידע הדרוש לתגובה. לכן, לפני מספר שנים פותחה שיטת אחסון חדשה המתייחסת לפריט מידע כאל אובייקט (Object). היום, אחסון Object הופך יותר ויותר פופולארי גם בקרב ארגוני אנטרפרייז הבונים סביבות ענן פרטי\היברידי.

‍

Object מהו אחסון מסוג

בשונה ממערכת קבצים (File System), אחסון Object אינו בנוי בצורה היררכית של עצים ותיקיות, אלא באופן שטוח באמצעות שימוש ב- Global Namespace המאפשר גישה ישירה לכל יחידת מידע הקרויה אובייקט (Object). כל אובייקט מכיל לא רק מידע (Data), אלא גם מטא-דאטה (Metadata) או "מידע אודות המידע", ומספר מזהה גלובאלי ייחודי (Global ID number). מבנה זה מאפשר למערכת האחסון לשלוף באופן מהיר כל אובייקט, ללא תלות במקום הפיסי בו הוא אוחסן, וזאת רק באמצעות שימוש במזהה הייחודי.

‍

Big Data ומדוע הוא מתאים ליישומי Object מהם יתרונות אחסון

1. מדרגיות אינסופית (Infinite Scale) - בגלל המבנה השטוח (flat namespace), מערכת האחסון יכולה, תיאורטית,  להגיע למספר אובייקטים אינסופי, וזאת ע"י הצמדת מזהה גלובאלי ייחודי לכל אובייקט. כיום, מיושמות בעולם מערכות אחסון המכילות מיליארדים רבים של Objects בנפחים של עשרות ואפילו מאות של פטה בייטים (Peta Bytes)

2. שימוש במטא-דאטה לצורך ביצוע חיפושים מהירים - המטא-דאטה השייך לכל אובייקט מכיל מידע חיוני המתאר את המידע השמור באובייקט. שימוש נכון ויעיל ב MetaData -יכול לשמש לאפיון וקיטלוג המידע דבר שיסייע בזמן החיפוש ויאפשר שליפה מהירה של המידע, ללא צורך לנתח את המידע עצמו.

3. מערכת רובסטית ואמינה - בשונה ממערכות אחסון מסורתיות אשר לרוב מגנות על המידע ע"י שימוש ב RAID, מערכות Object בנויות בארכיטקטורת מבוזרת (Ring), המאפשרת שכפול ויצירת העתקים של ה-Object על מספר nodes במערכת. ישנן מערכות מתקדמות המשתמשות באלגוריתם (Erasure Coding (EC המאפשר גם שכפול מבוזר ויעיל יותר תוך שימוש בפחות נפחי אחסון. מערכות Object מגבות את המידע בצורה אוטומטית ומאפשרות בניה מחדש של מידע שנמחק / נפגם. השימוש ב-nodes עצמאיים מאפשר הוספה או הסרה של nodes בהתאם לצרכים, כאשר המערכת יודע לפזר מחדש את המידע בהתאם

4. ניהול פשוט - המטא-דאטה של אובייקטים יכול להכיל מידע רב (או מועט) על המידע השמור באובייקט לפי הצורך. לדוגמה, הוא יכול לציין היכן יש לאחסן את האובייקט, אילו יישומים ישתמשו בו, התאריך שבו ניתן למחוק אותו, או איזו רמה של אבטחת מידע נדרשת. מידה זו של פירוט זמין עבור כל אובייקט ומאפשר שימוש נרחב באוטומציה לצורכי משימות ניהול

5. חסכון עלויות - מערכות אחסון מסוג Object אינן דורשות שרתי אחסון יקרים, ולרוב משתמשות בכונני דיסק קשיח בעלות נמוכה.

‍

‍

Zadara המאמר בחסות

‍

‍

מאת: טל רותם

VPSA Object Storage ZADARA

Zadara מציעה פתרון מתקדם של אחסון מבוסס Object. האחסון זמין לשימוש בענן הציבורי או הפרטי (On-Premise) ותואם לפרוטוקול S3 של אמזון ו-OpenStack Swift. הפתרון מתאים לאחסון של מידע סטטי כמו Big Data, קבצי מולטימדיה, IoT או ארכיון, אשר זמין ונגיש בכל זמן, מכל מקום באמצעות פרוטוקול HTTP ופקודות REST API. הגישה למערכת מתבצעת דרך בקר מבוסס תוכנה VPSA Storage Array שהינו ברמת ביצועים גבוהה ותומך במגוון רחב של יכולות מתקדמות כגון - Erasure Code,  ,Multi Tenancy, שכפול וגיבוי נתונים, Life Cycle Management ועוד. למידע נוסף>

‍