ווי אנקור מתמחה בהקמת פתרונות ביג דאטה מבוססי Hadoop.

 

HADOOP הינה אחת מהסביבות הטכנולוגיות המוכרות והמזוהות ביותר בטיפול באתגרי BIG DATA. (גם כאן הפירושים רבים : אתגר של ניתוח נפחים רבים – טרהבייט TB- בודדים ועד עשרות או מאות TB של נתונים, כאשר קיימת דרישה לטפל בקצב קליטת נתונים גבוה, כאשר אין סכימה מוגדרת של הנתונים , ובכל שילוב של שלושת האתגרים הללו)

הרעיון העיקרי מאחורי הטכנולוגיה הינו - ביזור החישוב על מספר רב של שרתים, כך שכל שרת אחראי לניתוח המידע המצוי עליו. זאת, כאשר מערכת הקבצים מבזרת את נתוני הקבצים בין השרתים ודואגת לשכפול המידע (בד"כ 3 פעמים) לטובת שרידות והמשכיות מלאה גם בארוע של כשל חומרתי או תוכנתי.

 

בבסיס הטכנולוגיה שני מרכיבים – מערכת קבצים מבוזרת, הדואגת לגיבוי ומיפוי מיקום הנתונים – HDFS (Hadoop Distributed File System). ויכולת חישוב מקבילית מבוזרת המכונה Map Reduce, המאפשרת לכל שרת לבצע חישוב על הנתונים שבאחריותו, ולבסוף לסכום את תוצאות החישובים מכלל השרתים.

 

עם פריצתה של הטכנולוגיה היא היתה מיועדת בעיקר לתהליכים עתיים (BATCH), ודרשה מומחיות של מפתח גם למשימות האדמיניסטרציה הפשוטות ביותר. בשנתיים האחרונות אנו עדים להתקדמות בבשלות הסביבה וניתן למצוא פתרונות מדף המטפלים במשימות האדמיניסטרציה וכמובן ביכולת לטפל בנתונים בפרקי זמן קצרים יותר ולהציגם בצורה נוחה או להתממשק למערכות הדיווח הקיימות בארגון.

 

אנו עדים להתגברות השימוש בטכנולוגיה הזו כמעט בכל מגזר –

בחברות אשראי בעולם, הוקמו תשתיות HADOOP גדולות. בתחילה בוצעו פרויקטים בהקפים קטנים אשר אינם קשורים בתוכנות הליבה, דוגמת ניפוק שוברים מותאם לקוח. לאחר שהפרויקטים הללו הוטמעו בהצלחה וצוותי הפיתוח "השתפשפו" בטכנולוגיה הועברו יותר ויותר מערכות ליבה לעבודה מעל תשתית זו שהפכה כלכלית יותר מאשר מחסני הנתונים המוכרים.

בעולם ניתוח המידע המתקבל משימוש באפליקציות רשת או בתעבורה באתרים, תשתיות HADOOP הינן הפלפטורמה המובילה לאחסון וניתוח הנתונים. יכולות חדשות המאפשרות ניתוח REAL TIME, דוגמאת IMPALA, DRILL, STORM  ו-SPARK משלימות את יכולות הניתוח העיתי של HADOOP.

 

במגזר הפיננסי לדוגמא - חברת PAYPAL, כפי שהוצג בכנס eXalte 2013 (exelate.com) משמש אשכול חישובי ענק מבוסס HADOOP את תהליך כריית הנתונים ועבודה עם אלגוריתמים לומדים (MLA) לניתוח ניסיונות הונאה בתשלומים ברשת.

ממשקי  עבודה מבוססי SQL, קישור מובנה ופשוט למערכות ויזואליזציה ודו"חות, מאות סוגי קונקטורים שפותחו עבור כמעט כל סוג בסיס נתונים קיים הפכו את HADOOP  לסביבה נגישה למפתחים, כלי אדמיניסטרציה נוחים, התשתיות מבוססות חומרה סטנדרטית הקורצות מבחינה כלכלית.

 

IBM העשירה את הסביבה ביכולות רבות, במובנים רבים הפכה BIGINSIGHTS IBM למובילה  טכנולוגית בהפצות HADOOP, (ראו סקר גרטנר בנושא פברואר 2013, סקר פורסטר רבעון ראשון 2014)

 

 

חברת MapR –שיפרה באופן משמעותי את מערכת הקבצים ( HDFS)  והפכה אותה לפשוטה ויעילה כולל עבודה טבעית בפרוטוקול NFS, עמידות מוגברת באמצעות ויכולות ניהול מתקדמות כולל MIRRORING  וSNAPSHOTS מובנים בין אתרים, תאימות לתשתיות האבטחה הארגוניות ועוד.

בחברת ווי אנקור קיימת מומחיות בהקמה, תפעול ופיתוח בסביבת Hadoop, בדגש על הכלים אותם מציעים IBM ו-MAPR. בנוסף הניסיון הרב של  ווי אנקור בעולם התשתיות בא לידי ביטוי בתכנון, התאמה והקמת התשתית החישובית המתאימה לדרישות הלקוח בין עם באתר המחשוב שלו או כשירות בענן.

 

 

 

we ankor