כיצד אופטוס משפרת את חווית הלקוח הפס הרחב והנייד באמצעות פלטפורמת ניתוח נתוני הרשת ב- AWS

זהו פוסט בבלוג אורח שנכתב בשיתוף Rajagopal Mahendra, מנהל פיתוח ב-Optus IT Innovation Team.

---

Optus היא חלק מקבוצת The Singtel, הפועלת באחד מהאזורים הצומחים והדינאמיים ביותר בעולם, עם נוכחות ב-21 מדינות. Optus מספקת לא רק שירותי טלקום ליבה, אלא גם מגוון רחב של פתרונות דיגיטליים, כולל ענן, אבטחת סייבר ופרסום דיגיטלי לארגונים, כמו גם שירותי בידור ושירותים פיננסיים ניידים למיליוני צרכנים. Optus מספקת שירותי תקשורת סלולרית ללמעלה מ-10.4 מיליון לקוחות ושירותי פס רחב ללמעלה מ-1.1 מיליון בתים ועסקים. בנוסף, Optus Sport מחבר קרוב למיליון אוהדים לתכני פרמיירליג, כדורגל בינלאומי וכושר.

בפוסט זה, אנו מסתכלים על אופן השימוש ב-Optus אמזון קינסי להטמיע ולנתח נתונים הקשורים לרשת באגם נתונים ב-AWS ולשפר את חווית הלקוח ואת תהליך תכנון השירות.

האתגר

אתגר נפוץ עבור ספקי תקשורת הוא ליצור תצוגה מדויקת בזמן אמת של איכות השירות והבעיות שחווים לקוחותיהם. לאיכות הקישוריות הביתית והפס הרחב יש השפעה משמעותית על פרודוקטיביות ושביעות רצון הלקוחות, במיוחד בהתחשב בהסתמכות המוגברת על רשתות ביתיות לעבודה, חיבור עם משפחה וחברים ובידור במהלך מגיפת COVID-19.

בנוסף, לעיתים קרובות אין לצוותי פעולות ותכנון רשתות גישה לנתונים ולתובנות הנכונות כדי לתכנן השקות חדשות ולנהל את צי המכשירים הנוכחי שלהם.

פלטפורמת ניתוח הרשת מספקת נתונים ותובנות לפתרון בעיות ותכנון לצוותי Optus וללקוחותיהם בזמן כמעט אמת, מה שעוזר להפחית את הזמן הממוצע לתיקון ולשיפור חווית הלקוח. עם הנתונים והתובנות הנכונות, ללקוחות יש חוויה טובה יותר כי במקום להתחיל שיחת תמיכה עם הרבה שאלות, לצוות התמיכה וללקוח יש תצוגה עדכנית ומדויקת של השירותים והרשת הביתית של הלקוח.

צוותי בעלי שירות בתוך Optus יכולים גם להשתמש בתובנות ובמגמות הנגזרות מפלטפורמה זו כדי לתכנן טוב יותר את העתיד ולספק שירות איכותי יותר ללקוחות.

שיקולי עיצוב

כדי להתמודד עם האתגר הזה והדרישות שלו, התחלנו בפרויקט להפיכת מערכת איסוף ועיבוד האצווה הנוכחית שלנו למערכת עיבוד מבוססת זרמים, כמעט בזמן אמת, ולהציג ממשקי API לתובנות כך שמערכות תמיכה ויישומי לקוחות יוכלו להראות תמונת המצב האחרונה של מצב הרשת והשירות.

היו לנו הדרישות הפונקציונליות והלא פונקציונליות הבאות:

• הפלטפורמה החדשה חייבת להיות מסוגלת לתמוך בלכידת נתונים מסוגים עתידיים של ציוד לקוחות, כמו גם בדרכים חדשות להטמעה (פרוטוקולים ותדירות חדשים) ופורמטים חדשים של נתונים.
• זה אמור לתמוך במספר צרכנים (API כמעט בזמן אמת עבור צוות תמיכה ויישומי לקוחות ודיווח תפעולי ועסקי) כדי לצרוך נתונים ולהפיק תובנות. המטרה היא שהפלטפורמה תזהה בעיות באופן יזום ותיצור התראה מתאימה לצוות התמיכה וגם ללקוחות.
• לאחר הגעת הנתונים, תובנות מהנתונים אמורות להיות מוכנות בצורה של API תוך מספר שניות (מקסימום 5 שניות).
• הפלטפורמה החדשה צריכה להיות עמידה מספיק כדי להמשיך בעיבוד כאשר חלקים מהתשתית נכשלים, כגון צמתים או אזורי זמינות.
• זה יכול לתמוך במספר גדל של מכשירים ושירותים, כמו גם איסוף תכוף יותר מהמכשירים.
• צוות קטן צולב תפקודי על פני עסקים וטכנולוגיה יבנה וינהל את הפלטפורמה הזו. אנחנו צריכים להבטיח תשתית מינימלית ותקורה תפעולית בטווח הארוך.
• הצינור צריך להיות זמין ביותר ולאפשר פריסות חדשות ללא זמן השבתה.

סקירת פתרונות

מתוך מחשבה על מטרת הפלטפורמה ושיקולי העיצוב, החלטנו להשתמש בשירותים מסדר גבוה יותר ובשירותים ללא שרתים של AWS במידת האפשר, כדי למנוע תקורה תפעולית מיותרת לצוות שלנו ולהתמקד בצרכי הליבה העסקיים. זה כולל שימוש במשפחת השירותים של Kinesis לקליטה ועיבוד זרמים; AWS למבדה לעיבוד; אמזון דינמו, שירות מסדי נתונים יחסי של אמזון (אמזון RDS), ו שירות אחסון פשוט של אמזון (Amazon S3) עבור התמדה נתונים; ו גבעול שעועית אלסטית AWS ו שער API של אמזון להגשת יישומים ו-API. התרשים הבא מציג את הפתרון הכולל.

הפתרון קולט קובצי יומן מאלפי ציוד רשת של לקוחות (נתבים ביתיים) בתקופות מוגדרות מראש. ציוד הלקוח מסוגל לשלוח רק בקשות HTTP PUT ו-POST פשוטות להעברת קובצי יומן. כדי לקבל קבצים אלה, אנו משתמשים באפליקציית Java הפועלת בקבוצת קנה מידה אוטומטי של ענן מחשוב אלסטי של אמזון (Amazon EC2) מופעים. לאחר כמה בדיקות ראשוניות, אפליקציית המקלט מבצעת ניקוי ועיצוב, ואז היא מזרימה את קבצי היומן זרמי נתונים של אמזון קינסי.

אנו משתמשים בכוונה ביישום מקלט מותאם אישית בשכבת ההטמעה כדי לספק גמישות בתמיכה במכשירים ובפורמטים שונים של קבצים.

כדי להבין את שאר הארכיטקטורה, בואו נסתכל על התובנות הצפויות. הפלטפורמה מייצרת שני סוגים של תובנות:

• תובנות אישיות – שאלות שנענה בקטגוריה זו כוללות:
  • כמה שגיאות חווה מכשיר לקוח מסוים ב-15 הדקות האחרונות?
  • מה הייתה השגיאה האחרונה?
  • כמה מכשירים מחוברים כרגע בבית לקוח מסוים?
  • מהו קצב ההעברה/קבלה כפי שנקלט במכשיר מסוים של לקוח?
• תובנות בסיסיות – בנוגע לקבוצה או לכל בסיס המשתמשים, שאלות בקטגוריה זו כוללות:
  • כמה מכשירי לקוחות דיווחו על הפרעה בשירות ב-24 השעות האחרונות?
  • אילו סוגי מכשירים (דגמים) חוו את המספר הגבוה ביותר של שגיאות ב-6 החודשים האחרונים?
  • לאחר עדכון התיקון אמש בקבוצת מכשירים, האם הם דיווחו על שגיאות כלשהן? האם התחזוקה הצליחה?

הנתיב העליון בארכיטקטורה מציג את הצינור שמייצר את התובנות האישיות.

מיפוי מקור האירועים של פונקציית Lambda מוגדר לצרוך רשומות מזרם הנתונים של Kinesis. פונקציה זו קוראת את הרשומות, הפורמטים ומכינה אותם על סמך התובנות הנדרשות. לבסוף, הוא מאחסן את התוצאות במיקום Amazon S3 וגם מעדכן טבלת DynamoDB ששומרת על סיכום ומטא נתונים של הנתונים בפועל המאוחסנים באמזון S3.

כדי לייעל את הביצועים, הגדרנו שני מדדים במיפוי מקור אירועי Lambda:

• גודל אצווה – מציג את מספר הרשומות שיש לשלוח לפונקציה בכל אצווה, מה שעוזר להשיג תפוקה גבוהה יותר
• אצוות במקביל לכל רסיס - מעבד מספר אצוות מאותו רסיס במקביל, מה שעוזר לעיבוד מהיר יותר

לבסוף, ה-API מסופק דרך API Gateway ופועל על יישום Spring Boot שמתארח ב-Elastic Beanstalk. בעתיד, ייתכן שנצטרך לשמור על מצב בין קריאות API, וזו הסיבה שאנו משתמשים ב- Elastic Beanstalk במקום באפליקציה ללא שרת.

הנתיב התחתון בארכיטקטורה הוא הצינור שמייצר דוחות בסיס.

אנו משתמשים ניתוח נתונים של אמזון Kinesis, הפעלת חישוב מצבי על נתונים זורמים, כדי לסכם מדדים מסוימים כמו קצבי העברה או שיעורי שגיאה בחלונות זמן נתונים. סיכומים אלה נדחפים לאחר מכן ל-an אמזון אורורה מסד נתונים עם מודל נתונים המתאים למטרות דשבורד ודיווח.

לאחר מכן, התובנות מוצגות במרכזי מחוונים באמצעות יישום אינטרנט הפועל על Elastic Beanstalk.

לקחים שהופק

שימוש בתבניות ללא שרתים ובשירותים מסדר גבוה יותר, בפרט Lambda, Kinesis Data Streams, Kinesis Data Analytics ו-DynamoDB, סיפק גמישות רבה בארכיטקטורה שלנו ועזר לנו להתקדם יותר לכיוון של שירותי מיקרו ולא לעבודות אצווה גדולות.

השינוי הזה גם עזר לנו להפחית באופן דרמטי את התקורה התפעולית והניהולית שלנו. לדוגמה, במהלך החודשים האחרונים מאז ההשקה, לקוחות של פלטפורמה זו לא חוו הפרעות בשירות.

הפתרון הזה גם איפשר לנו לאמץ יותר DevOps ודרכי עבודה זריזות, במובן זה שצוות קטן יחיד מפתח ומנהל את המערכת. זה בתורו איפשר לארגון להיות זריז יותר וחדשני בתחום זה.

גילינו גם כמה טיפים טכניים במהלך הפיתוח והייצור ששווה לשתף:

תוצאות והטבות

כעת יש לנו נראות כמעט בזמן אמת של ביצועי הרשתות הנייחות והסלולריות שלנו, כפי שחוו הלקוחות שלנו. בעבר, היו לנו רק נתונים שהגיעו במצב אצווה באיחור וגם רק מגששי הרשת והציוד שלנו.

עם תצוגה כמעט בזמן אמת של הרשת כאשר מתרחשים שינויים, הצוותים התפעוליים שלנו יכולים גם לבצע שדרוגים ותחזוקה בכל צי המכשירים של לקוחות בביטחון ותדירות גבוהים יותר.

לבסוף, צוותי התכנון שלנו משתמשים בתובנות אלו כדי ליצור תמונת ביצועים מדויקת ועדכנית של ציוד ושירותים שונים. זה מוביל לשירות איכותי יותר עבור הלקוחות שלנו במחירים טובים יותר מכיוון שצוותי תכנון השירותים שלנו מאפשרים לייעל את העלות, לנהל משא ומתן טוב יותר עם ספקים וספקי שירותים ולתכנן את העתיד.

להסתכל קדימה

עם פלטפורמת ניתוח הרשת בייצור כבר מספר חודשים ויציבה כעת, יש ביקוש לתובנות נוספות ולמקרי שימוש חדשים. לדוגמה, אנו בוחנים מקרה שימוש בנייד כדי לנהל טוב יותר את הקיבולת באירועים בקנה מידה גדול (כגון אירועי ספורט). המטרה היא שהצוותים שלנו יהיו מונעי נתונים ויוכלו להגיב כמעט בזמן אמת לצרכי הקיבולת באירועים אלה.

תחום ביקוש נוסף הוא סביב תחזוקה חזויה: אנו מחפשים להכניס למידת מכונה לתוך הצינורות הללו כדי לעזור להעלות תובנות בצורה מהירה ומדויקת יותר על ידי שימוש בתיק השירותים של AWS Machine Learning.

---

על המחברים

ראג'גופאל מהנדרן הוא מנהל פיתוח ב-Optus IT Innovation Team. ל-Mahendran יש למעלה מ-14 שנות ניסיון בארגונים שונים המספקים יישומים ארגוניים מקנה מידה בינוני ועד גדול מאוד תוך שימוש בטכנולוגיות מוכחות עד מתקדמות בתחום הביג דאטה, יישומי הזרמת נתונים, מובייל ויישומים מקוריים בענן. התשוקה שלו היא להניע רעיונות חדשניים באמצעות טכנולוגיה לחיים טובים יותר. בזמנו הפנוי, הוא אוהב ללכת בשיחים ולשחות.

מוסטפא ספיפור הוא אדריכל פתרונות ב-AWS שבסיסו מסידני. הוא עובד עם לקוחות כדי לממש תוצאות עסקיות באמצעות טכנולוגיה ו-AWS. במהלך העשור האחרון הוא עזר לארגונים גדולים רבים באזור ANZ לבנות את עומסי הנתונים, הדיגיטל והארגונים שלהם ב-AWS.

מסודור רחמן סאיים הוא ארכיטקט פתרונות מומחה ל-Analytics ב-AWS. הוא עובד עם לקוחות AWS כדי לספק הדרכה וסיוע טכני בפרויקטים של נתונים וניתוח, ועוזר להם לשפר את הערך של הפתרונות שלהם בעת השימוש ב-AWS. הוא נלהב ממערכות מבוזרות. הוא גם אוהב לקרוא, במיוחד חוברות קומיקס קלאסיות.

מקור: https://aws.amazon.com/blogs/big-data/how-optus-improves-broadband-and-mobile-customer-experience-using-the-network-data-analytics-platform-on-aws/