צפייה: מעקב אחר מערכות מבוזרות

האם אי פעם חיכית לחבילה האחת היקרה שמראה "נשלח", אבל אין לך מושג איפה היא? היסטוריית המעקב הפסיקה להתעדכן לפני חמישה ימים, וכמעט איבדת תקווה. אבל רגע, 11 ימים לאחר מכן, יש לך את זה בפתח ביתך. היית רוצה שהעקיבות הייתה יכולה להיות טובה יותר כדי לפטור אותך מכל ההמתנה המודאגת. כאן נכנסת לתמונה "הצפיות".

בנוף טכני, תרצה להימנע מכך שלא יקרה לתוכנה או למערכות הנתונים שלך. ובכך, אתם מאמצים כלי ניטור, אשר אוספים את היומנים והמדדים של המערכות שלכם ומודיעים לכם על מצבם הפנימי. הניטור פועל בצורה הטובה ביותר כאשר אתה רוצה שהמערכות שלך יודיעו לך מהי השגיאה, היכן ומתי היא קרתה, אך הוא לא אומר לך כיצד לפתור את השגיאה.

לפני יותר מעשור, כלי הניטור חסרו את ההקשר וראיית הנולד של בעיות המערכת הבסיסית והצוותים היו מוגבלים לאיתור שגיאות תפעוליות יומיומיות. כיום, אנו עובדים וחיים בעולם מבוזר של שירותי מיקרו ו צינורות נתונים; אפילו שימוש בכלי ניטור מרובים לא יעזור לך לענות על שאלות העסק שלך כמו "מדוע האפליקציה שלי תמיד איטית?" או "באיזה שלב התרחשה הבעיה, ועד כמה עמוקה היא בערימה?" או "כיצד אוכל לשפר את הביצועים הכוללים של הסביבה?" זה הופך להיות הכרחי להיות פרואקטיבי בקבלת החלטות אלה ולהיות בעל נראות כוללת של המערכות, היישומים והנתונים שלך.

זֶה בלוג מאת Etsy פורסם לפני עשור, והוא מציין את עצם העובדה בפסקה השנייה:

"מדדי יישום הם בדרך כלל הקשים ביותר, אך החשובים ביותר, מבין השלושה. הם מאוד ספציפיים לעסק שלך, והם משתנים ככל שהיישומים שלך משתנים (ואטסי משתנה הרבה).

אז איך אנחנו מודדים הכל ומשהו? אנחנו מתחילים בצפייה.

מהי צפייה?

המונח "צפיות" היה טבוע מאת Rudolf Emil Kálmán בשנת 1960 במאמר ההנדסי שלו לתיאור מערכות בקרה מתמטיות. הוא הגדיר זאת כמדד למידת היעילות שבה ניתן להסיק מצבים פנימיים של מערכת מהידע על התפוקות החיצוניות שלה. אבל זה לא נשמע כמו ניטור? בעיקרון, כן, זה ניטור.

בימים אלה, צפיות הפכה לנושא די חם. לפי מספר סקרי שוק, מדובר בפלטפורמה של מיליארד דולר. ארגונים רבים אימצו את הרעיון והשתמשו בו כמסגרת לנראות מקצה לקצה של המערכות והצינורות המבוזרים שלהם. עם זאת, צפייה מבולבלת עם ניטור. לעת עתה, אני יכול לומר שניטור הוא תת-קבוצה של צפיות, כאשר צפיות היא מונח גג אחד גדול. 

יכולת התצפית מאפשרת מעקב מבוזר באמצעות איסוף וצבירה של עקבות, יומנים ומדדים. בוא נראה מה אלה מסיקים:

• עקבות: כאשר מערכת מקבלת בקשה, עקבות מספרים לך כיצד בקשה זו זורמת, לאורך מחזור החיים שלה, מהמקור אל היעד. עקבות מיוצגות על ידי "מרווחים". עקבות היא עץ של טווחים, וטווח הוא פעולה בודדת בתוך עקבות. הם עוזרים לך לאתר שגיאות, חביון או צווארי בקבוק במערכת.
• יומנים: אלו הם אירועים עם חותמת זמן שנוצרו על ידי מכונה, המספרים לך על הפעולות או השינויים שקרו במערכת. יומנים משמשים לעתים קרובות לשאילתות על שגיאות או שינויים אלה במערכת.
• מדדים: אלה מספקים תובנות כמותיות על מעבד, זיכרון, שימוש בדיסק וכיצד המערכת מתפקדת לאורך תקופה.

תכונות אלו משפרות את מסגרת הניטור עם מעקב. עקיבות מספקת לך את העדשות להתחקות אחר בקשה שמבצעת קריאה למערכת שלך, כמה זמן לוקח לעבור מרכיב אחד למשנהו, אילו שירותים נוספים היא מפעילה, האם היא זורקת שגיאה כלשהי, אילו יומנים היא מייצרת, מה מצבה נמצא, מתי זה התחיל ונגמר, מהו ציר הזמן שבו הוא נשאר במערכת שלך וכו'. כשאתה אוסף, אוסף ומנתח את העקבות הללו, אתה יכול לקבל החלטות מושכלות חשובות כמו ציר זמן של לקוחות באתר מסחר אלקטרוני , כמה זמן לקח להם לחפש מוצר, כמה זמן הם צפו במוצר, האם דף HTML טען את הפרטים המלאים כמו תמונות או סרטונים משובצים, כמה זמן לקח למערכת לאמת ולעבד את התשלום וכו'.

מה אנחנו משיגים עם יכולת צפייה בסביבה מבוזרת?

האבולוציה של מערכות מבוזרות החלה כאשר ארגונים החלו להתרחק מארכיטקטורת המונוליט הריכוזית שלהם לארכיטקטורת מיקרו-שירותים מבוזרת ומבוזרת. וזו עדיין עבודה בתהליך שבה ארגונים רבים מאמצים את הטבע המיקרו-שירותי של מערכות ויישומים. ולכל זה אפשר לייחס נתונים גדולים ושינוי קנה מידה. ניהול סביבה מבוזרת דורש למידה מתמשכת, כוח אדם נוסף, שינויים במסגרות ובמדיניות, ניהול IT וכדומה. זה אכן שינוי גדול.

קודם לכן, בסביבה המונוליטית המוגבלת, החומרה, התוכנה, הנתונים ומסדי הנתונים חיו כולם תחת קורת גג אחת. עם הופעת הביג דאטה בשנות ה-2000, מערכות ניטור ושינוי קנה מידה החלו להפוך לדאגה עצומה. לעתים קרובות, ארגונים השתמשו בכלי ניטור שונים כדי לספק את הצרכים של היישומים השונים שלהם. כתוצאה מכך, הוא הפך במהרה לתקורה תפעולית עם חוסן, ראות ואמינות גרועים.

כל הסוגיות הללו הולידו את אימוץ הנראות. כיום, קיימים כלי צפייה מרובים עבור קווי אבטחה, רשת, יישומים ונתונים למעקב מבוזר בסביבה מורכבת. הם מתקיימים יחד עם בן דודם, כלי הניטור, ולוקחים את המינוף של איסוף המידע מבן דודם ומצטברים עם מידע נוסף מנתוני העקבות שלו.

יש הרבה רכיבים נעים בכל המערכות הללו, שעקבותיהם כשהם נלכדים יכולים להמחיש את הסיפור של 5 ה-Ws: מתי, איפה, למה, מה ואיך. לדוגמה, אתה נכנס לאתר של DATAVERSITY בשעה 1:43 כדי לקרוא כמה פוסטים בבלוג. כאשר אתה נכנס ל-dataversity.net, בקשת ה-HTTP נכנסת למערכת. אתה מתחיל לחפש פוסט בבלוג ועובר לפוסט Data Governance, שבו אתה מבלה 17 דקות בקריאת הפוסט הזה ואז אתה סוגר את הכרטיסייה שלך ב-2:00

כמו כן יתבצעו שיחות אחרות למערכת הרשת ללכידת מנות ברשת גם כן. כלי צפייה אוספים את כל הטווחים ומאחדים אותם בעקבות או עקבות, ומאפשרים לך לראות את הנתיב שנוצר במהלך מחזור חייו. אם יש לך בעיה כמו חביון רשת או פגם במערכת, עכשיו קל יותר לנתח (לקלף את הבצל) ולאפות באגים (שגיאה באיזו שכבה).

כעת בסביבה מבוזרת גדולה, כשהיישומים שלך מקבלים מיליוני בקשות, נתוני המעקב גדלים בנפח עצום. איסוף וניתוח עקבות אלה יקרים עבור צריכת אחסון והעברת נתונים. לכן, כדי לחסוך בעלויות, נתוני המעקב נדגמים, מכיוון שברוב המקרים, צוותי הנדסה צריכים רק חלק מהחלקים כדי לחקור מה השתבש או מהי דפוס השגיאה.

עם הדוגמה הקטנה הזו, אנו מבינים שאנו מקבלים תובנות הרבה יותר עמוקות על המערכות שלנו. לכן, בהתחשב בקנה מידה גדול יותר של מערכות, צוותי הנדסה יכולים ללכוד ולעבוד על הנתונים הנדגמים כדי לשפר את המבנה הנוכחי של המערכת, להחיל או להוציא רכיבים חדשים, להוסיף שכבת אבטחה נוספת, להסיר צווארי בקבוק וכן הלאה. 

האם ארגונים צריכים לבחור בהתבוננות?

כולנו צריכים להבין שהמטרות הסופיות הן חווית משתמש טובה יותר ושביעות רצון רבה יותר של המשתמש. והדרך להשגת יעדים אלו יכולה להיות קלה יותר עם מסגרת צפייה אוטומטית ויזומה. ביסוס תרבות של שיפור מתמיד ואופטימיזציה נחשבת לגישה העסקית והמנהיגותית האופטימלית. 

בעידן זה של טרנספורמציה דיגיטלית, יכולת התצפית הפכה לחובה כדי שעסק יצליח במסע הדיגיטלי שלו. התבוננות מספקת לך עקבות מעוררי תובנה, וגם מתמרנת אותך להיות מיודע בנתונים ולא רק מונע נתונים.

סיכום

למרות שהשתמשנו במונחים ניטור וצפיות לסירוגין, ראינו שבעוד הניטור מסייע לך במידע על תקינות המערכת והאירועים המתרחשים בה, יכולת הצפייה מאפשרת לך להסיק מסקנות על סמך ראיות שנאספו מרבדים עמוקים יותר של קצה- סביבת עד קצה.

צפייה היא ויכולה גם להיתפס כמרכיב של מסגרת Data Governance. בדור הזה, שבו נפח הנתונים ההולך וגדל נמצא ברשת של חומרה סחורה, חיוני לשמור על הארכיטקטורות פשוטות ככל האפשר. ולראיה, זו הופכת למשימה בלתי אפשרית לנהל את הסביבה בהמשך הקו. בכך, הטמעת מדיניות וכללים מתאימים ואוטומטיים לממשל כדי לשמור על הרשת הגדולה של מערכות, צינורות ונתונים מבולבלת, קריאות לפעולה מוקדם ממאוחר.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://www.dataversity.net/observability-traceability-for-distributed-systems/