Gözlemlenebilirlik: Dağıtık Sistemler İçin İzlenebilirlik

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Hiç "gönderildi" yazan pahalı paketi beklediniz mi, ancak nerede olduğu hakkında hiçbir fikriniz yok mu? İzleme geçmişi beş gün önce güncellenmeyi durdurdu ve neredeyse umudunuzu yitirdiniz. Ama bekleyin, 11 gün sonra kapınızda. İzlenebilirliğin sizi tüm endişeli bekleyişlerden kurtarmak için daha iyi olmasını dilediniz. İşte burada “gözlemlenebilirlik” devreye giriyor.

Teknik bir ortamda, bunun yazılım veya veri sistemlerinize olmasını önlemek istersiniz. Böylece, sistemlerinizin günlüklerini ve ölçümlerini toplayan ve size bunların dahili durumu hakkında bilgi veren izleme araçlarını kullanırsınız. İzleme en iyi, sistemlerinizin hatanın ne olduğu, nerede ve ne zaman olduğu konusunda sizi bilgilendirmesini istediğinizde çalışır, ancak size hatayı nasıl çözeceğinizi söylemez.

On yıldan uzun bir süre önce, izleme araçları, temel sistem sorunlarının bağlamı ve öngörüsünden yoksundu ve ekipler, günlük operasyonel hatalarda hata ayıklamakla sınırlı kalacaktı. Bugün dağıtılmış bir mikro hizmetler dünyasında çalışıyor ve yaşıyoruz. veri boru hatları; birden fazla izleme aracı kullanmak bile "Uygulamam neden her zaman yavaş?" gibi işle ilgili sorularınızı yanıtlamanıza yardımcı olmaz. veya "Sorun hangi aşamada ortaya çıktı ve yığının ne kadar derininde?" veya "Ortamın genel performansını nasıl geliştirebilirim?" Bu kararları alırken proaktif olmak ve sistemleriniz, uygulamalarınız ve verileriniz hakkında genel bir görünürlüğe sahip olmak gerekli hale gelir.

Bu blog yazısı Etsy tarafından on yıl önce yayınlandı ve ikinci paragrafta gerçeği belirtiyor:

"Uygulama ölçütleri genellikle üçü arasında en zor ama en önemlisidir. İşletmenize çok özeldirler ve uygulamalarınız değiştikçe değişirler (ve Etsy çok değişir).

Peki, her şeyi ve her şeyi nasıl ölçeceğiz? Gözlemlenebilirlikle başlıyoruz.

Gözlemlenebilirlik Nedir?

"Gözlemlenebilirlik" terimi, icat Rudolf Emil Kálmán tarafından 1960 yılında mühendislik makalesinde matematiksel kontrol sistemlerini tanımlamak için. Bir sistemin iç durumlarının, dış çıktılarının bilgisinden ne kadar iyi çıkarılabileceğinin bir ölçüsü olarak tanımladı. Ama gözetleme gibi gelmiyor mu? Temel olarak, evet, izliyor.

Bu günlerde, gözlemlenebilirlik oldukça sıcak bir konu haline geldi. Birkaç pazar araştırmasına göre milyar dolarlık bir platform. Pek çok kuruluş konsepti benimsemiş ve dağıtılmış sistemlerinin ve boru hatlarının uçtan uca görünürlüğü için bir çerçeve olarak kullanmıştır. Ancak gözlemlenebilirlik, izleme ile karıştırılmaktadır. Şimdilik izlemenin, gözlemlenebilirliğin büyük bir şemsiye terim olduğu bir alt kümesi olduğunu söyleyebilirim.

Gözlenebilirlik, izlemeleri, günlükleri ve ölçümleri toplayıp bir araya getirerek dağıtılmış izlemeye olanak tanır. Bunların ne anlama geldiğini görelim:

İzler: Bir sistem bir istek aldığında, izlemeler size bu isteğin yaşam döngüsü boyunca kaynaktan hedefe nasıl aktığını söyler. İzler "açıklıklar" ile temsil edilir. İz, yayılma ağacıdır ve yayılma, iz içindeki tek bir işlemdir. Sistemdeki hataları, gecikmeleri veya darboğazları bulmanıza yardımcı olurlar.
Kayıtlar: Bunlar, sistemde meydana gelen işlemler veya değişiklikler hakkında size bilgi veren, makine tarafından oluşturulan zaman damgalı olaylardır. Günlükler genellikle sistemdeki bu hataları veya değişiklikleri sorgulamak için kullanılır.
Metrik: Bunlar, CPU, bellek, disk kullanımı ve sistemin belirli bir süre boyunca nasıl performans gösterdiği hakkında nicel içgörüler sağlar.

Bu nitelikler, izleme çerçevesini izlenebilirlikle geliştirir. İzlenebilirlik, sisteminize çağrı yapan bir isteği, bir bileşenden diğerine geçişin ne kadar sürdüğünü, başka hangi hizmetleri çağırdığını, herhangi bir hata veriyor mu, hangi günlükleri üretiyor, hangi durumu izliyor? ne zaman başladı ve bitti, sisteminizde kaldığı zaman çizelgesi vb. Bu izleri topladığınızda, birleştirdiğinizde ve analiz ettiğinizde, bir e-ticaret web sitesinde müşteri zaman çizelgesi gibi değerli bilinçli kararlar verebilirsiniz , bir ürünü aramalarının ne kadar sürdüğü, ürünü ne kadar süreyle görüntüledikleri, HTML sayfasının resimler veya gömülü videolar gibi tüm ayrıntıları yükleyip yüklemediği, sistemin kimlik doğrulamasının ve ödemeyi işleme koymasının ne kadar sürdüğü vb.

Dağıtılmış Bir Ortamda Gözlemlenebilirlik İle Neler Elde Ediyoruz?

Dağıtılmış sistemlerin evrimi, kuruluşların merkezi monolit mimarilerinden dağıtılmış ve merkezi olmayan bir mikro hizmet mimarisine geçmeye başlamasıyla başladı. Ve bu, birçok kuruluşun sistemlerin ve uygulamaların mikro hizmet doğasını benimsediği, halen devam eden bir çalışmadır. Ve tüm bunlara atfedilebilir büyük veri ve ölçekleme. Dağıtılmış bir ortamı yönetmek, sürekli öğrenme, ek iş gücü, çerçeve ve politikalarda değişiklikler, BT yönetimi vb. gerektirir. Gerçekten de büyük bir değişiklik.

Daha önce, sınırlı yekpare ortamda, donanım, yazılım, veri ve veritabanlarının tümü tek bir çatı altında yaşıyordu. 2000'li yıllarda büyük verinin ortaya çıkmasıyla birlikte, izleme ve ölçeklendirme sistemleri büyük bir endişe kaynağı olmaya başladı. Çoğu zaman kuruluşlar, çeşitli uygulamalarının ihtiyaçlarını karşılamak için farklı izleme araçları kullanırdı. Sonuç olarak, kısa sürede zayıf esneklik, görünürlük ve güvenilirlik ile operasyonel bir ek yük haline geldi.

Bütün bu sorunlar gözlemlenebilirliğin benimsenmesine neden oldu. Bugün, karmaşık bir ortamda dağıtılmış izleme için güvenlik, ağ, uygulama ve veri boru hatları için birden fazla gözlemlenebilirlik aracı mevcuttur. Kuzenleri olan izleme araçlarıyla birlikte var olurlar ve kuzenlerinden bilgi toplama avantajını kullanırlar ve kendi iz verilerinden ek bilgilerle bir araya getirirler.

Tüm bu sistemlerde, izleri yakalandığında 5 W'nin hikayesini açıklayabilen çok sayıda hareketli bileşen vardır: ne zaman, nerede, neden, ne ve nasıl. Örneğin, bazı blog yazılarını okumak için DATAVERSITY'nin web sitesine 1:43'te giriyorsunuz. dataversity.net'e tıkladığınızda, HTTP isteği sisteme kaydedilir. Bir blog gönderisi aramaya başlarsınız ve bir Veri Yönetişimi gönderisine gidersiniz, burada 17 dakikanızı o gönderiyi okuyarak geçirirsiniz ve ardından saat 2:00'te sekmenizi kapatırsınız.

Ağ paketi yakalama için ağ sistemine yapılan başka çağrılar da olacaktır. Gözlenebilirlik araçları, tüm yayılma alanlarını toplar ve bunları bir iz veya izlerde birleştirerek yaşam döngüsü boyunca oluşturduğu yolu görmenizi sağlar. Ağ gecikmesi veya sistem hatası gibi bir sorununuz varsa, sorunu incelemek (soğanı soymak) ve sorunu ayıklamak (hatanın hangi katmanda olduğu) artık daha kolay.

Artık geniş bir dağıtılmış ortamda, uygulamalarınız milyonlarca istek aldığında, izleme verileri çok büyük bir hacimde büyüyor. Bu izleri toplamak ve analiz etmek, depolama tüketimi ve veri aktarımı için pahalıdır. Bu nedenle, maliyetten tasarruf etmek için izleme verileri örneklenir, çünkü çoğu durumda mühendislik ekipleri neyin yanlış gittiğini veya hata modelinin ne olduğunu araştırmak için yalnızca bazı parçalara ihtiyaç duyar.

Bu küçük örnekle, sistemlerimiz hakkında çok daha derin içgörüler elde ettiğimizi anlıyoruz. Böylece, daha büyük bir sistem ölçeği göz önüne alındığında, mühendislik ekipleri sistemin mevcut yapısını iyileştirmek, yeni bileşenleri uygulamak veya kullanımdan kaldırmak, başka bir güvenlik katmanı eklemek, darboğazları gidermek vb. için örneklenmiş verileri yakalayabilir ve bunlar üzerinde çalışabilir.

Kuruluşlar Gözlemlenebilirliği Seçmeli mi?

Nihai hedeflerin daha iyi kullanıcı deneyimi ve daha fazla kullanıcı memnuniyeti olduğunu hepimiz anlamalıyız. Ve bu hedeflere ulaşmanın yolu, otomatikleştirilmiş ve proaktif bir gözlemlenebilirlik çerçevesiyle daha kolay hale getirilebilir. Sürekli iyileştirme ve optimizasyon kültürü oluşturmak, en uygun iş ve liderlik yaklaşımı olarak kabul edilir.

Bu dijital dönüşüm çağında, gözlemlenebilirlik, bir işletmenin dijital yolculuğunda başarılı olması için sahip olması gereken bir zorunluluk haline geldi. Size anlayışlı izler sağlayan gözlemlenebilirlik, aynı zamanda sizi yalnızca veri odaklı olmak yerine verilerden haberdar olmaya yönlendirir.

Sonuç

İzleme ve gözlemlenebilirlik terimlerini birbirinin yerine kullanmış olsak da, izlemenin size sistemin sağlığı ve üzerinde meydana gelen olaylar hakkında bilgi verirken, gözlemlenebilirliğin bir sonun daha derin katmanlarından toplanan kanıtlara dayalı çıkarımlar yapmanızı kolaylaştırdığını gördük. sonuna kadar ortam.

Gözlenebilirlik, Veri Yönetişimi çerçevesinin bir bileşenidir ve böyle algılanabilir. Sürekli artan veri hacminin ticari bir donanım ağında bulunduğu bu nesilde, mimarileri olabildiğince basit tutmak hayati önem taşıyor. Ve belli ki, çevreyi yönetmek imkansız bir görev haline geliyor. Böylece, geniş sistem ağınızı, boru hatlarınızı ve verileri derli toplu eylem çağrılarınızı daha erken tutmak için uygun ve otomatik yönetişim politikaları ve kuralları uygulamak.