Observerbarhet: Sporbarhet for distribuerte systemer

Har du noen gang ventet på den ene dyre pakken som viser "sendt", men du har ingen anelse om hvor den er? Sporingshistorikken sluttet å oppdatere for fem dager siden, og du har nesten mistet håpet. Men vent, 11 dager senere har du den på dørstokken. Du skulle ønske at sporbarheten kunne vært bedre for å befri deg fra all den engstelige ventingen. Det er her "observerbarhet" kommer inn.

I et teknisk landskap ønsker du å unngå at dette skjer med programvaren eller datasystemene dine. Og dermed tar du i bruk overvåkingsverktøy, som samler loggene og metrikkene til systemene dine og informerer deg om deres interne tilstand. Overvåking fungerer best når du vil at systemene dine skal informere deg om hva feilen er, hvor og når den skjedde, men den forteller deg ikke hvordan du skal løse feilen.

For mer enn et tiår siden manglet overvåkingsverktøy konteksten og framsynet til underliggende systemproblemer, og teamene ville være begrenset til å feilsøke daglige driftsfeil. I dag jobber og lever vi i en distribuert verden av mikrotjenester og datarørledninger; Selv bruk av flere overvåkingsverktøy vil ikke hjelpe deg med å svare på forretningsspørsmål som "Hvorfor er applikasjonen min alltid treg?" eller "På hvilket stadium oppsto problemet, og hvor dypt er det i stabelen?" eller "Hvordan kan jeg forbedre den generelle ytelsen til miljøet?" Det blir nødvendig å være proaktiv i å ta disse beslutningene og ha en generell synlighet av systemene, applikasjonene og dataene dine.

Dette blogginnlegg av Etsy ble publisert for et tiår siden, og det står selve faktum i andre avsnitt:

"Applikasjonsmålinger er vanligvis de vanskeligste, men likevel viktigste, av de tre. De er veldig spesifikke for virksomheten din, og de endres etter hvert som applikasjonene dine endres (og Etsy endrer seg mye).»

Så, hvordan måler vi alt og noe? Vi starter med observerbarhet.

Hva er observerbarhet?

Begrepet "observerbarhet" var laget av Rudolf Emil Kálmán i 1960 i hans ingeniøroppgave for å beskrive matematiske kontrollsystemer. Han definerte det som et mål på hvor godt interne tilstander i et system kan utledes fra kunnskap om dets eksterne utganger. Men høres det ikke ut som overvåking? I utgangspunktet, ja, det er overvåking.

I disse dager har observerbarhet blitt et ganske hett tema. Ifølge flere markedsundersøkelser er det en milliardplattform. Mange organisasjoner har tatt i bruk konseptet og brukt det som et rammeverk for ende-til-ende-synlighet av deres distribuerte systemer og rørledninger. Observerbarhet forveksles imidlertid med overvåking. Foreløpig kan jeg si at overvåking er en delmengde av observerbarhet, der observerbarhet er ett stort paraplybegrep. 

Observerbarhet tillater distribuert sporing gjennom innsamling og aggregering av spor, logger og beregninger. La oss se hva disse konkluderer med:

• Spor: Når et system mottar en forespørsel, forteller sporene deg hvordan den forespørselen flyter, gjennom hele livssyklusen, fra kilden til destinasjonen. Spor er representert med "spenn". Et spor er et tre av spenn, og et spenn er en enkelt operasjon i et spor. De hjelper deg med å finne feil, ventetid eller flaskehalser i systemet.
• logger: Dette er maskingenererte tidsstemplede hendelser som forteller deg om operasjonene eller endringene som skjedde i systemet. Logger brukes ofte for å spørre etter disse feilene eller endringene i systemet.
• Beregninger: Disse gir kvantitativ innsikt om CPU, minne, diskbruk og hvordan systemet yter over en tidsperiode.

Disse attributtene forbedrer overvåkingsrammeverket med sporbarhet. Sporbarhet gir deg linsene for å spore en forespørsel som ringer systemet ditt, hvor lang tid det tar å gå fra en komponent til en annen, hvilke andre tjenester den påkaller, gir den noen feil, hvilke logger den produserer, hvilken status den er i, når startet og sluttet det, hva er tidslinjen det ble i systemet ditt osv. Når du samler inn, samler og analyserer disse sporene, er du i stand til å ta verdifulle informerte beslutninger som kundens tidslinje på et e-handelsnettsted , hvor lang tid det tok dem å søke etter et produkt, hvor lang tid de så på produktet, lastet HTML-siden inn de fullstendige detaljene som bilder eller innebygde videoer, hvor lang tid systemet tok å autentisere og behandle betalingen osv.

Hva oppnår vi med observerbarhet i et distribuert miljø?

Utviklingen av distribuerte systemer begynte da organisasjoner begynte å bevege seg bort fra sin sentraliserte monolittarkitektur til en distribuert og desentralisert mikrotjenestearkitektur. Og dette er fortsatt et arbeid som pågår der mange organisasjoner omfavner mikroservicekarakteren til systemer og applikasjoner. Og alt dette kan tilskrives store data og skalering. Å administrere et distribuert miljø krever kontinuerlig læring, ekstra arbeidskraft, endringer i rammer og retningslinjer, IT-administrasjon og så videre. Det er virkelig en stor forandring.

Tidligere, i det begrensede monolittiske miljøet, bodde maskinvaren, programvaren, dataene og databasene under ett, enkelt tak. Med bruken av big data på 2000-tallet begynte overvåkings- og skaleringssystemer å bli en stor bekymring. Ofte brukte organisasjoner forskjellige overvåkingsverktøy for å imøtekomme behovene til deres forskjellige applikasjoner. Som et resultat ble det snart en operativ overhead med dårlig spenst, synlighet og pålitelighet.

Alle disse problemene førte til at observerbarhet ble tatt i bruk. I dag finnes det flere observerbarhetsverktøy for sikkerhet, nettverk, applikasjoner og datapipelines for distribuert sporing i et komplekst miljø. De sameksisterer med sin fetter, overvåkingsverktøyene, og tar fordelen av å samle informasjonen fra sin fetter og samle med tilleggsinformasjon fra sine egne sporingsdata.

Det er mange bevegelige komponenter i alle disse systemene, hvis spor når de fanges opp, kan illustrere historien om de 5 W-ene: når, hvor, hvorfor, hva og hvordan. Du går for eksempel inn på DATAVERSITYs nettside klokken 1:43 for å lese noen blogginnlegg. Når du treffer dataversity.net, blir HTTP-forespørselen logget inn i systemet. Du begynner å søke etter et blogginnlegg og går til et Data Governance-innlegg, hvor du bruker 17 minutter på å lese det innlegget, og deretter lukker du fanen klokken 2

Det vil også bli gjort andre anrop til nettverkssystemet for nettverkspakkefangst også. Observerbarhetsverktøy samler alle spennene og forener dem i et spor eller spor, slik at du kan se banen den dannet i løpet av livssyklusen. Hvis du har et problem som nettverksforsinkelse eller en systemdefekt, er det nå lettere å dissekere (skrelle løken) og feilsøke problemet (feil i hvilket lag).

Nå i et stort distribuert miljø, når applikasjonene dine mottar millioner av forespørsler, vokser sporingsdataene i et enormt volum. Å samle og analysere disse sporene er dyrt for lagringsforbruk og dataoverføring. Så for å spare kostnader blir sporingsdataene samplet, fordi i de fleste tilfeller trenger ingeniørteam bare noen av delene for å undersøke hva som gikk galt eller hva som er feilmønsteret.

Med det lille eksemplet forstår vi at vi får mye dypere innsikt i systemene våre. Så, med tanke på en større skala av systemer, kan ingeniørteam fange opp og arbeide med samplede data for å forbedre den nåværende strukturen til systemet, bruke eller trekke tilbake nye komponenter, legge til et nytt sikkerhetslag, fjerne flaskehalser og så videre. 

Bør organisasjoner velge observerbarhet?

Vi bør alle forstå at sluttmålene er bedre brukeropplevelse og større brukertilfredshet. Og veien til å nå disse målene kan gjøres enklere med et automatisert og proaktivt observerbarhetsrammeverk. Å etablere en kultur for kontinuerlig forbedring og optimalisering anses som den optimale forretnings- og ledelsestilnærmingen. 

I denne tidsalderen med digital transformasjon har observerbarhet blitt et must for at en bedrift skal lykkes i sin digitale reise. Observerbarhet gir deg innsiktsfulle spor og manøvrerer deg også til å være datainformert i stedet for bare datadrevet.

konklusjonen

Selv om vi har brukt begrepene overvåking og observerbarhet om hverandre, har vi sett at mens overvåking hjelper deg med informasjon om helsen til systemet og hendelser som skjer på det, gjør observerbarhet det lettere for deg å trekke slutninger basert på bevis samlet fra dypere lag av en slutt- til slutt miljø.

Observerbarhet er og kan også oppfattes som en komponent i Data Governance-rammeverket. I denne generasjonen, hvor det stadig økende datavolumet ligger på et nettverk av råvaremaskinvare, er det viktig å holde arkitekturene så enkle som mulig. Og tydeligvis blir det en umulig oppgave å administrere miljøet på langs. Implementering av hensiktsmessige og automatiserte styringspolicyer og regler for å holde det store nettverket av systemer, rørledninger og data ryddet krever handling tidligere enn senere.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://www.dataversity.net/observability-traceability-for-distributed-systems/