Kako Optus izboljšuje širokopasovno in mobilno uporabniško izkušnjo z uporabo platforme Network Data Analytics na AWS

To je gostujoča objava v spletnem dnevniku, ki jo je soavtor napisal Rajagopal Mahendran, vodja razvoja pri Optus IT Innovation Team.

---

Optus je del skupine The Singtel, ki deluje v eni najhitreje rastočih in najbolj dinamičnih regij na svetu, prisotna pa je v 21 državah. Optus ne zagotavlja le osnovnih telekomunikacijskih storitev, temveč tudi obsežen nabor digitalnih rešitev, vključno z oblakom, kibernetsko varnostjo in digitalnim oglaševanjem za podjetja, pa tudi z zabavnimi in mobilnimi finančnimi storitvami za milijone potrošnikov. Optus zagotavlja mobilne komunikacijske storitve za več kot 10.4 milijona strank in širokopasovne storitve za več kot 1.1 milijona domov in podjetij. Poleg tega Optus Sport povezuje skoraj 1 milijon oboževalcev s Premier League, mednarodnim nogometom in fitnes vsebinami.

V tej objavi si ogledamo, kako je Optus uporabljal Amazon Kinesis za vnos in analizo podatkov, povezanih z omrežjem, v podatkovnem jezeru na AWS ter izboljšanje uporabniške izkušnje in procesa načrtovanja storitev.

Izziv

Pogost izziv za ponudnike telekomunikacij je oblikovati natančen pogled v realnem času na kakovost storitev in težave, s katerimi se soočajo njihove stranke. Kakovost domačega omrežja in širokopasovne povezave pomembno vpliva na produktivnost in zadovoljstvo strank, zlasti glede na povečano odvisnost od domačih omrežij za delo, povezovanje z družino in prijatelji ter zabavo med pandemijo COVID-19.

Poleg tega ekipe za omrežne operacije in načrtovanje pogosto nimajo dostopa do pravih podatkov in vpogledov za načrtovanje novih uvedb in upravljanje trenutne flote naprav.

Platforma za omrežno analitiko zagotavlja podatke za odpravljanje težav in načrtovanje ter vpoglede ekipam Optusa in njihovim strankam v skoraj realnem času, kar pomaga skrajšati povprečni čas za odpravo napak in izboljšati uporabniško izkušnjo. S pravimi podatki in vpogledi imajo stranke boljšo izkušnjo, saj imajo podporno osebje in stranka namesto začetka klica podpore s številnimi vprašanji trenutni in natančen vpogled v storitve in domače omrežje stranke.

Ekipe lastnikov storitev znotraj Optusa lahko uporabijo tudi vpoglede in trende, ki izhajajo iz te platforme, da bolje načrtujejo prihodnost in strankam zagotovijo storitve višje kakovosti.

Oblikovanje pomislekov

Da bi se spopadli s tem izzivom in njegovimi zahtevami, smo se lotili projekta preoblikovanja našega trenutnega sistema za zbiranje in obdelavo paketov v sistem za obdelavo, ki temelji na toku, v skoraj realnem času, in uvedli API-je za vpoglede, tako da lahko podporni sistemi in aplikacije strank prikažejo najnovejši posnetek stanja omrežja in storitve.

Imeli smo naslednje funkcionalne in nefunkcionalne zahteve:

• Nova platforma mora biti sposobna podpirati zajemanje podatkov iz prihodnjih vrst uporabniške opreme ter nove načine vnosa (novi protokoli in frekvenca) in nove formate podatkov.
• Podpirati mora več uporabnikov (API v skoraj realnem času za podporno osebje in aplikacije strank ter operativno in poslovno poročanje) za porabo podatkov in ustvarjanje vpogledov. Cilj je, da platforma proaktivno odkrije težave in ustvari ustrezno opozorilo za podporno osebje in stranke.
• Ko podatki prispejo, bi morali biti vpogledi iz podatkov pripravljeni v obliki API-ja v nekaj sekundah (največ 5 sekund).
• Nova platforma bi morala biti dovolj odporna za nadaljevanje obdelave, ko odpovejo deli infrastrukture, kot so vozlišča ali območja razpoložljivosti.
• Podpira lahko povečano število naprav in storitev ter pogostejše zbiranje iz naprav.
• Majhna medfunkcionalna ekipa v podjetju in tehnologiji bo zgradila in vodila to platformo. Dolgoročno moramo zagotoviti minimalno infrastrukturo in operativne stroške.
• Cevovod mora biti zelo razpoložljiv in omogočati nove uvedbe brez izpadov.

Pregled rešitev

Z upoštevanjem cilja platforme in zasnove smo se odločili, da bomo, kjer je to mogoče, uporabili storitve višjega reda in brezstrežniške storitve AWS, da bi se izognili nepotrebnim operativnim stroškom za našo ekipo in se osredotočili na osnovne poslovne potrebe. To vključuje uporabo družine storitev Kinesis za zajemanje in obdelavo toka; AWS Lambda za predelavo; Amazon DynamoDB, Služba za relacijske baze podatkov Amazon (Amazon RDS) in Preprosta storitev shranjevanja Amazon (Amazon S3) za obstojnost podatkov; in AWS Elastični fižol in Amazon API Gateway za uporabo aplikacij in API-jev. Naslednji diagram prikazuje celotno rešitev.

Rešitev zaužije dnevniške datoteke iz več tisoč omrežne opreme strank (domači usmerjevalniki) v vnaprej določenih obdobjih. Oprema stranke je sposobna samo pošiljati preproste zahteve HTTP PUT in POST za prenos dnevniških datotek. Za prejemanje teh datotek uporabljamo aplikacijo Java, ki se izvaja v skupini Auto Scaling Amazonski elastični računalniški oblak (Amazon EC2) primerki. Po nekaj začetnih preverjanjih aplikacija sprejemnik izvede čiščenje in formatiranje, nato pa pretaka dnevniške datoteke Amazonski kinezi podatkovni tokovi.

Namerno uporabljamo aplikacijo sprejemnika po meri v sloju za vnos, da zagotovimo prilagodljivost pri podpori različnih naprav in formatov datotek.

Da bi razumeli ostalo arhitekturo, si poglejmo pričakovane vpoglede. Platforma proizvaja dve vrsti vpogledov:

• Posamezna spoznanja – Odgovori na vprašanja v tej kategoriji vključujejo:
  • Koliko napak je prišlo do določene uporabniške naprave v zadnjih 15 minutah?
  • Kaj je bila zadnja napaka?
  • Koliko naprav je trenutno priključenih na dom določene stranke?
  • Kakšna je hitrost prenosa/prejemanja, kot jo zajame naprava določene stranke?
• Osnovni vpogledi – Vprašanja v tej kategoriji, ki se nanašajo na skupino ali celotno bazo uporabnikov, vključujejo:
  • Koliko naprav strank je poročalo o motnjah storitve v zadnjih 24 urah?
  • Katere vrste naprav (modeli) so imele največje število napak v zadnjih 6 mesecih?
  • Ali so po včerajšnji posodobitvi popravka za skupino naprav poročali o kakršni koli napaki? Je bilo vzdrževanje uspešno?

Zgornji pas v arhitekturi prikazuje cevovod, ki ustvarja posamezne vpoglede.

Preslikava vira dogodka funkcije Lambda je konfigurirana za porabo zapisov iz toka podatkov Kinesis. Ta funkcija bere zapise, oblikuje in jih pripravlja na podlagi zahtevanih vpogledov. Na koncu shrani rezultate na lokaciji Amazon S3 in posodobi tabelo DynamoDB, ki vzdržuje povzetek in metapodatke dejanskih podatkov, shranjenih v Amazon S3.

Za optimizacijo delovanja smo konfigurirali dve metriki v preslikavi vira dogodka Lambda:

• Velikost serije – Prikazuje število zapisov, ki jih je treba poslati funkciji v vsakem paketu, kar pomaga doseči večjo prepustnost
• Sočasne serije na delček – Sočasno obdeluje več paketov iz istega drobca, kar pomaga pri hitrejši obdelavi

Končno je API na voljo prek API Gateway in deluje v aplikaciji Spring Boot, ki gostuje na Elastic Beanstalk. V prihodnosti bomo morda morali ohraniti stanje med klici API-ja, zato namesto aplikacije brez strežnika uporabljamo Elastic Beanstalk.

Spodnji pas v arhitekturi je cevovod, ki ustvarja osnovna poročila.

Mi uporabljamo Analitika podatkov Amazon Kinesis, ki izvaja izračun s stanjem na pretočnih podatkih, da povzame določene meritve, kot so hitrosti prenosa ali stopnje napak v danih časovnih oknih. Ti povzetki se nato potisnejo v Amazonska Aurora zbirko podatkov s podatkovnim modelom, ki je primeren za namene nadzorne plošče in poročanja.

Vpogledi so nato predstavljeni na nadzornih ploščah z uporabo spletne aplikacije, ki se izvaja na Elastic Beanstalk.

Nova spoznanja

Uporaba brezstrežniških vzorcev in storitev višjega reda, zlasti Lambda, Kinesis Data Streams, Kinesis Data Analytics in DynamoDB, je zagotovila veliko prilagodljivosti v naši arhitekturi in nam pomagala, da smo se bolj usmerili k mikrostoritvam kot k velikim monolitnim paketnim opravilom.

Ta premik nam je tudi pomagal dramatično zmanjšati naše operativne in storitvene režijske stroške. Na primer, v zadnjih nekaj mesecih od lansiranja stranke te platforme niso imele motenj v storitvi.

Ta rešitev nam je tudi omogočila, da smo sprejeli več DevOps in agilnih načinov dela, v smislu, da ena sama majhna ekipa razvije in vodi sistem. To je organizaciji omogočilo, da je bila na tem področju bolj agilna in inovativna.

Skozi razvoj in proizvodnjo smo odkrili tudi nekaj tehničnih nasvetov, ki jih je vredno deliti:

Rezultati in koristi

Zdaj imamo v skoraj realnem času pregled delovanja naših fiksnih in mobilnih omrežij, kot ga doživljajo naše stranke. V preteklosti smo imeli le podatke, ki so prihajali v paketnem načinu z zamikom in tudi samo iz lastnih omrežnih sond in opreme.

S pogledom na omrežje v skoraj realnem času, ko pride do sprememb, lahko naše operativne ekipe izvajajo tudi nadgradnje in vzdrževanje celotne flote naprav strank z večjo zanesljivostjo in pogostnostjo.

Nazadnje naše skupine za načrtovanje uporabljajo te vpoglede za oblikovanje natančnega, posodobljenega pogleda na zmogljivost različne opreme in storitev. To vodi do višje kakovosti storitev za naše stranke po boljših cenah, saj lahko naše ekipe za načrtovanje storitev optimizirajo stroške, se bolje pogajajo s prodajalci in ponudniki storitev ter načrtujejo prihodnost.

Pogled naprej

Ker je platforma za omrežno analitiko v proizvodnji že nekaj mesecev in je zdaj stabilna, obstaja povpraševanje po več vpogledih in novih primerih uporabe. Na primer, preučujemo primer mobilne uporabe za boljše upravljanje zmogljivosti na velikih dogodkih (kot so športni dogodki). Cilj je, da naše ekipe temeljijo na podatkih in se lahko v skoraj realnem času odzovejo na potrebe po zmogljivosti v teh dogodkih.

Drugo področje povpraševanja je okoli prediktivnega vzdrževanja: želimo uvesti strojno učenje v te cevovode, da bi pomagali doseči hitrejše in natančnejše vpoglede z uporabo portfelja storitev AWS Machine Learning.

---

O avtorjih

Rajagopal Mahendran je vodja razvoja pri Optus IT Innovation Team. Mahendran ima več kot 14 let izkušenj v različnih organizacijah, ki zagotavljajo poslovne aplikacije od srednjega do zelo velikega obsega z uporabo preizkušenih do najsodobnejših tehnologij na področju velikih podatkov, aplikacij za pretakanje podatkov, mobilnih in izvornih aplikacij v oblaku. Njegova strast je spodbujanje inovativnih idej z uporabo tehnologije za boljše življenje. V prostem času se rad sprehaja po grmovju in plava.

Mostafa Safipur je arhitekt rešitev pri AWS s sedežem v Sydneyu. S strankami sodeluje pri doseganju poslovnih rezultatov z uporabo tehnologije in AWS. V zadnjem desetletju je pomagal številnim velikim organizacijam v regiji ANZ zgraditi svoje podatkovne, digitalne in poslovne obremenitve na AWS.

Masudur Rahaman Sayem je specializirani arhitekt rešitev za analitiko pri AWS. Sodeluje s strankami AWS pri zagotavljanju smernic in tehnične pomoči pri projektih podatkov in analitike ter jim pomaga izboljšati vrednost njihovih rešitev pri uporabi AWS. Navdušen je nad porazdeljenimi sistemi. Rad tudi bere, predvsem klasične stripe.

Vir: https://aws.amazon.com/blogs/big-data/how-optus-improves-broadband-and-mobile-customer-experience-using-the-network-data-analytics-platform-on-aws/