Hoe Optus de breedband- en mobiele klantervaring verbetert met behulp van het Network Data Analytics-platform op AWS

Dit is een gastblogpost, mede geschreven door Rajagopal Mahendran, ontwikkelingsmanager bij het Optus IT Innovation Team.

---

Optus maakt deel uit van de Singtel-groep, die actief is in een van de snelstgroeiende en meest dynamische regio's ter wereld, met aanwezigheid in 21 landen. Optus biedt niet alleen kerntelecommunicatiediensten, maar ook een uitgebreid scala aan digitale oplossingen, waaronder cloud, cyberbeveiliging en digitale reclame aan bedrijven, evenals entertainment en mobiele financiële diensten aan miljoenen consumenten. Optus levert mobiele communicatiediensten aan meer dan 10.4 miljoen klanten en breedbanddiensten aan meer dan 1.1 miljoen huizen en bedrijven. Bovendien verbindt Optus Sport bijna 1 miljoen fans met content uit de Premier League, internationaal voetbal en fitness.

In dit bericht bekijken we hoe Optus gebruikte Amazon Kinesis om netwerkgerelateerde gegevens op te nemen en te analyseren in een datameer op AWS en de klantervaring en het serviceplanningsproces te verbeteren.

De uitdaging

Een veel voorkomende uitdaging voor telecommunicatieaanbieders is het vormen van een accuraat, realtime beeld van de kwaliteit van de dienstverlening en de problemen die hun klanten ervaren. De kwaliteit van thuisnetwerken en breedbandconnectiviteit heeft een aanzienlijke invloed op de productiviteit en tevredenheid van klanten, vooral gezien de toegenomen afhankelijkheid van thuisnetwerken voor werk, verbinding met familie en vrienden en entertainment tijdens de COVID-19-pandemie.

Bovendien hebben netwerkoperaties en planningsteams vaak geen toegang tot de juiste gegevens en inzichten om nieuwe implementaties te plannen en hun huidige apparatenpark te beheren.

Het netwerkanalyseplatform biedt vrijwel realtime probleemoplossings- en planningsgegevens en inzichten aan Optus-teams en hun klanten, waardoor de gemiddelde tijd voor het corrigeren en verbeteren van de klantervaring wordt verkort. Met de juiste data en inzichten hebben klanten een betere ervaring, want in plaats van met veel vragen een supportgesprek te starten, hebben de supportmedewerkers en de klant een actueel en accuraat beeld van de diensten en het thuisnetwerk van de klant.

Service-eigenaarteams binnen Optus kunnen de inzichten en trends die uit dit platform voortkomen ook gebruiken om beter te plannen voor de toekomst en een hogere kwaliteit van dienstverlening aan klanten te bieden.

Ontwerp Overwegingen

Om deze uitdaging en de vereisten ervan aan te pakken, zijn we begonnen aan een project om ons huidige systeem voor het verzamelen en verwerken van batches te transformeren naar een op stroom gebaseerd, bijna realtime verwerkingssysteem, en om API's voor inzichten te introduceren, zodat ondersteunende systemen en klanttoepassingen kunnen laten zien de laatste momentopname van de netwerk- en servicestatus.

We hadden de volgende functionele en niet-functionele vereisten:

• Het nieuwe platform moet in staat zijn de gegevensverzameling van toekomstige soorten klantapparatuur te ondersteunen, evenals nieuwe manieren van opname (nieuwe protocollen en frequentie) en nieuwe gegevensformaten.
• Het moet meerdere consumenten ondersteunen (een bijna realtime API voor ondersteunend personeel en klantapplicaties en operationele en zakelijke rapportage) om gegevens te consumeren en inzichten te genereren. Het doel is dat het platform proactief problemen detecteert en passende waarschuwingen genereert voor zowel ondersteunend personeel als klanten.
• Nadat de data binnenkomen, moeten inzichten uit de data binnen enkele seconden (maximaal 5 seconden) gereed zijn in de vorm van een API.
• Het nieuwe platform moet veerkrachtig genoeg zijn om de verwerking voort te zetten wanneer delen van de infrastructuur uitvallen, zoals knooppunten of beschikbaarheidszones.
• Het kan een groter aantal apparaten en diensten ondersteunen, evenals een frequentere verzameling van de apparaten.
• Een klein, multifunctioneel team uit het bedrijfsleven en de technologie zal dit platform bouwen en beheren. We moeten op de lange termijn zorgen voor een minimale infrastructuur en operationele overhead.
• De pijplijn moet in hoge mate beschikbaar zijn en nieuwe implementaties zonder downtime mogelijk maken.

Overzicht oplossingen

Met het doel van het platform en ontwerpoverwegingen in het achterhoofd hebben we besloten om waar mogelijk hogere diensten en serverloze diensten van AWS te gebruiken, om onnodige operationele overhead voor ons team te vermijden en ons te concentreren op de kernbehoeften van het bedrijf. Dit omvat het gebruik van de Kinesis-services voor streamopname en -verwerking; AWS Lambda om te verwerken; Amazon DynamoDB, Amazon relationele databaseservice (Amazon RDS), en Amazon eenvoudige opslagservice (Amazon S3) voor gegevenspersistentie; En AWS elastische bonenstaak en Amazon API-gateway voor toepassingen en API-services. Het volgende diagram toont de algehele oplossing.

De oplossing neemt in vooraf gedefinieerde perioden logbestanden op van duizenden netwerkapparatuur van klanten (thuisrouters). De apparatuur van de klant kan alleen eenvoudige HTTP PUT- en POST-verzoeken verzenden om logbestanden over te dragen. Om deze bestanden te ontvangen, gebruiken we een Java-applicatie die draait in een Auto Scaling-groep van Amazon Elastic Compute-cloud (Amazon EC2)-instanties. Na enkele eerste controles voert de ontvangende toepassing een opschoning en formattering uit, waarna de logbestanden naar het bestand worden gestreamd Amazon Kinesis-gegevensstromen.

We gebruiken opzettelijk een aangepaste ontvangertoepassing in de opnamelaag om flexibiliteit te bieden bij de ondersteuning van verschillende apparaten en bestandsindelingen.

Laten we, om de rest van de architectuur te begrijpen, eens kijken naar de verwachte inzichten. Het platform produceert twee soorten inzichten:

• individuele inzichten – Vragen die in deze categorie worden beantwoord, zijn onder meer:
  • Hoeveel fouten heeft een bepaald klantapparaat ervaren in de afgelopen 15 minuten?
  • Wat was de laatste fout?
  • Hoeveel apparaten zijn er momenteel verbonden bij een bepaalde klant thuis?
  • Wat is de overdrachts-/ontvangstsnelheid zoals vastgelegd door een bepaald klantapparaat?
• Basisinzichten – Vragen in deze categorie hebben betrekking op een groep of het hele gebruikersbestand:
  • Hoeveel apparaten van klanten hebben de afgelopen 24 uur een serviceonderbreking gemeld?
  • Welke apparaattypen (modellen) hebben de afgelopen zes maanden het grootste aantal fouten ondervonden?
  • Hebben ze na de patchupdate van gisteravond op een groep apparaten fouten gemeld? Is het onderhoud gelukt?

De bovenste rij in de architectuur toont de pijplijn die de individuele inzichten genereert.

De gebeurtenisbrontoewijzing van de Lambda-functie is geconfigureerd om records uit de Kinesis-gegevensstroom te gebruiken. Deze functie leest de records, formatteert en bereidt ze voor op basis van de benodigde inzichten. Ten slotte slaat het de resultaten op op de Amazon S3-locatie en werkt het ook een DynamoDB-tabel bij die een samenvatting en de metagegevens bijhoudt van de daadwerkelijke gegevens die zijn opgeslagen in Amazon S3.

Om de prestaties te optimaliseren, hebben we twee statistieken geconfigureerd in de Lambda-gebeurtenisbrontoewijzing:

• Seriegrootte – Toont het aantal records dat in elke batch naar de functie moet worden verzonden, waardoor een hogere doorvoer wordt bereikt
• Gelijktijdige batches per scherf – Verwerkt meerdere batches van dezelfde shard gelijktijdig, wat helpt bij een snellere verwerking

Ten slotte wordt de API geleverd via API Gateway en draait deze op een Spring Boot-applicatie die wordt gehost op Elastic Beanstalk. In de toekomst moeten we mogelijk de status bijhouden tussen API-aanroepen. Daarom gebruiken we Elastic Beanstalk in plaats van een serverloze applicatie.

De onderste rij in de architectuur is de pijplijn die basisrapporten genereert.

Wij gebruiken Amazon Kinesis-gegevensanalyse, waarbij stateful berekeningen worden uitgevoerd op streaminggegevens, om bepaalde statistieken, zoals overdrachtspercentages of foutpercentages, in bepaalde tijdvensters samen te vatten. Deze samenvattingen worden vervolgens naar een Amazon Aurora database met een datamodel dat geschikt is voor dashboarding en rapportagedoeleinden.

De inzichten worden vervolgens gepresenteerd in dashboards met behulp van een webapplicatie die draait op Elastic Beanstalk.

Lessen uit het verleden

Het gebruik van serverloze patronen en diensten van hogere orde, in het bijzonder Lambda, Kinesis Data Streams, Kinesis Data Analytics en DynamoDB, zorgde voor veel flexibiliteit in onze architectuur en hielp ons meer richting microservices te gaan in plaats van grote monolietbatchtaken.

Deze verschuiving heeft ons ook geholpen onze overheadkosten voor operationeel en servicebeheer drastisch te verlagen. De afgelopen maanden sinds de lancering hebben klanten van dit platform bijvoorbeeld geen enkele serviceonderbreking ervaren.

Deze oplossing stelde ons ook in staat om meer DevOps en agile manieren van werken toe te passen, in de zin dat één klein team het systeem ontwikkelt en beheert. Hierdoor kon de organisatie op dit gebied wendbaarder en innovatiever zijn.

Tijdens de ontwikkeling en productie hebben we ook enkele technische tips ontdekt die de moeite waard zijn om te delen:

Resultaten en voordelen

We hebben nu bijna realtime inzicht in de prestaties van onze vaste en mobiele netwerken, zoals ervaren door onze klanten. In het verleden hadden we alleen data die met vertraging in batchmodus binnenkwamen en ook alleen van onze eigen netwerksondes en apparatuur.

Met het bijna realtime beeld van het netwerk wanneer er veranderingen optreden, kunnen onze operationele teams ook met meer vertrouwen en frequentie upgrades en onderhoud uitvoeren op de hele vloot van klantapparaten.

Ten slotte gebruiken onze planningsteams deze inzichten om een ​​nauwkeurig, actueel prestatiebeeld te vormen van verschillende apparatuur en diensten. Dit leidt tot dienstverlening van hogere kwaliteit voor onze klanten tegen betere prijzen, omdat onze serviceplanningsteams in staat zijn de kosten te optimaliseren, beter te onderhandelen met leveranciers en dienstverleners en plannen te maken voor de toekomst.

De toekomst

Nu het netwerkanalyseplatform al enkele maanden in productie is en stabiel is, is er vraag naar meer inzichten en nieuwe gebruiksscenario's. We onderzoeken bijvoorbeeld een mobiele use case om de capaciteit bij grootschalige evenementen (zoals sportevenementen) beter te beheren. Het doel is dat onze teams datagedreven zijn en in bijna realtime kunnen reageren op de capaciteitsbehoeften bij deze evenementen.

Een ander vraaggebied betreft voorspellend onderhoud: we willen machine learning in deze pijplijnen introduceren om inzichten sneller en nauwkeuriger te verkrijgen door gebruik te maken van het AWS Machine Learning-serviceportfolio.

---

Over de auteurs

Rajagopal Mahendran is ontwikkelingsmanager bij het Optus IT Innovation Team. Mahendran heeft meer dan 14 jaar ervaring bij verschillende organisaties die bedrijfsapplicaties leveren van middelgrote tot zeer grote schaal met behulp van bewezen tot geavanceerde technologieën op het gebied van big data, streaming data-applicaties, mobiele en cloud-native applicaties. Zijn passie is het stimuleren van innovatieve ideeën met behulp van technologie voor een beter leven. In zijn vrije tijd houdt hij van boswandelingen en zwemmen.

Mostafa Safipour is een Solutions Architect bij AWS, gevestigd in Sydney. Hij werkt samen met klanten om bedrijfsresultaten te realiseren met behulp van technologie en AWS. De afgelopen tien jaar heeft hij veel grote organisaties in de ANZ-regio geholpen bij het opbouwen van hun data-, digitale en zakelijke workloads op AWS.

Masudur Rahaman Sayem is een Specialist Solution Architect voor Analytics bij AWS. Hij werkt samen met AWS-klanten om begeleiding en technische assistentie te bieden bij data- en analyseprojecten, en hen te helpen de waarde van hun oplossingen te verbeteren bij het gebruik van AWS. Hij heeft een passie voor gedistribueerde systemen. Hij houdt ook van lezen, vooral klassieke stripboeken.

Bron: https://aws.amazon.com/blogs/big-data/how-optus-improves-broadband-and-mobile-customer-ervaring-using-the-network-data-analytics-platform-on-aws/