Optus가 AWS에서 네트워크 데이터 분석 플랫폼을 사용하여 광대역 및 모바일 고객 경험을 개선하는 방법

이것은 Optus IT 혁신 팀의 개발 관리자 인 Rajagopal Mahendran이 공동으로 작성한 게스트 블로그 게시물입니다.

---

Optus는 세계에서 가장 빠르게 성장하고있는 가장 역동적 인 지역 중 하나에서 운영되는 The Singtel 그룹의 일원으로 21 개국에 진출했습니다. Optus는 핵심 통신 서비스뿐만 아니라 클라우드, 사이버 보안 및 디지털 광고를 포함한 광범위한 디지털 솔루션을 기업에 제공하고 엔터테인먼트 및 모바일 금융 서비스를 수백만 소비자에게 제공합니다. Optus는 10.4 만 명 이상의 고객에게 이동 통신 서비스를 제공하고 1.1 만 이상의 가정과 기업에 광대역 서비스를 제공합니다. 또한 Optus Sport는 약 1 백만 명의 팬을 프리미어 리그, 국제 축구 및 피트니스 콘텐츠에 연결합니다.

이 게시물에서는 Optus가 아마존 키네 시스 AWS의 데이터 레이크에서 네트워크 관련 데이터를 수집 및 분석하고 고객 경험과 서비스 계획 프로세스를 개선합니다.

난제

통신 제공 업체의 일반적인 과제는 서비스 품질 및 고객이 경험 한 문제에 대한 정확한 실시간보기를 형성하는 것입니다. 홈 네트워크 및 광대역 연결 품질은 특히 COVID-19 대유행 기간 동안 업무, 가족 및 친구와의 연결, 엔터테인먼트를 위해 홈 네트워크에 대한 의존도가 높아지는 점을 고려할 때 고객 생산성과 만족도에 큰 영향을 미칩니다.

또한 네트워크 운영 및 계획 팀은 새로운 롤아웃을 계획하고 현재 장치를 관리 할 수있는 올바른 데이터와 통찰력에 액세스 할 수없는 경우가 많습니다.

네트워크 분석 플랫폼은 Optus 팀과 고객에게 문제 해결 및 계획 데이터와 통찰력을 거의 실시간으로 제공하여 고객 경험을 수정하고 향상시키는 데 걸리는 평균 시간을 줄이는 데 도움이됩니다. 올바른 데이터와 통찰력을 통해 고객은 많은 질문으로 지원 전화를 시작하는 대신 서비스와 고객의 홈 네트워크에 대한 정확한 현재보기를 갖게되므로 더 나은 경험을 얻을 수 있습니다.

Optus 내의 서비스 소유자 팀은이 플랫폼에서 파생 된 통찰력과 추세를 사용하여 미래를 더 잘 계획하고 고객에게 고품질 서비스를 제공 할 수 있습니다.

디자인 고려 사항

이 과제와 요구 사항을 해결하기 위해 현재 배치 수집 및 처리 시스템을 스트림 기반의 거의 실시간 처리 시스템으로 변환하고 지원 시스템 및 고객 애플리케이션이 보여줄 수 있도록 통찰력을위한 API를 도입하는 프로젝트에 착수했습니다. 네트워크 및 서비스 상태의 최신 스냅 샷.

다음과 같은 기능 및 비 기능 요구 사항이있었습니다.

• 새로운 플랫폼은 미래 유형의 고객 장비에서 데이터 캡처를 지원할뿐만 아니라 새로운 수집 방법 (새로운 프로토콜 및 빈도) 및 새로운 형식의 데이터를 지원할 수 있어야합니다.
• 데이터를 소비하고 통찰력을 생성하기 위해 여러 소비자 (지원 직원 및 고객 애플리케이션과 운영 및 비즈니스보고를위한 거의 실시간 API)를 지원해야합니다. 목표는 플랫폼이 문제를 사전에 감지하고 지원 직원과 고객에게 적절한 경고를 생성하는 것입니다.
• 데이터가 도착하면 몇 초 (최대 5 초) 내에 데이터의 인사이트가 API 형태로 준비되어야합니다.
• 새 플랫폼은 노드 또는 가용 영역과 같은 인프라의 일부가 실패 할 때 처리를 계속할 수있을만큼 탄력적이어야합니다.
• 더 많은 수의 장치 및 서비스를 지원할뿐만 아니라 장치에서 더 자주 수집 할 수 있습니다.
• 비즈니스 및 기술 전반에 걸친 소규모 교차 기능 팀이이 플랫폼을 구축하고 실행합니다. 장기적으로 최소한의 인프라와 운영 오버 헤드를 보장해야합니다.
• 파이프 라인은 가용성이 높아야하며 다운 타임없이 새로운 배포가 가능해야합니다.

솔루션 개요

플랫폼의 목표와 설계 고려 사항을 염두에두고 가능한 경우 AWS의 고차 서비스와 서버리스 서비스를 사용하여 팀의 불필요한 운영 오버 헤드를 방지하고 핵심 비즈니스 요구에 집중하기로 결정했습니다. 여기에는 스트림 수집 및 처리를위한 Kinesis 서비스 제품군 사용이 포함됩니다. AWS 람다 처리를 위해; 아마존 DynamoDB, Amazon 관계형 데이터베이스 서비스 (Amazon RDS) 및 아마존 단순 스토리지 서비스 (Amazon S3) 데이터 지속성; 과 AWS 엘라스틱 빈스토크 과 아마존 API 게이트웨이 애플리케이션 및 API 제공을 위해. 다음 다이어그램은 전체 솔루션을 보여줍니다.

이 솔루션은 미리 정의 된 기간에 수천 개의 고객 네트워크 장비 (홈 라우터)에서 로그 파일을 수집합니다. 고객 장비는 로그 파일을 전송하기 위해 간단한 HTTP PUT 및 POST 요청 만 보낼 수 있습니다. 이러한 파일을 수신하기 위해 Auto Scaling 그룹에서 실행되는 Java 애플리케이션을 사용합니다. 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스. 몇 가지 초기 검사 후 수신자 애플리케이션은 정리 및 형식화를 수행 한 다음 로그 파일을 다음으로 스트리밍합니다. Amazon Kinesis 데이터 스트림.

우리는 의도적으로 수집 계층에서 사용자 지정 수신기 응용 프로그램을 사용하여 다양한 장치 및 파일 형식을 지원하는 유연성을 제공합니다.

나머지 아키텍처를 이해하기 위해 예상되는 인사이트를 살펴 보겠습니다. 플랫폼은 두 가지 유형의 통찰력을 생성합니다.

• 개별 통찰력 –이 범주에 대한 답변은 다음과 같습니다.
  • 지난 15 분 동안 특정 고객 장치에 몇 개의 오류가 발생 했습니까?
  • 마지막 오류는 무엇입니까?
  • 현재 특정 고객 홈에 몇 개의 장치가 연결되어 있습니까?
  • 특정 고객 장치에서 캡처 한 전송 / 수신 속도는 얼마입니까?
• 기본 통찰력 – 그룹 또는 전체 사용자 기반과 관련하여이 범주의 질문은 다음과 같습니다.
  • 지난 24 시간 동안 서비스 중단을보고 한 고객 장치는 몇 개입니까?
  • 지난 6 개월 동안 가장 많은 오류가 발생한 장치 유형 (모델)은 무엇입니까?
  • 장치 그룹에 대한 지난 밤 패치 업데이트 후 오류를보고 했습니까? 유지 보수가 성공적 이었습니까?

아키텍처의 상단 차선은 개별 통찰력을 생성하는 파이프 라인을 보여줍니다.

Lambda 함수의 이벤트 소스 매핑은 Kinesis 데이터 스트림의 레코드를 사용하도록 구성됩니다. 이 기능은 레코드, 형식을 읽고 필요한 통찰력을 기반으로 준비합니다. 마지막으로 Amazon S3 위치에 결과를 저장하고 Amazon S3에 저장된 실제 데이터의 요약 및 메타 데이터를 유지하는 DynamoDB 테이블도 업데이트합니다.

성능을 최적화하기 위해 Lambda 이벤트 소스 매핑에 두 가지 지표를 구성했습니다.

• 배치 크기 – 각 배치에서 함수로 보낼 레코드 수를 표시하여 더 높은 처리량을 달성하는 데 도움이됩니다.
• 샤드 당 동시 배치 – 동일한 샤드의 여러 배치를 동시에 처리하여 더 빠른 처리에 도움

마지막으로 API는 API Gateway를 통해 제공되며 Elastic Beanstalk에서 호스팅되는 Spring Boot 애플리케이션에서 실행됩니다. 향후에는 API 호출간에 상태를 유지해야 할 수 있으므로 서버리스 애플리케이션 대신 Elastic Beanstalk를 사용합니다.

아키텍처의 맨 아래 차선은 기본 보고서를 생성하는 파이프 라인입니다.

우리는 사용 Amazon Kinesis 데이터 분석, 스트리밍 데이터에서 상태 저장 계산을 실행하여 지정된 시간 창에서 전송률 또는 오류율과 같은 특정 메트릭을 요약합니다. 이 요약은 다음으로 푸시됩니다. Amazon Aurora 대시 보드 및보고 목적에 적합한 데이터 모델이있는 데이터베이스.

그런 다음 Elastic Beanstalk에서 실행되는 웹 애플리케이션을 사용하여 대시 보드에 인사이트가 표시됩니다.

교훈

서버리스 패턴과 고차 서비스, 특히 Lambda, Kinesis Data Streams, Kinesis Data Analytics 및 DynamoDB를 사용하면 아키텍처에 많은 유연성을 제공하고 대규모 모 놀리 식 배치 작업이 아닌 마이크로 서비스로 더 많이 이동할 수있었습니다.

이러한 변화는 또한 운영 및 서비스 관리 오버 헤드를 크게 줄이는 데 도움이되었습니다. 예를 들어 출시 이후 지난 몇 개월 동안이 플랫폼의 고객은 서비스 중단을 경험하지 않았습니다.

또한이 솔루션을 통해 단일 소규모 팀이 시스템을 개발하고 실행한다는 의미에서 더 많은 DevOps와 민첩한 작업 방식을 채택 할 수있었습니다. 이를 통해 조직은이 영역에서보다 민첩하고 혁신적 일 수있었습니다.

또한 개발 및 생산 과정을 통해 공유 할 가치가있는 몇 가지 기술 팁을 발견했습니다.

결과 및 이점

이제 고객이 경험 한대로 고정 및 모바일 네트워크 성능을 거의 실시간으로 확인할 수 있습니다. 과거에는 지연이있는 배치 모드로 들어온 데이터와 자체 네트워크 프로브 및 장비에서만 데이터가있었습니다.

변경이 발생할 때 네트워크에 대한 실시간보기를 통해 운영 팀은 더 높은 신뢰도와 빈도로 고객 장치 전체에서 업그레이드 및 유지 관리를 수행 할 수도 있습니다.

마지막으로, 계획 팀은 이러한 통찰력을 사용하여 다양한 장비 및 서비스에 대한 정확한 최신 성능보기를 형성합니다. 이는 우리의 서비스 계획 팀이 비용을 최적화하고 공급 업체 및 서비스 제공 업체와 더 나은 협상을하고 미래를 계획 할 수 있기 때문에 더 나은 가격으로 고객을위한 고품질 서비스로 이어집니다.

앞서 찾고

네트워크 분석 플랫폼이 몇 달 동안 생산되고 현재 안정된 상태에서 더 많은 통찰력과 새로운 사용 사례에 대한 요구가 있습니다. 예를 들어 대규모 이벤트 (예 : 스포츠 이벤트)에서 용량을 더 잘 관리하기 위해 모바일 사용 사례를 조사하고 있습니다. 목표는 우리 팀이 데이터를 기반으로하고 이러한 이벤트에서 필요한 용량에 거의 실시간으로 대응할 수 있도록하는 것입니다.

또 다른 수요 영역은 예측 유지 관리입니다. AWS Machine Learning 서비스 포트폴리오를 사용하여 더 빠르고 정확하게 인사이트를 도출 할 수 있도록 이러한 파이프 라인에 기계 학습을 도입하려고합니다.

---

저자 소개

라자고팔 마헨드란 Optus IT 혁신 팀의 개발 관리자입니다. Mahendran은 빅 데이터, 스트리밍 데이터 애플리케이션, 모바일 및 클라우드 네이티브 애플리케이션에서 검증 된 최첨단 기술을 사용하여 중규모에서 초대형까지 엔터프라이즈 애플리케이션을 제공하는 다양한 조직에서 14 년 이상의 경험을 보유하고 있습니다. 그의 열정은 더 나은 삶을 위해 기술을 사용하여 혁신적인 아이디어를 강화하는 것입니다. 여가 시간에는 부시 워킹과 수영을 좋아합니다.

모스타파 사피푸르 시드니에 기반을 둔 AWS의 솔루션 아키텍트입니다. 그는 고객과 협력하여 기술과 AWS를 사용하여 비즈니스 성과를 실현합니다. 지난 XNUMX 년 동안 그는 ANZ 지역의 많은 대규모 조직이 AWS에서 데이터, 디지털 및 엔터프라이즈 워크로드를 구축하는 데 도움을주었습니다.

마수두르 라하마 사엠 AWS의 분석 전문 솔루션 아키텍트입니다. 그는 AWS 고객과 협력하여 데이터 및 분석 프로젝트에 대한 지침과 기술 지원을 제공하여 AWS를 사용할 때 솔루션의 가치를 개선하도록 돕습니다. 그는 분산 시스템에 열정적입니다. 그는 또한 특히 고전 만화책을 읽는 것을 좋아합니다.

출처 : https://aws.amazon.com/blogs/big-data/how-optus-improves-broadband-and-mobile-customer-experience-using-the-network-data-analytics-platform-on-aws/