레거시, 온프레미스, 실시간에 가까운 분석 솔루션을 갖춘 조직은 일반적으로 분석 워크로드를 위한 데이터 저장소로 자체 관리형 관계형 데이터베이스를 사용합니다. 민첩성 향상, 적시 리소스 프로비저닝과 같은 클라우드 컴퓨팅의 이점을 활용하기 위해 조직에서는 레거시 분석 애플리케이션을 AWS로 마이그레이션하고 있습니다. 리프트 앤 시프트 마이그레이션 접근 방식은 유연성을 제한하고 생산성을 저하시키는 오래된 레거시 기술과 아키텍처에 의존하기 때문에 비즈니스 혁신 능력이 제한됩니다. 이 게시물에서는 기존 온프레미스 실시간 분석 아키텍처를 현대화하여 AWS에서 서버리스 데이터 분석 솔루션을 구축하는 방법을 논의합니다. Apache Flink용 Amazon 관리형 서비스.
실시간에 가까운 스트리밍 분석은 운영 데이터와 지표의 가치를 포착하여 비즈니스 기회 창출을 위한 새로운 통찰력을 제공합니다. 이 게시물에서는 실시간 분석에 사용될 때 관계형 데이터베이스와 관련된 문제와 서버리스 AWS 솔루션으로 아키텍처를 현대화하여 이를 완화하는 방법에 대해 논의합니다. 우리는 당신에게 소개합니다 Apache Flink Studio용 Amazon 관리형 서비스 다음을 사용하여 대화형으로 스트리밍 데이터 쿼리를 시작합니다. Amazon Kinesis 데이터 스트림.
솔루션 개요
이 게시물에서는 대기열의 통화 처리 시 상담원 효율성을 결정하는 지표를 통해 거의 실시간으로 콜센터 성능에 대한 통찰력을 제공하는 콜센터 분석 솔루션을 살펴봅니다. 거의 실시간 플랫폼에서 콜센터에 관심이 있는 핵심성과지표(KPI)는 대기열에 대기 중인 통화일 수 있으며 콜센터 스트림에서 데이터를 수집한 후 몇 초 내에 성능 대시보드에 강조 표시됩니다. 이러한 지표는 상담원이 통화 처리 시간을 개선하고 조직 전체에 상담원을 재할당하여 대기열에 보류 중인 통화를 처리하는 데 도움이 됩니다.
전통적으로 이러한 레거시 콜센터 분석 플랫폼은 스트리밍 소스의 데이터를 저장하는 관계형 데이터베이스를 기반으로 구축되었습니다. 저장 프로시저를 통한 데이터 변환과 구체화된 뷰를 사용하여 데이터 세트를 선별하고 통찰력을 생성하는 것은 관계형 데이터베이스의 알려진 패턴입니다. 그러나 시간이 지남에 따라 데이터의 관련성이 잃기 때문에 실시간에 가까운 분석 플랫폼의 변환에는 통찰력을 생성하기 위해 스트림의 최신 데이터만 필요합니다. 최신 이벤트 스트림만 유지하려면 특정 테이블을 자주 잘라야 할 수도 있습니다. 또한 몇 초 내에 거의 실시간 통찰력을 얻으려면 이러한 기존 관계형 데이터베이스 접근 방식에서 구체화된 뷰를 자주 새로 고쳐야 합니다. 스트리밍된 데이터로 인해 지속적으로 변경되는 기본 테이블 외에 구체화된 뷰를 자주 새로 고치면 스냅샷 격리 오류가 발생할 수 있습니다. 또한 테이블에 관련 데이터만 저장하기 위해 정기적으로(예: 15초마다) 테이블 잘림을 허용하는 데이터 모델은 잠금 및 성능 문제를 일으킬 수 있습니다.
다음 다이어그램은 레거시 콜센터 분석 플랫폼의 상위 수준 아키텍처를 제공합니다. 이 기존 아키텍처에서는 관계형 데이터베이스를 사용하여 스트리밍 데이터 소스의 데이터를 저장합니다. 통찰력을 생성하는 데 사용되는 데이터 세트는 데이터베이스 내부의 구체화된 뷰를 사용하여 선별되고 비즈니스 인텔리전스(BI) 보고용으로 게시됩니다.
AWS 클라우드에서 이러한 기존 데이터베이스 기반 아키텍처를 현대화하면 스트리밍 데이터를 실시간으로 변환하고 분석하도록 구축된 Apache Flink용 Amazon Managed Service와 같은 정교한 스트리밍 기술을 사용할 수 있습니다. Amazon Managed Service for Apache Flink를 사용하면 서버리스, 완전 관리형 Apache Flink를 통해 스트리밍 데이터에서 실행 가능한 통찰력을 얻을 수 있습니다. Apache Flink용 Amazon Managed Service를 사용하면 엔드투엔드 스트림 처리 애플리케이션을 신속하게 구축하고 데이터를 지속적으로 처리하여 몇 초 또는 몇 분 안에 통찰력을 얻을 수 있습니다. Apache Flink용 Amazon Managed Service를 사용하면 Apache Flink 코드 또는 Flink SQL을 사용하여 일정 기간 동안 지속적으로 시계열 분석을 생성하고 스트림 전반에 걸쳐 정교한 조인을 수행할 수 있습니다.
다음 아키텍처 다이어그램은 Apache Flink용 Amazon Managed Service를 사용하여 데이터베이스에서 실행되는 기존 콜센터 분석 플랫폼을 현대화하여 AWS 클라우드에서 실행하는 방법을 보여줍니다. 15초마다 최신 콜센터 피드를 보내는 콜센터 스트리밍 데이터 소스를 보여줍니다. 두 번째 스트리밍 데이터 소스는 하루 종일 새로 고쳐지는 콜센터 조직 및 상담원에 대한 메타데이터 정보를 구성합니다. 이러한 스트리밍 데이터 세트에 대해 정교한 조인을 수행하고 Amazon Managed Service for Apache Flink를 사용하여 그 위에 뷰를 생성하여 비즈니스에 필요한 KPI를 생성할 수 있습니다. 아마존 오픈서치 서비스. Apache Flink Studio용 Amazon Managed Service와 함께 관리형 Apache Zeppelin 노트북을 사용하여 거의 실시간으로 스트리밍 데이터를 대화형으로 분석할 수 있습니다. 그런 다음 OpenSearch 대시보드를 사용하여 실시간에 가까운 통찰력을 성능 대시보드로 시각화할 수 있습니다.
이 게시물에서는 다음과 같은 높은 수준의 구현 단계를 수행합니다.
- 스트리밍 데이터 소스에서 Kinesis Data Streams로 데이터를 수집합니다.
- Apache Flink Studio용 Amazon Managed Service와 함께 관리형 Apache Zeppelin 노트북을 사용하면 데이터 수집 후 몇 초 내에 스트림 데이터를 변환할 수 있습니다.
- OpenSearch 대시보드를 통해 거의 실시간으로 콜센터 성과의 KPI를 시각화합니다.
사전 조건
이 게시물에서는 다음을 설정해야 합니다. Amazon Kinesis 데이터 생성기 (KDG)를 사용하여 Kinesis 데이터 스트림으로 데이터를 전송합니다. AWS 클라우드 포메이션 주형. 템플릿 및 설정 정보는 다음을 참조하세요. 새로운 Amazon Kinesis Data Generator로 스트리밍 데이터 솔루션 테스트.
이 게시물에서는 두 개의 데이터 세트를 사용합니다. 첫 번째 데이터 세트는 콜센터 조직 데이터가 포함된 팩트 데이터입니다. KDG는 15초마다 다음 정보가 포함된 사실 데이터 피드를 생성합니다.
- 에이전트 ID – 상담원은 고객의 질문에 답변하고 문제 해결에 필요한 리소스를 안내하는 다른 콜센터 직원으로 둘러싸인 콜센터 환경에서 근무합니다.
- 조직 ID – 콜센터에는 Care Hub, IT Hub, Allied Hub, Prem Hub, Help Hub 등과 같은 다양한 조직과 부서가 포함되어 있습니다.
- 대기열 ID – 통화 대기열은 모든 통화가 신속하게 올바른 사람에게 전달되도록 간단하거나 정교한 패턴을 사용하여 통화를 라우팅하는 효과적인 방법을 제공합니다.
- 작업 모드 – 상담원 작업 모드는 ACD(자동 통화 분배) 및 DAC(직접 상담원 통화) 대기열에서 수신 전화를 받을 수 있는 현재 상태와 가용성을 결정합니다. Call Center Elite는 Aux 모드 또는 ACW 모드에 있을 때 ACD 및 DAC 통화를 전화기로 라우팅하지 않습니다.
- 작업 스킬 – 콜센터 상담원으로 일하려면 문제 해결, 이중 언어 구사, 채널 경험, 데이터 적성 등과 같은 최상의 결과를 얻기 위한 몇 가지 소프트 스킬이 필요합니다.
- 핸들타임 – 이 고객 서비스 지표는 고객의 통화 시간을 측정합니다.
- 서비스 수준 – 콜센터 서비스 수준은 미리 정의된 시간, 즉 목표 시간 임계값 내에 응답된 통화의 비율로 정의됩니다. 이는 임의의 기간(예: 30분, 1시간, 1일 또는 1주)에 걸쳐 각 상담원, 팀, 부서 또는 회사 전체에 대해 측정될 수 있습니다.
- 작업상태 – 상담원의 상태를 지정합니다. 예를 들어 사용 가능 상태의 상담원은 ACD 대기열의 통화를 처리하는 데 사용할 수 있습니다. 상담원은 다양한 ACD 장치와 관련하여 여러 상태를 가질 수도 있고 단일 상태를 사용하여 모든 ACD 장치에 대한 관계를 설명할 수도 있습니다. 에이전트 상태는 에이전트 상태 이벤트에 보고됩니다.
- 대기 시간 – 이는 인바운드 통화가 대기열에서 기다리거나 IVR 시스템에서 해당 기능이 활성화된 경우 콜백을 기다리는 데 소요되는 평균 시간입니다.
- 이벤트 시간 – 콜센터 스트림이 전송되는 시간입니다(이 게시물에서는 KDG를 통해).
다음 팩트 페이로드는 KDG에서 샘플 팩트 데이터를 생성하는 데 사용됩니다.
다음 스크린샷은 Amazon Managed Service for Apache Flink 노트북의 샘플 팩트 데이터 출력을 보여줍니다.
두 번째 데이터 세트는 차원 데이터입니다. 이 데이터에는 해당 조직 ID의 조직 이름, 상담원 이름 등과 같은 메타데이터 정보가 포함되어 있습니다. 차원 데이터 세트의 빈도는 하루에 두 번인 반면, 팩트 데이터 세트는 15초마다 로드됩니다. 이번 포스팅에서는 아마존 단순 스토리지 서비스 (Amazon S3) 메타데이터 정보를 저장하는 데이터 저장 계층(아마존 DynamoDB 메타데이터 정보를 저장하는 데에도 사용할 수 있습니다.) 우리는 사용 AWS 람다 Amazon S3의 메타데이터를 메타데이터 정보를 저장하는 다른 Kinesis 데이터 스트림으로 로드합니다. Amazon S3에 저장된 다음 JSON 파일에는 Kinesis 데이터 스트림에 로드할 메타데이터 매핑이 있습니다.
스트리밍 데이터 소스에서 Kinesis Data Streams로 데이터 수집
데이터 수집을 시작하려면 다음 단계를 완료하세요.
- 다음 스크린샷과 같이 팩트 및 차원 데이터 세트에 대한 두 개의 Kinesis 데이터 스트림을 생성합니다. 지침은 다음을 참조하세요. AWS Management Console을 통해 스트림 생성.
- Lambda 콘솔에서 Lambda 함수를 생성하여 Amazon S3에서 Kinesis Data Streams로 메타데이터 파일을 로드합니다. 다음 코드를 사용하세요.
Apache Flink Studio용 Amazon Managed Service와 함께 관리형 Apache Zeppelin 노트북을 사용하여 스트리밍 데이터 변환
다음 단계는 추가 변환(조인, 집계 등)을 위해 Amazon Managed Service for Apache Flink Studio에 테이블을 생성하는 것입니다. Apache Flink Studio용 Amazon Managed Service를 사용하여 Kinesis Data Streams를 설정하고 쿼리하려면 다음을 참조하십시오. Apache Flink Studio 및 Python용 Amazon Managed Service를 사용하여 대화형으로 데이터 스트림을 쿼리합니다. Apache Flink용 Amazon Managed Service 노트북을 생성합니다. 그런 다음 다음 단계를 완료하십시오.
- Apache Flink Studio용 Amazon Managed Service 노트북에서 다음 쿼리를 사용하여 이전에 생성한 팩트 데이터 스트림에서 팩트 테이블을 생성합니다.
이벤트 시간 속성은 CREATE 테이블 DDL의 WATERMARK 문을 사용하여 정의됩니다. WATERMARK 문은 이벤트 시간 필드를 이벤트 시간 속성으로 표시하는 기존 이벤트 시간 필드에 워터마크 생성 표현식을 정의합니다.
이벤트 시간은 각 행에 첨부된 타임스탬프를 기반으로 스트리밍 데이터를 처리하는 것을 의미합니다. 타임스탬프는 이벤트가 발생한 시기를 인코딩할 수 있습니다. 처리 시간(PROCTime)은 해당 작업을 실행하는 컴퓨터의 시스템 시간을 나타냅니다.
- 메타데이터 Kinesis 데이터 스트림을 사용하는 Amazon Managed Service for Apache Flink Studio 노트북에서 차원 테이블을 생성합니다.
- 사실 테이블과 조인할 최신 버전의 메타데이터 테이블 값을 추출하기 위해 버전이 지정된 뷰를 만듭니다.
- 사실과 버전이 지정된 메타데이터 테이블을 결합하세요.
orgID
추가 보고를 위해 5초마다 각 조직의 대기열에 있는 총 통화 수를 제공하는 보기를 만듭니다. 또한 5초마다 최종 출력을 수신하려면 5초의 텀블 창을 만듭니다. 다음 코드를 참조하세요.
- 이제 생성한 뷰에서 다음 쿼리를 실행하고 노트북에서 결과를 볼 수 있습니다.
OpenSearch 대시보드를 통해 거의 실시간으로 콜센터 성과의 KPI 시각화
다음 예와 같이 콜센터 성능 대시보드를 생성하여 Amazon Managed Service for Apache Flink Studio 내에서 생성된 지표를 OpenSearch Service에 게시하고 지표를 거의 실시간으로 시각화할 수 있습니다. 인용하다 데이터 스트리밍 및 출력 검증 Apache Flink용 Amazon Managed Service를 사용하여 OpenSearch 대시보드를 구성합니다. 커넥터를 구성한 후 노트북에서 다음 명령을 실행하여 OpenSearch Service 클러스터에 인덱스를 생성할 수 있습니다.
XNUMXD덴탈의 active_call_queue
OpenSearch 서비스에서 인덱스가 생성됩니다. 다음 스크린샷은 OpenSearch 대시보드의 인덱스 패턴을 보여줍니다.
이제 OpenSearch 대시보드에서 시각화를 생성할 수 있습니다. 다음 스크린샷은 예를 보여줍니다.
결론
이 게시물에서는 Amazon Managed Service for Apache Flink를 사용하여 레거시 온프레미스 실시간 분석 아키텍처를 현대화하고 AWS에서 서버리스 데이터 분석 솔루션을 구축하는 방법에 대해 논의했습니다. 또한 실시간 분석에 사용될 때 관계형 데이터베이스의 문제점과 서버리스 AWS 솔루션으로 아키텍처를 현대화하여 이를 완화하는 방법에 대해서도 논의했습니다.
질문이나 제안 사항이 있으면 의견을 남겨주세요.
저자에 관하여
부페시 샤르마 AWS의 수석 데이터 엔지니어입니다. 그의 역할은 고객이 데이터 기반 의사 결정을 통해 고객의 역량을 강화할 수 있도록 고가용성, 고성능, 비용 효율적인 데이터 분석 솔루션을 설계하도록 돕는 것입니다. 여가 시간에는 악기 연주, 도로 자전거 타기, 수영을 즐깁니다.
데비카 싱 그는 AWS 서비스, 아키텍처 및 클라우드 기반 모범 사례를 깊이 이해하고 있는 Amazon의 수석 데이터 엔지니어입니다. 데이터 분석 및 AWS 클라우드 마이그레이션에 대한 전문 지식을 바탕으로 그녀는 비즈니스 요구에 따라 비용 효율적이고 안전하며 확장 가능한 솔루션을 설계하고 구축하는 방법에 대한 기술 지침을 커뮤니티에 제공합니다. 전문적인 활동 외에도 그녀는 클래식 음악과 여행에 열정을 갖고 있습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/modernize-a-legacy-real-time-analytics-application-with-amazon-managed-service-for-apache-flink/
- :있다
- :이다
- :아니
- :어디
- $UP
- 1
- 10
- 100
- 102
- 11
- 15%
- 150
- 20
- 2001
- 2005
- 23
- 25
- 30
- 33
- a
- 능력
- 소개
- 가로질러
- 활동적인
- 또한
- 후
- 에이전트
- 자치령 대표
- All
- 수
- 또한
- 아마존
- 아마존 키네 시스
- Amazon Web Services
- 양
- an
- 분석
- 분석하다
- 및
- 다른
- 어떤
- APAC
- 아파치
- 어플리케이션
- 어플리케이션
- 접근
- 아키텍처
- 있군요
- AS
- At
- 붙여진
- Automatic
- 유효성
- 가능
- 평균
- AWS
- 기지
- 기반으로
- BE
- 때문에
- 혜택
- BEST
- 모범 사례
- 그 너머
- 몸
- 빌드
- 건물
- 내장
- 사업
- 비즈니스 인텔리전스
- 사업
- by
- 전화
- 콜센터
- 통화
- CAN
- 캡처
- 한
- 원인
- 센터
- 어떤
- 과제
- 변화
- 채널
- 클라우드
- 클라우드 컴퓨팅
- 클러스터
- 암호
- 본문
- 커뮤니티
- 회사
- 완전한
- 컴퓨팅
- 콘솔에서
- 끊임없이
- 이 포함되어 있습니다
- 문맥
- 지속적으로
- 수정
- 비용 효율적인
- 수
- 만들
- 만든
- 만들기
- 기획
- Current
- 현재 상태
- 고객
- 고객 센터
- 고객
- 계기반
- 대시 보드
- 데이터
- 데이터 분석
- 데이터 엔지니어
- 데이터 저장
- 데이터 중심
- 데이터베이스
- 데이터베이스
- 데이터 세트
- 일
- 의사 결정
- 깊은
- 한정된
- 정의
- 학과
- 부서
- 설명
- 결정
- 결정하다
- 디바이스
- 다른
- 외형 치수
- 곧장
- 토론
- 논의 된
- 분포
- 하지
- 아래 (down)
- 구동
- 드롭
- 두
- 마다
- 이전
- 유효한
- 효율성
- 엘리트
- EMEA
- 직원
- 능력을 키우다
- 끝으로 종료
- 기사
- 확인
- 오류
- 에테르 (ETH)
- 이벤트
- 이벤트
- 모든
- 예
- 현존하는
- 존재
- 경험
- 전문적 지식
- 표현
- 추출물
- 사실
- 사실
- 특색
- 를
- 들
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 최후의
- 먼저,
- 유연성
- 수행원
- 럭셔리
- 체재
- 무료
- 진동수
- 빈번한
- 에
- 충분히
- 기능
- 추가
- 이득
- 생성
- 생성
- 생성
- 생성
- 세대
- 얻을
- 점점
- GitHub의
- 그룹
- 지도
- 핸들
- 처리
- 손
- 일이
- 있다
- he
- 도움
- 도움이
- 그녀의
- 고수준
- 고성능
- 강조
- 그의
- 주인
- 시간
- 방법
- 그러나
- HTML
- HTTP
- HTTPS
- 허브
- 식별자
- if
- 설명하다
- 이행
- import
- 개선
- in
- 들어오는
- 증가
- 색인
- 표시
- 정보
- 내부
- 통찰력
- 명령
- 악기
- 인텔리전스
- 관심
- 으로
- 소개
- 격리
- 문제
- IT
- 그
- 어울리다
- 합류 한
- 조인
- JPG
- JSON
- JV
- 키
- Kinesis 데이터 스트림
- 알려진
- LATAM
- 최근
- 층
- 리드
- 휴가
- 유산
- 길이
- 레벨
- 처럼
- 제한
- 제한된
- 하중
- 잃다
- 관리
- 구축
- 최대
- XNUMX월..
- 측정
- 조치들
- 메타 데이터
- 메트릭
- 통계
- 이주하는
- 이주
- 분
- 분
- 완화
- 모드
- 모델
- 현대화
- 현대화
- 배우기
- 음악
- 뮤지컬
- name
- 이름
- 필요한
- 필요
- 요구
- 신제품
- 다음 것
- 수첩
- 노트북
- 대상
- of
- on
- 만
- 조작
- 운영
- 기회
- or
- 주문
- 조직
- 조직
- 기타
- 출력
- 위에
- 열렬한
- 무늬
- 패턴
- 대기
- tỷ lệ phần trăm
- 수행
- 성능
- 기간
- 전화
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 연주
- 부디
- 게시하다
- 사례
- 전
- 문제
- 문제 해결
- 문제
- 절차
- 방법
- 처리
- 생산력
- 링크를
- 제공
- 제공
- 게시
- 출판
- 문의
- 빨리
- 읽기
- 현실
- 실시간
- 받다
- 기록
- 참조
- 의미
- 지방
- 정규병
- 관계
- 관련성
- 관련된
- 의지하다
- 보고
- 통계 보고서
- 필요
- 필수
- 필요
- 제품 자료
- 점
- 그
- 응답
- 결과
- 유지
- 도로
- 직위별
- 길
- 열
- 달리기
- 달리는
- 확장성
- 주사
- 둘째
- 초
- 안전해야합니다.
- 참조
- 보내다
- 전송
- 연장자
- 전송
- 서버리스
- 서비스
- 서비스
- 세트
- 설정
- 설치
- 몇몇의
- 그녀
- 변화
- 표시
- 쇼
- 단순, 간단, 편리
- 단일
- 기술
- 느리게
- 스냅 사진
- So
- 부드러움
- 해결책
- 솔루션
- 풀다
- 해결
- 정교한
- 출처
- 지우면 좋을거같음 . SM
- 기간
- SQL
- 표준
- 스타트
- 시작
- 주 정부
- 성명서
- 미국
- 단계
- 단계
- 저장
- 저장
- 저장
- 상점
- 흐름
- 스트리밍
- 스트리밍
- 스트림
- 스튜디오
- 이러한
- 둘러싸인
- 수영
- 체계
- 테이블
- 목표
- 팀
- 테크니컬
- 기술
- 이 템플릿
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그때
- Bowman의
- 그들
- 이
- 임계값
- 을 통하여
- 도처에
- 시간
- 따라서 오른쪽 하단에
- 에
- 상단
- 금액
- 전통적인
- 변환
- 변환
- 여행
- 잘림
- 두번
- 두
- 일반적으로
- 이해
- us
- 사용
- 익숙한
- 사용
- 사용
- 유효 기간
- 가치
- 마케팅은:
- 버전
- 를 통해
- 관측
- 보기
- 시각화
- 기다리는
- 걷다
- 워터 마크
- 방법..
- 방법
- we
- 웹
- 웹 서비스
- 주
- 잘
- 뭐
- 언제
- 이므로
- 어느
- 모든
- 창
- 창
- 과
- 이내
- 작업
- 일하는
- 워크숍
- 겠지
- 당신
- 너의
- 제퍼 넷
- Zeppelin