많은 기업이 고객에게 더 나은 서비스를 제공하기 위해 처리, 구성 및 분류해야 하는 방대한 양의 문서에 압도되어 있습니다. 그러한 예로는 대출 신청, 세금 신고 및 청구가 있습니다. 이러한 문서는 일반적으로 이미지 형식으로 수신되며 대부분 여러 페이지로 되어 있고 품질이 낮은 형식입니다. 더 경쟁력 있고 비용 효율적이며 동시에 보안과 규정 준수를 유지하기 위해 이러한 회사는 문서 처리 기능을 발전시켜 처리 시간을 줄이고 자동 및 확장 가능한 방식으로 분류 정확도를 개선해야 합니다. 이러한 회사는 문서 처리에서 다음과 같은 문제에 직면해 있습니다.
- 부적절하거나 원치 않거나 불쾌감을 주는 콘텐츠를 감지하기 위해 문서에 대한 검토 수행
- 소규모 회사에서 채택한 수동 문서 분류는 시간이 많이 걸리고 오류가 발생하기 쉬우며 비용이 많이 듭니다.
- 규칙 기반 시스템의 OCR 기술은 충분히 지능적이지 않고 문서 형식의 변경 사항에 적용할 수 없습니다.
- 머신 러닝(ML) 접근 방식을 채택하는 회사는 들어오는 문서 볼륨의 급증을 처리하기 위해 모델을 확장할 리소스가 없는 경우가 많습니다.
이 게시물은 이러한 문제를 해결하고 이러한 문제를 효율적으로 해결하는 아키텍처를 제공합니다. 우리는 당신이 사용할 수있는 방법을 보여줍니다 아마존 인식 와 아마존 텍사스 문서 처리에 대한 인간의 노력을 최적화하고 감소시킵니다. Amazon Rekognition은 문서에서 조정 레이블을 식별하고 다음을 사용하여 분류합니다. Amazon Rekognition 사용자 지정 레이블. Amazon Textract는 문서에서 텍스트를 추출합니다.
이 게시물에서는 수동 작업이나 사용자 지정 코드 없이 문서를 처리하기 위해 두 개의 ML 파이프라인(학습 및 추론)을 구축하는 방법을 다룹니다. 추론 파이프라인의 상위 수준 단계는 다음과 같습니다.
- Amazon Rekognition을 사용하여 업로드된 문서를 검토합니다.
- Rekognition Custom Labels를 사용하여 문서를 W-2, 송장, 은행 거래 명세서, 급여 명세서와 같은 다양한 범주로 분류하십시오.
- Amazon Textract를 사용하여 인쇄된 텍스트, 손글씨, 양식 및 표와 같은 문서에서 텍스트를 추출합니다.
솔루션 개요
이 솔루션은 다음 AI 서비스, 서버리스 기술 및 관리 서비스를 사용하여 확장 가능하고 비용 효율적인 아키텍처를 구현합니다.
- 아마존 DynamoDB – 모든 규모에서 한 자릿수 밀리 초 성능을 제공하는 키-값 및 문서 데이터베이스.
- 아마존 이벤트 브리지 – 애플리케이션, 통합 SaaS(Software as a Service) 애플리케이션 및 AWS 서비스에서 생성된 이벤트를 사용하여 이벤트 기반 애플리케이션을 대규모로 구축하기 위한 서버리스 이벤트 버스.
- AWS 람다 – 데이터 변경, 시스템 상태 변경 또는 사용자 작업과 같은 트리거에 대한 응답으로 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다.
- 아마존 인식 – ML을 사용하여 이미지 및 비디오의 개체, 사람, 텍스트, 장면 및 활동을 식별하고 부적절한 콘텐츠를 감지합니다.
- Amazon Rekognition 사용자 지정 레이블 – 컴퓨터 비전 및 전이 학습에 AutoML을 사용하여 비즈니스 요구에 특정한 이미지의 개체와 장면을 식별하도록 사용자 지정 모델을 훈련할 수 있습니다.
- Amazon Simple Storage Service(Amazon S3) – 문서의 개체 저장소 역할을 하고 미세 조정된 액세스 제어로 중앙 관리를 허용합니다.
- 아마존 스텝 기능 – Lambda 기능과 여러 서비스를 비즈니스 크리티컬 애플리케이션으로 쉽게 시퀀싱할 수 있는 서버리스 기능 오케스트레이터입니다.
- 아마존 텍사스 – ML을 사용하여 PDF, JPEG 또는 PNG 형식의 스캔 문서에서 텍스트와 데이터를 추출합니다.
다음 다이어그램은 추론 파이프라인의 아키텍처를 보여줍니다.
- 사용자가 입력 S3 버킷에 문서를 업로드합니다.
- 업로드는 Amazon S3 이벤트 알림 EventBridge에 실시간 이벤트를 직접 전달합니다. "와 일치하는 Amazon S3 이벤트
object created
"에 대해 정의된 필터 EventBridge 규칙 Step Functions 워크플로를 시작합니다. - Step Functions 워크플로는 다음 작업을 수행하는 일련의 Lambda 함수를 트리거합니다.
- 첫 번째 함수는 사전 처리 작업을 수행하고 Amazon Rekognition에 대한 API 호출을 수행합니다.
- 수신 문서가 이미지 형식(예: JPG 또는 PNG)인 경우 함수는 Amazon Rekognition API를 호출하고 문서를 S3 객체로 제공합니다. 그러나 문서가 PDF 형식인 경우 함수는 Amazon Rekognition API를 호출할 때 이미지 바이트를 스트리밍합니다.
- 문서에 여러 페이지가 포함된 경우 함수는 문서를 개별 페이지로 분할하고 개별적으로 처리하기 전에 출력 S3 버킷의 중간 폴더에 저장합니다.
- 사전 처리 작업이 완료되면 이 함수는 Amazon Rekognition에 대한 API 호출을 수행하여 부적절하거나 원치 않거나 불쾌감을 주는 콘텐츠를 감지하고 훈련된 Rekognition Custom Labels 모델에 대한 또 다른 API 호출을 수행하여 문서를 분류합니다.
- 두 번째 함수는 Amazon Textract에 대한 API 호출을 수행하여 입력 문서에서 텍스트를 추출하고 출력 S3 버킷에 저장하는 작업을 시작합니다.
- 세 번째 함수는 중재 레이블, 문서 분류, 분류 신뢰도, Amazon Textract 작업 ID 및 파일 경로와 같은 문서 메타데이터를 DynamoDB 테이블에 저장합니다.
- 첫 번째 함수는 사전 처리 작업을 수행하고 Amazon Rekognition에 대한 API 호출을 수행합니다.
요구 사항에 따라 워크플로를 조정할 수 있습니다. 예를 들어 다음을 사용하여 이 워크플로에 자연어 처리(NLP) 기능을 추가할 수 있습니다. 아마존 이해 추출된 텍스트에 대한 통찰력을 얻습니다.
교육 파이프라인
이 아키텍처를 배포하기 전에 Rekognition Custom Labels를 사용하여 문서를 다양한 범주로 분류하는 사용자 지정 모델을 교육합니다. 교육 파이프라인에서 다음을 사용하여 문서에 레이블을 지정합니다. 아마존 세이지 메이커 그라운드 진실. 그런 다음 레이블이 지정된 문서를 사용하여 Rekognition Custom Labels로 모델을 교육합니다. 이 예에서는 다음을 사용합니다. 아마존 세이지 메이커 노트북을 사용하여 이러한 단계를 수행할 수 있지만 Rekognition Custom Labels 콘솔을 사용하여 이미지에 주석을 달 수도 있습니다. 지침은 다음을 참조하십시오. 이미지에 레이블 지정.
데이터 세트
모델을 학습시키기 위해 W2와 송장이 포함된 다음 공개 데이터 세트를 사용합니다.
귀하의 산업과 관련된 다른 데이터 세트를 사용할 수 있습니다.
다음 표에는 훈련과 테스트 간의 데이터 세트 분할이 요약되어 있습니다.
클래스 | 훈련 세트 | 테스트 세트 |
송장 | 352 | 75 |
W-2 | 86 | 16 |
금액 | 438 | 91 |
AWS CloudFormation으로 교육 파이프라인 배포
당신은 AWS 클라우드 포메이션 필요한 프로비저닝 템플릿 AWS 자격 증명 및 액세스 관리 (IAM) SageMaker 노트북 인스턴스를 포함한 교육 파이프라인의 역할 및 구성 요소.
- 미국 동부(버지니아 북부) 리전에서 다음 CloudFormation 템플릿을 시작합니다.
- 럭셔리 스택 이름, 같은 이름을 입력하십시오
document-processing-training-pipeline
. - 왼쪽 메뉴에서 다음 보기.
- . 기능 및 변환 섹션에서 AWS CloudFormation이 생성할 수 있음을 확인하는 확인란을 선택합니다. IAM 리소스.
- 왼쪽 메뉴에서 스택 생성.
스택 세부 정보 페이지에는 스택 상태가 다음과 같이 표시되어야 합니다. CREATE_IN_PROGRESS
. 상태가로 변경되는 데 최대 5 분이 소요될 수 있습니다. CREATE_COMPLETE
. 완료되면 다음에서 출력을 볼 수 있습니다. 출력 탭.
- 스택이 성공적으로 시작된 후 SageMaker 콘솔을 열고 다음을 선택합니다. 노트북 인스턴스 탐색 이름에서.
- 다음을 사용하여 예를 찾으십시오.
DocProcessingNotebookInstance-
접두사를 입력하고 상태가 InService가 될 때까지 기다립니다. - $XNUMX Million 미만 행위선택한다.
주피터 열기.
예제 노트북 실행
노트북을 실행하려면 다음 단계를 완료하십시오.
- 선택
Rekognition_Custom_Labels
예시 노트북.
- 왼쪽 메뉴에서 달리기 예제 노트북의 셀을 순서대로 실행합니다.
노트북은 훈련 및 테스트 이미지 준비, 레이블 지정, 매니페스트 파일 생성, 모델 훈련, Rekognition Custom Labels로 훈련된 모델 실행의 전체 수명 주기를 보여줍니다. 또는 Rekognition Custom Labels 콘솔을 사용하여 모델을 훈련하고 실행할 수 있습니다. 지침은 다음을 참조하십시오. 모델 훈련(콘솔).
노트북은 자명합니다. 단계에 따라 모델 학습을 완료할 수 있습니다.
- 적어
ProjectVersionArn
이후 단계에서 추론 파이프라인을 제공합니다.
SageMaker 노트북 인스턴스의 경우 사용 기간을 기준으로 선택한 인스턴스 유형에 대해 요금이 부과됩니다. 모델 교육을 마치면 유휴 리소스 비용을 방지하기 위해 노트북 인스턴스를 중지할 수 있습니다.
AWS CloudFormation으로 추론 파이프라인 배포
추론 파이프라인을 배포하려면 다음 단계를 완료하십시오.
- 미국 동부(버지니아 북부) 리전에서 다음 CloudFormation 템플릿을 시작합니다.
- 럭셔리 스택 이름, 같은 이름을 입력하십시오
document-processing-inference-pipeline
. - 럭셔리 DynamoDB 테이블 이름, 고유한 DynamoDB 테이블 이름을 입력합니다. 예를 들어,
document-processing-table
. - 럭셔리 입력 버킷 이름, 스택이 생성하는 S3 버킷의 고유한 이름을 입력합니다. 예를 들어,
document-processing-input-bucket
.
입력 문서는 처리되기 전에 이 버킷에 업로드됩니다. 입력 버킷의 이름을 생성할 때 소문자만 사용하고 공백은 사용하지 마십시오. 또한 이 작업은 새 S3 버킷을 생성하므로 기존 버킷의 이름을 사용하지 마십시오. 자세한 내용은 버킷 이름 지정 규칙.
- 럭셔리 출력 버킷 이름, 출력 버킷의 고유한 이름을 입력합니다. 예를 들어, d
ocument-processing-output-bucket
.
이 버킷은 처리된 출력 문서를 저장합니다. 또한 다중 페이지 PDF 입력 문서의 페이지를 Lambda 함수로 분할한 후 저장합니다. 입력 버킷과 동일한 이름 지정 규칙을 따릅니다.
- 럭셔리 RekognitionCustomLabelModelARN, 들어가다
ProjectVersionArn
Jupyter 노트북에서 메모한 값입니다. - 왼쪽 메뉴에서 다음 보기.
- 에 스택 옵션 구성 페이지에서 태그를 포함하여 스택에 대한 추가 매개 변수를 설정합니다.
- 왼쪽 메뉴에서 다음 보기.
- . 기능 및 변환 섹션에서 AWS CloudFormation이 IAM 리소스를 생성할 수 있음을 확인하는 확인란을 선택합니다.
- 왼쪽 메뉴에서 스택 생성.
스택 세부 정보 페이지에는 스택 상태가 다음과 같이 표시되어야 합니다. CREATE_IN_PROGRESS
. 상태가로 변경되는 데 최대 5 분이 소요될 수 있습니다. CREATE_COMPLETE
. 완료되면 다음에서 출력을 볼 수 있습니다. 출력 탭.
파이프라인을 통해 문서 처리
교육 및 추론 파이프라인을 모두 배포했으며 이제 솔루션을 사용하고 문서를 처리할 준비가 되었습니다.
- Amazon S3 콘솔에서 입력 버킷을 엽니다.
- 샘플 문서를 S3 폴더에 업로드합니다.
워크플로가 시작됩니다. 이 프로세스는 문서 분류 및 조정 레이블로 DynamoDB 테이블을 채웁니다. Amazon Textract의 출력은 다음의 출력 S3 버킷으로 전달됩니다. TextractOutput
폴더에 있습니다.
몇 가지 다른 샘플 문서를 워크플로에 제출했고 DynamoDB 테이블에 채워진 다음 정보를 받았습니다.
DynamoDB 테이블에 항목이 표시되지 않거나 출력 S3 버킷에 업로드된 문서가 표시되지 않으면 Amazon CloudWatch 로그 해당 Lambda 함수에 대해 오류를 일으킨 잠재적 오류를 찾습니다.
정리
이 솔루션에 배포된 리소스를 정리하려면 다음 단계를 완료하십시오.
- CloudFormation 콘솔에서 다음을 선택합니다. 스택.
- 이 솔루션에 배포된 스택을 선택합니다.
- 왼쪽 메뉴에서 ..
이 단계에서는 S3 버킷, DynamoDB 테이블 및 훈련된 Rekognition Custom Labels 모델을 삭제하지 않습니다. 삭제하지 않으면 스토리지 요금이 계속 발생합니다. 더 이상 필요하지 않은 경우 해당 서비스 콘솔을 통해 이러한 리소스를 직접 삭제해야 합니다.
결론
이 게시물에서 우리는 문서를 조정, 분류 및 처리하기 위한 확장 가능하고 안전하며 자동화된 접근 방식을 제시했습니다. 여러 산업 분야의 회사에서 이 솔루션을 사용하여 비즈니스를 개선하고 고객에게 더 나은 서비스를 제공할 수 있습니다. 더 빠른 문서 처리와 더 높은 정확도를 허용하고 데이터 추출의 복잡성을 줄입니다. 또한 들어오는 문서 처리에 관련된 인력을 줄여 보안을 강화하고 개인 데이터 법률을 준수합니다.
자세한 내용은를 참조 Amazon Rekognition 사용자 지정 레이블 안내서, Amazon Rekognition 개발자 안내서 와 Amazon Textract 개발자 안내서. Amazon Rekognition Custom Labels를 처음 사용하는 경우 3개월 동안 지속되는 프리 티어를 사용해 보십시오. 여기에는 매월 10시간의 무료 교육과 매월 4시간의 무료 추론이 포함됩니다. Amazon Rekognition 프리 티어에는 5,000개월 동안 매월 12개의 이미지 처리가 포함됩니다. Amazon Textract 프리 티어는 1,000개월 동안 지속되며 Detect Document Text API용으로 매월 XNUMX페이지가 포함됩니다.
저자에 관하여
제이 라오 AWS의 수석 솔루션 아키텍트입니다. 그는 고객에게 기술 및 전략적 지침을 제공하고 고객이 AWS에서 솔루션을 설계 및 구현하도록 돕는 것을 즐깁니다.
우첸나 에그베 AWS의 Associate Solutions Architect입니다. 그는 여가 시간에 허브, 차, 슈퍼푸드, 그리고 이를 일상 식단에 통합하는 방법을 연구하는 데 보냅니다.
- "
- 000
- 10
- 100
- 116
- 12 개월
- 소개
- ACCESS
- 가로질러
- 행위
- 방과 후 액티비티
- 추가
- AI
- AI 서비스
- 아마존
- 다른
- API를
- 어플리케이션
- 접근
- 아키텍처
- 준
- 자동화
- AWS
- 은행
- 전에
- 청구
- 경계
- 보물상자
- 빌드
- 건물
- 버스
- 사업
- 전화
- 기능
- 발생
- 중심적인
- 과제
- 이전 단계로 돌아가기
- 청구 된
- 요금
- 왼쪽 메뉴에서
- 분류
- 암호
- 기업
- 경쟁력
- compliance
- 준수
- 계산
- 컴퓨터
- 자신
- 콘솔에서
- 이 포함되어 있습니다
- 함유량
- 계속
- 동
- 비용 효율적인
- 엄호
- 만들
- 생성
- 만들기
- 관습
- 고객
- 데이터
- 데이터베이스
- 전달
- 제공
- 배포
- 배포
- 디자인
- 세부설명
- 개발자
- 다이어트
- 다른
- 직접
- 서류
- 효율적으로
- 노력
- 노력
- 엔터 버튼
- 이벤트
- 이벤트
- 진화시키다
- 예
- 예
- 현존하는
- 추출물
- 페이스메이크업
- 고장
- 빠른
- 먼저,
- 따라
- 수행원
- 형태
- 체재
- 양식
- 무료
- 기능
- 기능
- 게다가
- 핸들
- 도움
- 도움이
- 더 높은
- 방법
- 그러나
- HTTPS
- 사람의
- 확인
- 통합 인증
- 영상
- 구현
- 개선
- 포함
- 포함
- 포함
- 개인
- 산업
- 산업
- 정보
- 입력
- 통찰력
- 통합 된
- 지능형
- 참여
- IT
- 일
- 레이블링
- 레이블
- 언어
- 시작
- 배우기
- 법제정 담당
- 기계
- 기계 학습
- 제작
- 관리
- 구축
- 조작
- 경기
- 수도
- ML
- 모델
- 모델
- 달
- 개월
- 배우기
- 여러
- 자연의
- 카테고리
- 필요한
- 요구
- 수첩
- 열 수
- 조작
- 최적화
- 주문
- 지불
- 사람들
- 성능
- 확인
- 개인 정보
- 가능성
- 교장
- 문제
- 방법
- 처리
- 제공
- 제공
- 제공
- 공개
- 실시간
- 접수
- 감소
- 감소
- 관련된
- 자료
- 응답
- 규칙
- 달리기
- 달리는
- 확장성
- 규모
- 장면
- 안전해야합니다.
- 보안
- 연속
- 서버리스
- 서비스
- 서비스
- 세트
- 단순, 간단, 편리
- So
- 소프트웨어
- 서비스로서의 소프트웨어
- 고체
- 해결책
- 솔루션
- 해결
- 공간
- 분열
- 스플릿
- 스택
- 시작
- 주 정부
- 문
- Status
- 유지
- 저장
- 저장
- 상점
- 전략의
- 제출
- 성공적으로
- 체계
- 시스템은
- 작업
- 세
- 테크니컬
- 기법
- 기술
- test
- 지원
- 을 통하여
- 시간
- 시간이 많이 걸리는
- 시대
- 트레이닝
- 이전
- 유일한
- us
- 사용
- 가치
- 확인
- 동영상
- 관측
- 버지니아의
- 시력
- 음량
- 기다리다
- 없이
- 인력