Medicinske udbydere har ofte behov for at analysere og diktere patienttelefonsamtaler, lægenotater, rapporter om kliniske forsøg og patientjournaler. Ved at automatisere transkription kan udbydere hurtigt og præcist give patienter medicinske tilstande, medicin, dosering, styrke og hyppighed.
Generiske kunstig intelligens-baserede transskriptionsmodeller kan bruges til at transskribere stemme til tekst. Medicinske stemmedata bruger dog ofte komplekse medicinske termer og forkortelser. Transskribering af sådanne data kræver medicinske/sundhedsspecifikke maskinlæringsmodeller (ML). For at løse dette problem lancerede AWS Amazon Transcribe Medical, en automatisk talegenkendelsestjeneste (ASR), der gør det nemt for dig at tilføje medicinske tale-til-tekst-funktioner til dine stemmeaktiverede applikationer.
Desuden Amazon Comprehend Medical er en HIPAA-kvalificeret service, der hjælper udbydere med at udtrække information fra ustruktureret medicinsk tekst nøjagtigt og hurtigt. For at transskribere stemme i realtid skal udbydere have adgang til rå lyd fra opkaldet, mens det er i gang. Twilio, en AWS-partner, tilbyder telefonstemmeintegration i realtid.
I dette indlæg viser vi dig, hvordan du integrerer Twilio Media Streams med Amazon Transcribe Medical og Amazon Comprehend Medical for at transskribere og analysere data fra telefonopkald. For ikke-sundhedsindustrien kan du bruge den samme løsning med Amazon Transcrib , Amazon Comprehend.
Twilio Media Streams fungerer i sammenhæng med en traditionel Twilio-stemmeapplikation, som en Interactive Voice Response (IVR), der betjener kunder direkte, såvel som et kontaktcenter, som Twilio Flex, hvor agenter betjener forbrugerne. Du har diskret kontrol over dine stemmedata i dit kontaktcenter for at opbygge den oplevelse, dine kunder foretrækker.
Amazon Transcribe Medical er en ML-tjeneste, der gør det nemt hurtigt at skabe nøjagtige transskriptioner mellem patienter og læger. Amazon Comprehend Medical er en NLP-tjeneste (natural language processing), der gør det nemt at bruge ML til at udtrække relevant medicinsk information fra ustruktureret tekst. Du kan hurtigt og præcist indsamle oplysninger (såsom medicinsk tilstand, medicin, dosering, styrke og hyppighed) fra en række forskellige kilder (såsom lægenotater, rapporter om kliniske forsøg og patientjournaler). Amazon Comprehend Medical kan også linke de detekterede oplysninger til medicinske ontologier såsom ICD-10-CM eller RxNorm, så downstream-sundhedsapplikationer nemt kan bruge det.
Følgende diagram illustrerer, hvordan Amazon Comprehend Medical understøtter medicinsk navngivne entitets- og relationsudtrækninger.
Amazon Transcribe Medical, Amazon Comprehend Medical og Twilio Media Streams er alle administrerede platforme. Det betyder, at dataforskere og it-teams i sundhedssektoren ikke behøver at bygge tjenester fra bunden. Stemmeintegration leveres af Twilio og AWS ML services API'er og kræver kun en simpel plug-and-play med AWS og Twilio tjenester for at opbygge end-to-end workflowet.
Løsningsoversigt
Vores løsning bruger Twilio Media Streams til at levere telefoniservice til kunden. Denne tjeneste giver et telefonnummer og backend til medietjenester for at integrere det med REST API-baserede webapplikationer. I denne løsning bygger vi en Node.js-webapp og implementerer den med AWS Amplify. Amplify hjælper frontend-web- og mobiludviklere med at bygge sikre, skalerbare fuld stack-applikationer. Webappen har grænseflader med Twilio Media Streams for at modtage telefonopkald i stemmeformat og bruger Amazon Transcribe Medical til at konvertere stemme til tekst. Efter modtagelse af transkriptionen har applikationen grænseflader med Amazon Comprehend Medical for at udtrække medicinske termer og indsigt fra transskriptionen. Indsigten vises på webappen og gemmes i en Amazon DynamoDB tabel for yderligere analyse. Løsningen bruger også Amazon Simple Storage Service (Amazon S3) og en AWS Cloud9 miljø.
Følgende diagram illustrerer løsningsarkitekturen.
For at implementere løsningen gennemfører vi følgende trin på højt niveau:
- Opret en prøve-Twilio-konto.
- Opret en AWS identitets- og adgangsstyring (IAM) bruger.
- Opret et AWS Cloud9 integreret udviklingsmiljø (IDE).
- Klon GitHub repo.
- Opret en sikret HTTPS-tunnel ved hjælp af ngrok og opsæt Twilio-telefonnummerets stemmekonfiguration.
- Kør programmet.
Opret en prøve-Twilio-konto
Før du går i gang, skal du sørge for at tilmeld dig en prøve-Twilio-konto (https://www.twilio.com/try-twilio), hvis du ikke allerede har en.
Opret en IAM-bruger
For at oprette en IAM-bruger skal du udføre følgende trin:
- På IAM-konsollen, under Adgangsstyring, vælg Brugere.
- Vælg Tilføj bruger.
- På Indstil brugeroplysninger side, for brugernavn¸ indtast et navn.
- Til Adgangstype, Vælg Programatisk adgang.
- Vælg Næste: Tilladelser.
- På Angiv tilladelser side, vælg Vedhæft eksisterende politikker direkte.
- Vælg følgende AWS-administrerede politikker, AmazonTranscribeFullAccess, ComprehendMedicalFullAccess, AmazonDyanmoDBFullAccess, , AmazonS3FullAccess.
- Vælg Næste: Mærker.
- Spring over at tilføje tags og vælg Næste: Anmeldelse.
- Gennemgå IAM-brugeroplysningerne og vedhæftede politikker, og vælg Opret bruger.
- På næste side skal du kopiere adgangsnøgle-id'et og den hemmelige adgangsnøgle til dit udklipsholder eller downloade CSV-filen.
Vi bruger disse legitimationsoplysninger til at teste Node.js-applikationen.
Opret en S3 Bucket
For at oprette din Amazon S3 Bucket skal du udføre følgende trin.
- På Amazon S3-konsollen skal du vælge Opret spand.
- Til Navn på spand, indtast et navn til Amazon S3-bøtten.
- Til Bloker indstillinger for offentlig adgang for denne bucket kontrollere Bloker alle offentlig adgang.
- Gennemgå indstillingerne og vælg Opret spand.
Opret en Amazon DynamoDB-tabel
For at oprette din Amazon DynamoDB-tabel skal du udføre følgende trin.
- På Amazon DynamoDB-konsollen skal du vælge Opret tabel.
- Til Tabelnavn, indtast et navn til Amazon DynamoDB-tabellen.
- Til Primærnøgle, gå ind ROWID for den primære nøgle.
- Gennemgå Amazon DynamoDB-tabelindstillingerne, og vælg
Opret et AWS Cloud9-miljø
For at oprette dit AWS Cloud9-miljø skal du udføre følgende trin.
- På AWS Cloud9-konsollen skal du vælge miljøer.
- Vælg Skab miljø.
- Til Navn, indtast et navn til miljøet.
- Til Beskrivelse, indtast en valgfri beskrivelse.
- Vælg Næste skridt.
- På Konfigurer indstillinger side, vælg Ubuntu Server 18.04LTS forum perron og lad de andre indstillinger være standard.
- Gennemgå indstillingerne og vælg Skab miljø.
AWS Cloud9 IDE-fanen åbnes i din browser; Du skal muligvis vente et par minutter på, at miljøoprettelsesprocessen er fuldført.
Klon GitHub-repoen
I AWS Cloud9-miljøet skal du lukke Velkommen! , AWS Toolkit – QuickStart faner. For at klone GitHub-lageret skal du indtaste følgende kode på bash-terminalen:
Rediger config.json fil under projektbiblioteket. Erstat værdierne med din Amazon S3 Bucket og Amazon DynamoDB bord.
Konfigurer ngrok og Twilio-telefonnummeret
Før vi starter Node.js-applikationen, skal vi starte en sikret HTTPS-tunnel ved hjælp af ngrok og konfigurere Twilio-telefonnummerets stemmekonfiguration.
- På terminalen skal du vælge +
- Vælg Ny terminal.
- Installer ngrok på terminalen:
- Når ngrok er installeret, skal du køre følgende kode for at eksponere den lokale Express Node.js-server for internettet:
- Kopiér den offentlige HTTPS-URL.
Du bruger denne URL til Twilio-telefonnummerets stemmekonfiguration.
- Log ind på din Twilio-konto.
- På dashboardet skal du vælge ... ikon for at åbne Indstillinger
- Vælg Telefonnumre.
- På Telefonnumre side, skal du vælge dit Twilio-telefonnummer.
- I Voice afsnit, for Et opkald kommer ind, vælg webhook.
- Gå ind i ngrok-tunnelen efterfulgt af
/twiml
. - Gem konfigurationen.
Kør applikationen
Lad os nu køre tjenesterne Twilio Media Streams, Amazon Transcribe Medical og Amazon Comprehend Medical ved at indtaste følgende kode:
Vi kan forhåndsvise applikationen i AWS Cloud9. I miljøet, på Eksempel menu, vælg Forhåndsvisning af kørende applikation.
Du kan kopiere den offentlige URL for at se applikationen på en anden browserfane.
Indtast IAM-brugeradgangs-id'et og hemmelige nøglelegitimationsoplysninger og din Twilio-konto-SID, godkendelsestoken og telefonnummer.
Demonstration
I dette afsnit bruger vi to prøveoptagelser til at demonstrere lydtransskription i realtid med Twilio Media Streams.
Når du har indtastet dine IAM- og Twilio-legitimationsoplysninger, skal du vælge Indsend legitimationsoplysninger.
Følgende skærmbillede viser transskriptionen af vores første lydfil, sample-1.mp4.
Følgende skærmbillede viser transskriptionen af vores anden fil, sample-3.mp4.
Denne applikation bruger Amazon Transcribe Medical til at transskribere medieindhold i realtid og gemmer outputtet i Amazon S3 til yderligere analyse. Applikationen bruger derefter Amazon Comprehend Medical til at opdage følgende enheder:
- ANATOMI – Registrerer referencer til dele af kroppen eller kropssystemerne og placeringen af disse dele eller systemer
- SYGDOMSTILSTAND – Registrerer tegn, symptomer og diagnose af medicinske tilstande
- MEDICIN – Registrerer medicin og doseringsoplysninger for patienten
- PROTECTED_HEALTH_INFORMATION – Registrerer patientens personlige oplysninger
- TEST_BEHANDLING_PROCEDURE – Registrerer de procedurer, der bruges til at bestemme en medicinsk tilstand
- TIME_EXPRESSION – Registrerer enheder relateret til tidspunkt, når de er knyttet til en registreret enhed
Disse entiteter er gemt i DynamoDB-tabellen. Sundhedsudbydere kan bruge disse data til at oprette patientdiagnose og behandlingsplan.
Du kan yderligere analysere disse data gennem tjenester som f.eks Amazon Elasticsearch Service (Amazon ES) og Amazon Kendra.
Ryd op i dine ressourcer
AWS-tjenesterne, der bruges i denne løsning, er en del af AWS Free Tier. Hvis du ikke bruger Free Tier, skal du rydde op i følgende ressourcer for at undgå at pådrage dig yderligere gebyrer:
- AWS Cloud9 miljø
- Amazon S3 spand
- Amazon DynamoDB bord
- IAM bruger
Konklusion
I dette indlæg viste vi, hvordan man integrerer Twilio Media Streams med Amazon Transcribe Medical og Amazon Comprehend Medical for at transskribere og analysere medicinske data fra lydfiler. Du kan også bruge denne løsning i ikke-sundhedsindustrien til at transskribere information fra lyd.
Vi inviterer dig til at tjekke koden i GitHub repo og prøv løsningen, og udvid endda dataanalysen med Amazon ES eller Amazon Kendra.
Om forfatteren
Mahendra Bairagi er Principal Machine Learning Prototyping Architect hos Amazon Web Services. Han hjælper kunder med at bygge maskinlæringsløsninger på AWS. Han har stor erfaring med ML, Robotics, IoT og Analytics-tjenester. Før han kom til Amazon Web Services, havde han lang ansættelse som iværksætter, virksomhedsarkitekt og softwareudvikler.
Jay Park er en Prototyping Solutions Architect for AWS. Jay er fokuseret på at hjælpe AWS-kunder med at fremskynde deres overtagelse af cloud-native arbejdsbelastninger gennem hurtig prototyping
- adgang
- Konto
- Yderligere
- Vedtagelse
- midler
- AI
- Amazon
- Amazon Comprehend
- Amazon Kendra
- Amazon Transcrib
- Amazon Transcribe Medical
- Amazon Web Services
- analyse
- analytics
- API'er
- app
- Anvendelse
- applikationer
- arkitektur
- lyd
- AWS
- krop
- browser
- bygge
- ringe
- afgifter
- kode
- Forbrugere
- indhold
- samtaler
- Legitimationsoplysninger
- Kunder
- instrumentbræt
- data
- dataanalyse
- Udvikler
- udviklere
- Udvikling
- dosering
- Elasticsearch
- Enterprise
- Entrepreneur
- Miljø
- Udvid
- Fornavn
- format
- Gratis
- fuld
- GitHub
- Helse
- sundhedspleje
- Hvordan
- How To
- HTTPS
- IAM
- ICON
- Identity
- industrier
- oplysninger
- indsigt
- integration
- interaktiv
- Internet
- tingenes internet
- IT
- Nøgle
- Sprog
- læring
- LINK
- lokale
- Lang
- machine learning
- Medier
- medicinsk
- medicin
- ML
- Mobil
- Naturligt sprog
- Natural Language Processing
- NLP
- node.js
- Tilbud
- åbent
- åbner
- Andet
- partner
- patienter
- Platforme
- politikker
- Eksempel
- projekt
- prototyping
- offentlige
- Raw
- realtid
- optegnelser
- Rapporter
- Ressourcer
- svar
- REST
- robotteknik
- Kør
- kører
- forskere
- Tjenester
- servering
- sæt
- Skilte
- Simpelt
- Snap
- So
- Software
- Løsninger
- Talegenkendelse
- hastighed
- starte
- påbegyndt
- opbevaring
- forhandler
- Understøtter
- Systemer
- Test
- tid
- token
- behandling
- retssag
- Twilio
- Specifikation
- Voice
- vente
- web
- webapplikationer
- webservices
- inden for
- workflow
- virker