Gli operatori sanitari spesso devono analizzare e dettare le conversazioni telefoniche dei pazienti, le note dei medici, i rapporti sugli studi clinici e le cartelle cliniche dei pazienti. Automatizzando la trascrizione, i fornitori possono fornire in modo rapido e accurato ai pazienti condizioni mediche, farmaci, dosaggio, forza e frequenza.
È possibile utilizzare modelli di trascrizione generici basati sull'intelligenza artificiale per trascrivere la voce in testo. Tuttavia, i dati vocali medici utilizzano spesso termini medici complessi e abbreviazioni. La trascrizione di tali dati richiede modelli di machine learning (ML) specifici per uso medico/sanitario. Per risolvere questo problema, AWS ha lanciato Amazon Trascrizione medica, un servizio di riconoscimento vocale automatico (ASR) che semplifica l'aggiunta di funzionalità mediche di sintesi vocale alle applicazioni abilitate alla voce.
Inoltre, Amazon comprende medica è un servizio idoneo HIPAA che aiuta i fornitori a estrarre informazioni da testi medici non strutturati in modo accurato e rapido. Per trascrivere la voce in tempo reale, i provider devono accedere all'audio non elaborato della chiamata mentre è in corso. Twilio, un partner AWS, offre integrazione vocale telefonica in tempo reale.
In questo post, ti mostriamo come integrare Twilio Media Streams con Amazon Transcribe Medical e Amazon Comprehend Medical per trascrivere e analizzare i dati delle telefonate. Per i settori non sanitari, puoi utilizzare questa stessa soluzione con Amazon Transcribe ed Amazon Comprehend.
Twilio Media Streams funziona nel contesto di un'applicazione vocale Twilio tradizionale, come una risposta vocale interattiva (IVR), che serve direttamente i clienti, nonché un contact center, come Twilio Flex, in cui gli agenti servono i consumatori. Hai un controllo discreto sui tuoi dati vocali all'interno del tuo contact center per creare l'esperienza preferita dai tuoi clienti.
Amazon Transcribe Medical è un servizio ML che semplifica la creazione rapida di trascrizioni accurate tra pazienti e medici. Amazon Comprehend Medical è un servizio di elaborazione del linguaggio naturale (NLP) che semplifica l'utilizzo del machine learning per estrarre informazioni mediche pertinenti da testo non strutturato. È possibile raccogliere informazioni in modo rapido e accurato (come condizioni mediche, farmaci, dosaggio, forza e frequenza) da una varietà di fonti (come appunti dei medici, rapporti di studi clinici e cartelle cliniche dei pazienti). Amazon Comprehend Medical può anche collegare le informazioni rilevate a ontologie mediche come ICD-10-CM o RxNorm in modo che le applicazioni sanitarie a valle possano utilizzarle facilmente.
Il diagramma seguente illustra in che modo Amazon Comprehend Medical supporta le estrazioni di entità denominate mediche e relazioni.
Amazon Transcribe Medical, Amazon Comprehend Medical e Twilio Media Streams sono tutte piattaforme gestite. Ciò significa che i data scientist e i team IT sanitari non devono creare servizi da zero. L'integrazione vocale è fornita dalle API dei servizi Twilio e AWS ML e richiede solo un semplice plug-and-play con i servizi AWS e Twilio per creare il flusso di lavoro end-to-end.
Panoramica della soluzione
La nostra soluzione utilizza Twilio Media Streams per fornire il servizio di telefonia al cliente. Questo servizio fornisce un numero di telefono e un back-end ai servizi multimediali per integrarlo con le applicazioni Web basate su API REST. In questa soluzione, creiamo un'app Web Node.js e la distribuiamo con AWS Amplifica. Amplify aiuta gli sviluppatori Web e mobili front-end a creare applicazioni full stack sicure, scalabili. L'app Web si interfaccia con Twilio Media Streams per ricevere telefonate in formato vocale e utilizza Amazon Transcribe Medical per convertire la voce in testo. Dopo aver ricevuto la trascrizione, l'applicazione si interfaccia con Amazon Comprehend Medical per estrarre termini e approfondimenti medici dalla trascrizione. Gli approfondimenti vengono visualizzati sull'app Web e archiviati in un file Amazon DynamoDB tabella per ulteriori analisi. La soluzione utilizza anche Servizio di archiviazione semplice Amazon (Amazon S3) e un AWS Cloud9 ambiente.
Il diagramma seguente illustra l'architettura della soluzione.
Per implementare la soluzione, completiamo i seguenti passaggi di alto livello:
- Crea un account Twilio di prova.
- Creare un Gestione dell'identità e dell'accesso di AWS (IAM) utente.
- Crea un ambiente di sviluppo integrato (IDE) AWS Cloud9.
- Clona il file Repository GitHub.
- Crea un tunnel HTTPS protetto utilizzando ngrok e imposta la configurazione vocale del numero di telefono Twilio.
- Eseguire l'applicazione.
Crea un account Twilio di prova
Prima di iniziare, assicurati di farlo registrarsi per un account Twilio di prova (https://www.twilio.com/try-twilio), se non ne hai già uno.
Crea un utente IAM
Per creare un utente IAM, completa i seguenti passaggi:
- Sulla console IAM, sotto Gestione degli accessiscegli Utenti.
- Scegli Aggiungi utente.
- Sulla Imposta i dettagli dell'utente pagina, per nome utente¸ inserisci un nome.
- Nel Tipo di accesso, selezionare Accesso programmatico.
- Scegli Avanti: Autorizzazioni.
- Sulla Imposta autorizzazioni pagina, scegli Allegare direttamente le politiche esistenti.
- Seleziona le seguenti policy gestite da AWS, AmazonTranscribeFullAccess, ComprehendMedicalFullAccess, AmazonDyanmoDBFullAccess, ed AmazonS3Accesso completo.
- Scegli Avanti: Tag.
- Salta l'aggiunta di tag e scegli Avanti: Revisione.
- Esamina i dettagli dell'utente IAM e le policy allegate e scegli Creare un utente.
- Nella pagina successiva, copia l'ID della chiave di accesso e la chiave di accesso segreta negli appunti o scarica il file CSV.
Utilizziamo queste credenziali per testare l'applicazione Node.js.
Crea un secchio S3
Per creare il tuo bucket Amazon S3, completa i seguenti passaggi.
- Sulla console Amazon S3, scegli Crea un secchio.
- Nel Nome del secchio, inserisci un nome per il bucket Amazon S3.
- Nel Blocca le impostazioni di accesso pubblico per questo bucket dai un'occhiata Bloccare contro tutti i accesso pubblico.
- Rivedi le impostazioni e scegli Crea secchio.
Crea una tabella Amazon DynamoDB
Per creare la tua tabella Amazon DynamoDB, completa i seguenti passaggi.
- Nella console Amazon DynamoDB, scegli Crea una tabella.
- Nel Nome della tabella, immetti un nome per la tabella Amazon DynamoDB.
- Nel Chiave primaria, accedere RIGA per la chiave primaria.
- Esamina le impostazioni della tabella Amazon DynamoDB e scegli
Crea un ambiente AWS Cloud9
Per creare il tuo ambiente AWS Cloud9, completa i seguenti passaggi.
- Nella console AWS Cloud9, scegli Ambienti.
- Scegli Crea ambiente.
- Nel Nome, immettere un nome per l'ambiente.
- Nel Descrizione, inserisci una descrizione facoltativa.
- Scegli Passo successivo.
- Sulla Configura le impostazioni pagina, selezionare Server Ubuntu 18.04 LTS per Piattaforma e lasciare le altre impostazioni come predefinite.
- Rivedi le impostazioni e scegli Crea ambiente.
La scheda AWS Cloud9 IDE si apre sul tuo browser; potrebbe essere necessario attendere alcuni minuti per il completamento del processo di creazione dell'ambiente.
Clona il repository GitHub
Nell'ambiente AWS Cloud9, chiudi il file Benvenuta ed Kit di strumenti AWS: avvio rapido schede. Per clonare il repository GitHub, sul terminale bash, inserisci il seguente codice:
Modificare il config.json file nella directory del progetto. Sostituisci i valori con il bucket Amazon S3 e la tabella Amazon DynamoDB.
Imposta ngrok e il numero di telefono di Twilio
Prima di avviare l'applicazione Node.js, dobbiamo avviare un tunnel HTTPS protetto utilizzando ngrok e impostare la configurazione vocale del numero di telefono Twilio.
- Sul terminale, scegli il +
- Scegli Nuovo terminale.
- Sul terminale, installa ngrok:
- Dopo l'installazione di ngrok, eseguire il codice seguente per esporre il server Express Node.js locale a Internet:
- Copia l'URL HTTPS pubblico.
Utilizzare questo URL per la configurazione vocale del numero di telefono Twilio.
- Accedi al tuo account Twilio.
- Nella dashboard, scegli il ... icona per aprire il Impostazioni profilo
- Scegli Numeri di telefono.
- Sulla Numeri di telefono pagina, scegli il tuo numero di telefono Twilio.
- Nel Voce sezione, per Arriva una chiamatascegli webhook.
- Entra nel tunnel ngrok seguito da
/twiml
. - Salva la configurazione.
Esegui l'applicazione
Eseguiamo ora i servizi Twilio Media Streams, Amazon Transcribe Medical e Amazon Comprehend Medical inserendo il seguente codice:
Possiamo visualizzare l'anteprima dell'applicazione in AWS Cloud9. Nell'ambiente, sul Anteprima menù, scegliere Anteprima dell'applicazione in esecuzione.
È possibile copiare l'URL pubblico per visualizzare l'applicazione in un'altra scheda del browser.
Immettere l'ID di accesso utente IAM e le credenziali della chiave segreta, nonché il SID, il token di autenticazione e il numero di telefono dell'account Twilio.
Dimostrazione
In questa sezione vengono utilizzate due registrazioni di esempio per dimostrare la trascrizione audio in tempo reale con Twilio Media Streams.
Dopo aver inserito le tue credenziali IAM e Twilio, scegli Invia credenziali.
Lo screenshot seguente mostra la trascrizione del nostro primo file audio, sample-1.mp4.
Lo screenshot seguente mostra la trascrizione per il nostro secondo file, sample-3.mp4.
Questa applicazione utilizza Amazon Transcribe Medical per trascrivere i contenuti multimediali in tempo reale e archivia l'output in Amazon S3 per ulteriori analisi. L'applicazione utilizza quindi Amazon Comprehend Medical per rilevare le seguenti entità:
- ANATOMIA – Rileva i riferimenti alle parti del corpo o ai sistemi corporei e le posizioni di tali parti o sistemi
- CONDIZIONI MEDICHE – Rileva i segni, i sintomi e la diagnosi delle condizioni mediche
- FARMACI – Rileva le informazioni sui farmaci e sul dosaggio per il paziente
- PROTECTED_HEALTH_INFORMATION – Rileva le informazioni personali del paziente
- TEST_TRATTAMENTO_PROCEDURA – Rileva le procedure utilizzate per determinare una condizione medica
- ESPRESSIONE DEL TEMPO – Rileva le entità relative al tempo quando sono associate a un'entità rilevata
Queste entità sono memorizzate nella tabella DynamoDB. Gli operatori sanitari possono utilizzare questi dati per creare la diagnosi del paziente e il piano di trattamento.
È possibile analizzare ulteriormente questi dati attraverso servizi come Servizio Amazon Elasticsearch (Amazon ES) e Amazon Kendra.
Pulisci le tue risorse
I servizi AWS utilizzati in questa soluzione fanno parte del piano gratuito di AWS. Se non utilizzi il piano gratuito, ripulisci le seguenti risorse per evitare di incorrere in costi aggiuntivi:
- Ambiente AWS Cloud9
- Secchiello Amazon S3
- Tabella Amazon DynamoDB
- Utente IAM
Conclusione
In questo post, abbiamo mostrato come integrare Twilio Media Streams con Amazon Transcribe Medical e Amazon Comprehend Medical per trascrivere e analizzare dati medici da file audio. È inoltre possibile utilizzare questa soluzione in settori non sanitari per trascrivere informazioni dall'audio.
Vi invitiamo a controllare il codice nel Repository GitHub e prova la soluzione e amplia anche l'analisi dei dati con Amazon ES o Amazon Kendra.
L'autore
Mahendra Bairai è Principal Machine Learning Prototying Architect presso Amazon Web Services. Aiuta i clienti a creare soluzioni di machine learning su AWS. Ha una vasta esperienza sui servizi di ML, Robotica, IoT e Analytics. Prima di entrare in Amazon Web Services, ha lavorato a lungo come imprenditore, architetto d'impresa e sviluppatore di software.
Jay Park è un architetto di soluzioni di prototipazione per AWS. Jay si concentra sull'aiutare i clienti AWS ad accelerare l'adozione di carichi di lavoro nativi del cloud attraverso la prototipazione rapida
- accesso
- Il mio account
- aggiuntivo
- Adozione
- agenti
- AI
- Amazon
- Amazon Comprehend
- Amazon Kendra
- Amazon Transcribe
- Amazon Trascrizione medica
- Amazon Web Services
- .
- analitica
- API
- App
- Applicazioni
- applicazioni
- architettura
- Audio
- AWS
- stile di vita
- del browser
- costruire
- chiamata
- oneri
- codice
- Consumatori
- contenuto
- Conversazioni
- Credenziali
- Clienti
- cruscotto
- dati
- analisi dei dati
- Costruttori
- sviluppatori
- Mercato
- dosaggio
- elasticsearch
- Impresa
- Imprenditore
- Ambiente
- Espandere
- Nome
- formato
- Gratis
- pieno
- GitHub
- Salute e benessere
- assistenza sanitaria
- Come
- Tutorial
- HTTPS
- IAM
- ICON
- Identità
- industrie
- informazioni
- intuizioni
- integrazione
- interattivo
- Internet
- IoT
- IT
- Le
- Lingua
- apprendimento
- LINK
- locale
- Lunghi
- machine learning
- Media
- medicale
- medicazione
- ML
- Mobile
- Linguaggio naturale
- Elaborazione del linguaggio naturale
- nlp
- Node.js
- Offerte
- aprire
- apre
- Altro
- partner
- pazienti
- Piattaforme
- Termini e Condizioni
- Anteprima
- progetto
- prototipazione
- la percezione
- Crudo
- tempo reale
- record
- Report
- Risorse
- risposta
- REST
- robotica
- Correre
- running
- scienziati
- Servizi
- servizio
- set
- Segni
- Un'espansione
- Scatto
- So
- Software
- Soluzioni
- Riconoscimento vocale
- velocità
- inizia a
- iniziato
- conservazione
- negozi
- supporti
- SISTEMI DI TRATTAMENTO
- Testing
- tempo
- token
- trattamento
- prova
- Twilio
- Visualizza
- Voce
- aspettare
- sito web
- applicazioni web
- servizi web
- entro
- flusso di lavoro
- lavori