Automatisoi transaktioasiakirjojen digitalisointi ihmisen valvonnalla Amazon Textractin ja Amazon A2I:n avulla

Julkaissut Platon

seuraajia: 0

Tässä postauksessa esittelemme ratkaisun transaktioasiakirjojen digitointiin käyttämällä Amazonin teksti ja sisällyttää ihmisen tekemän arvion käyttämällä Amazonin laajennettu AI (A2I). Löydät ratkaisun lähteen sivuiltamme GitHub arkistoon.

Organisaatioiden on usein käsiteltävä skannatut tapahtumaasiakirjat, joissa on jäsenneltyä tekstiä, jotta ne voivat suorittaa toimintoja, kuten petosten havaitsemista tai taloudellisia hyväksyntöjä. Joitakin yleisiä esimerkkejä tapahtumaasiakirjoista, jotka sisältävät taulukkotietoja, ovat tiliotteet, laskut ja materiaalilaskut. Tietojen manuaalinen poimiminen tällaisista asiakirjoista on kallista, aikaa vievää ja vaatii usein merkittäviä investointeja erikoistuneen työvoiman kouluttamiseen. Tässä viestissä kuvatun arkkitehtuurin avulla voit digitoida taulukkomuotoisia tietoja jopa huonolaatuisista skannatuista asiakirjoista ja saavuttaa korkean tarkkuuden.

Koneoppimiseen (ML) pohjautuvilla algoritmeilla on edistytty merkittävästi, mikä lisää tarkkuutta ja luotettavuutta skannattujen tekstiasiakirjojen käsittelyssä. Nämä algoritmit vastaavat usein ihmistason suorituskykyä tekstin tunnistamisessa ja sisällön poimimisessa. Amazon Textract on täysin hallittu palvelu, joka poimii automaattisesti tulostetun tekstin, käsinkirjoituksen ja muut tiedot skannatuista asiakirjoista. Lisäksi Amazon Textract voi automaattisesti tunnistaa ja poimia lomakkeita ja taulukoita skannatuista asiakirjoista.

Monimutkaisia, vaihtelevia ja arkaluonteisia asiakirjoja käsittelevät yritykset tarvitsevat usein ihmisen valvontaa varmistaakseen poimittujen tietojen tarkkuuden, johdonmukaisuuden ja vaatimustenmukaisuuden. Kun tarkastajat antavat panoksensa, voit hienosäätää tekoälymalleja vangitsemaan tietyn liiketoimintaprosessin hienovaraisia vivahteita. Amazon A2I on ML-palvelu, jonka avulla on helppo rakentaa ihmisen tarkasteluun tarvittavia työnkulkuja. Amazon A2I poistaa yksilöimättömän raskaan noston, joka liittyy ihmisten arviointijärjestelmien rakentamiseen tai suuren määrän arvioijien hallintaan, ja tarjoaa yhtenäisen ja turvallisen kokemuksen työntekijöillesi.

Tapahtumatietojen poimiminen skannatuista asiakirjoista, kuten pankkikorttitapahtumien luettelo tiliotteella, asettaa ainutlaatuisia haasteita. Tekoälyn yhdistäminen ihmisen tarkasteluun tarjoaa käytännöllisen lähestymistavan näiden esteiden voittamiseksi. Integroitu ratkaisu, jossa yhdistyvät Amazon Textract ja Amazon A2I, on yksi tällainen vakuuttava esimerkki.

Kuluttajat käyttävät älypuhelimiaan rutiininomaisesti transaktioasiakirjojen skannaukseen ja lataamiseen. Riippuen yleisestä skannauslaadusta, mukaan lukien valaistusolosuhteet, vino perspektiivi ja riittämätön kuvan tarkkuus, ei ole harvinaista nähdä optimaalista tarkkuutta, kun näitä asiakirjoja käsitellään tietokonenäkötekniikalla (CV). Samanaikaisesti skannattujen asiakirjojen käsitteleminen manuaalisella työllä voi lisätä käsittelykustannuksia ja käsittelyaikaa sekä rajoittaa kykyäsi skaalata putkiston käsittelemien asiakirjojen määrää.

Ratkaisun yleiskatsaus

Seuraava kaavio havainnollistaa ratkaisumme työnkulkua:

Päästä päähän -työnkulkumme suorittaa seuraavat vaiheet:

Poimii taulukot skannatuista lähdeasiakirjoista.
Käyttää mukautettuja liiketoimintasääntöjä poimiessaan tietoja taulukoista.
Eskaloi valikoivasti haastavia asiakirjoja ihmisen tarkastettavaksi.
Suorittaa poimittujen tietojen jälkikäsittelyn.
Tallentaa tulokset.

ReactJS:llä rakennettu mukautettu käyttöliittymä tarjotaan tarkastajille, jotka voivat intuitiivisesti ja tehokkaasti tarkastella ja korjata asiakirjoissa olevia ongelmia, kun Amazon Textract tarjoaa alhaisen luotettavuuden poimintapisteet, esimerkiksi kun teksti on epäselvää, sumeaa tai muuten epäselvää.

Referenssiratkaisumme käyttää erittäin joustavaa putkistoa, kuten seuraavassa kaaviossa on kuvattu, koordinoimaan eri asiakirjojen käsittelyvaiheita.

Ratkaisu sisältää useita arkkitehtonisia parhaita käytäntöjä:

Eräkäsittely – Ratkaisun tulee mahdollisuuksien mukaan kerätä useita dokumentteja ja suorittaa eräoperaatioita, jotta voimme optimoida suorituskyvyn ja käyttää resursseja tehokkaammin. Esimerkiksi mukautetun tekoälymallin kutsuminen suorittamaan päättelyn kerran asiakirjojen ryhmälle, toisin kuin kunkin asiakirjan mallin kutsuminen erikseen. Ratkaisumme suunnittelun tulee mahdollistaa tarvittaessa erät.
Prioriteettisäätö – Kun jonossa olevien asiakirjojen määrä kasvaa ja ratkaisu ei enää pysty käsittelemään niitä ajoissa, tarvitsemme tavan osoittaa, että tietyt asiakirjat ovat korkeammalla prioriteetilla ja siksi ne on käsiteltävä ennen muita jonossa olevia asiakirjoja .
Automaattinen skaalaus – Ratkaisun tulee kyetä skaalaamaan ylös ja alas dynaamisesti. Monien asiakirjojen käsittelyn työnkulkujen on tuettava kysynnän syklistä luonnetta. Ratkaisu tulee suunnitella sellaiseksi, että se skaalautuu saumattomasti vastaamaan kuormituspiikkejä ja skaalautuu takaisin, kun kuormitus laantuu.
Itsesääntely – Ratkaisun tulee pystyä käsittelemään sulavasti ulkoiset palvelukatkot ja nopeusrajoitukset.

Asiakirjojen käsittelyvaiheet

Tässä osiossa opastamme sinut läpi asiakirjankäsittelyn työnkulun kunkin vaiheen tiedot:

Hankinta
Muuntaminen
Poisto
muokkaavat
Räätälöity liiketoiminta
lisääminen
luettelointi

Hankinta

Liukuhihnan ensimmäinen vaihe hankkii syöttöasiakirjat kohteesta Amazonin yksinkertainen tallennuspalvelu (Amazon S3). Tässä vaiheessa tallennamme alkuperäisen asiakirjan tiedot an Amazon DynamoDB taulukkoon saatuaan S3-tapahtumailmoituksen kautta Amazonin yksinkertainen jonopalvelu (Amazon SQS). Käytämme tätä taulukkotietuetta seurataksemme tämän asiakirjan etenemistä koko prosessissa.

Kunkin asiakirjan prioriteettijärjestys määritetään lajittelemalla aakkosnumeerinen syöttöavaimen etuliite asiakirjan polussa. Esimerkiksi avaimella tallennettu asiakirja acquire/p0/doc.pdf tuloksena on prioriteetti p0, ja se on etusijalla toiseen avaimella tallennettuun asiakirjaan nähden acquire/p1/doc.pdf (jolloin prioriteetti p1). Asiakirjat, joissa avaimessa ei ole prioriteettiilmaisinta, käsitellään lopussa.

Muuntaminen

Edellisestä vaiheesta hankitut asiakirjat muunnetaan PDF-muotoon, jotta voimme tarjota yhtenäisen tietomuodon koko prosessin muulle osalle. Tämä antaa meille mahdollisuuden yhdistää useita sivuja liittyvää asiakirjaa.

Poisto

PDF-dokumentit lähetetään Amazon Textractiin suorittamaan optinen merkintunnistus (OCR). Amazon Textractin tulokset tallennetaan JSON-muodossa kansioon Amazon S3:ssa.

muokkaavat

Amazon Textract tarjoaa yksityiskohtaisia tietoja käsitellystä asiakirjasta, mukaan lukien raakateksti, avainarvoparit ja taulukot. Huomattava määrä lisämetadataa identifioi havaittujen entiteettilohkojen sijainnin ja suhteen. Tapahtumatiedot valitaan jatkokäsittelyä varten tässä vaiheessa.

Räätälöity liiketoiminta

Mukautettuja liiketoimintasääntöjä sovelletaan uudelleen muotoiltuun tuotteeseen, joka sisältää tietoja asiakirjan taulukoista. Mukautettuihin sääntöihin voi kuulua taulukkomuodon havaitseminen (kuten sen havaitseminen, että taulukko sisältää tarkistavia tapahtumia) tai sarakkeiden vahvistus (kuten sen varmistaminen, että tuotekoodisarake sisältää vain kelvollisia koodeja).

lisääminen

Ihmisen annotaattorit käyttävät Amazon A2I:tä asiakirjan tarkistamiseen ja täydentämiseen niillä tiedoilla, jotka jäivät huomiotta. Tarkastukseen sisältyy asiakirjan jokaisen taulukon analysointi virheiden, kuten virheellisten taulukkotyyppien, kenttien otsikoiden ja yksittäisen solun tekstin varalta, joka oli ennustettu väärin. Poimintavaiheen antamat luottamuspisteet näkyvät käyttöliittymässä, jotta tarkastajat voivat paikantaa vähemmän tarkkoja ennusteita helposti. Seuraava kuvakaappaus näyttää tähän tarkoitukseen käytetyn mukautetun käyttöliittymän.

Ratkaisumme käyttää yksityistä ihmisen arviointityövoimaa, joka koostuu talon sisäisistä kommentaattoreista. Tämä on ihanteellinen vaihtoehto, kun käsittelet arkaluontoisia asiakirjoja tai asiakirjoja, jotka vaativat erittäin erikoistunutta verkkotuntia. Amazon A2I tukee myös ihmisten arviointityövoimaa Amazon Mechanical Turk ja Amazonin valtuutetut tietomerkintäkumppanit.

luettelointi

Asiakirjat, jotka läpäisevät ihmisen arvioinnin, luetteloidaan Excel-työkirjaan, jotta yrityksesi tiimisi voivat käyttää niitä helposti. Työkirja sisältää jokaisen lähdeasiakirjassa havaitun ja käsitellyn taulukon vastaavassa arkissa, joka on merkitty taulukkotyypillä ja sivunumerolla. Nämä Excel-tiedostot tallennetaan kansioon Amazon S3:ssa yrityssovellusten käyttöön esimerkiksi ML-tekniikoilla petosten havaitsemiseksi.

Ota ratkaisu käyttöön

Tämä viiteratkaisu on saatavilla GitHubissa, ja voit ottaa sen käyttöön AWS Cloud Development Kit (AWS CDK). AWS CDK käyttää ohjelmointikielten tuttua ja ilmaisuvoimaa sovellusten mallintamiseen. Se tarjoaa korkean tason komponentteja nimeltä rakentaa jotka esikonfiguroivat pilviresurssit todistetuilla oletusasetuksilla, jotta voit rakentaa pilvisovelluksia helposti.

Katso ohjeet pilvisovelluksen käyttöönotosta README-tiedostosta GitHub levätä.

Ratkaisuesittely

Seuraava video opastaa sinut ratkaisun esittelyn läpi.

Yhteenveto

Tämä viesti osoitti, kuinka voit rakentaa mukautetun digitointiratkaisun käsitelläksesi tapahtumaasiakirjoja Amazon Textractin ja Amazon A2I:n avulla. Automatisoimme ja lisäsimme syöttöluetteloita ja pakotimme mukautettuja liiketoimintasääntöjä. Tarjosimme myös intuitiivisen käyttöliittymän, jonka avulla työvoimat voivat tarkastella tietoja alhaisilla luottamuspisteillä, tehdä tarvittavia muutoksia ja käyttää palautetta taustalla olevien ML-mallien parantamiseen. Mahdollisuus käyttää mukautettua käyttöliittymäkehystä, kuten ReactJS, antaa meille mahdollisuuden luoda nykyaikaisia verkkosovelluksia, jotka palvelevat täsmällisiä tarpeitamme, erityisesti käytettäessä julkisia, yksityisiä tai kolmannen osapuolen datamerkintätyövoimaa.

Katso lisätietoja Amazon Textractista ja Amazon A2I:stä Amazon Augmented AI:n käyttäminen ihmisen arvostelun lisäämiseen Amazon Textract -tuloon. Katso videoesityksiä, näyte Jupyter-muistikirjoja tai tietoja käyttötapauksista, kuten asiakirjojen käsittelystä, sisällön valvomisesta, tunteiden analysoinnista, tekstin kääntämisestä ja muista asioista. Amazonin laajennetut AI-resurssit.

Tietoja joukkueesta

Amazon ML Solutions Lab yhdistää organisaatiosi ML-asiantuntijoiden kanssa auttaakseen sinua tunnistamaan ja rakentamaan ML-ratkaisuja, jotka vastaavat organisaatiosi korkeimpaan sijoitetun pääoman tuottomahdollisuuksiin. Löytötyöpajojen ja ideointisessioiden avulla ML Solutions Lab "työstää taaksepäin" yrityksesi ongelmista ja toimittaa etenemissuunnitelman priorisoiduista ML-käyttötapauksista ja toteutussuunnitelman niiden ratkaisemiseksi. ML-tutkijamme suunnittelevat ja kehittävät edistyneitä ML-malleja esimerkiksi tietokonenäön, puheenkäsittelyn ja luonnollisen kielen käsittelyn aloilla asiakkaiden ongelmien ratkaisemiseksi, mukaan lukien ihmisen tarkastelua vaativat ratkaisut.

Tietoja Tekijät

Pri Nonis on Deep Learning Arkkitehti Amazon ML Solutions Labissa, jossa hän työskentelee asiakkaiden kanssa eri toimialoilla ja auttaa heitä nopeuttamaan pilvisiirtomatkaansa ja ratkaisemaan ML-ongelmiaan uusimpien ratkaisujen ja tekniikoiden avulla.

Dan Noble on Amazonin ohjelmistokehitysinsinööri, jossa hän auttaa luomaan ilahduttavia käyttökokemuksia. Vapaa-ajallaan hän nauttii lukemisesta, kuntoilusta ja seikkailuista perheensä kanssa.

Jae Sung Jang on ohjelmistokehitysinsinööri. Hänen intohimonsa on manuaalisen prosessin automatisointi AI-ratkaisujen ja orkestrointitekniikoiden avulla liiketoiminnan toteuttamisen varmistamiseksi.

Jeremy Feltracco on ohjelmistokehitysinsinööri Amazon ML Solutions Lab -sivustolla Amazon Web Services -palvelussa. Hän käyttää taustaansa tietokonenäkössä, robotiikassa ja koneoppimisessa auttaakseen AWS-asiakkaita nopeuttamaan tekoälyn käyttöönottoa.

David Dasari on johtaja Amazon ML Solutions Lab, jossa hän auttaa AWS-asiakkaita nopeuttamaan tekoälyn ja pilven käyttöönottoa Human-In-The-Loop-ratkaisuissa eri toimialoilla. ERP- ja maksupalveluiden taustalla oli pakkomielle ML/AI:n ottavan harppauksia asiakkaiden ilahduttamiseksi, mikä ajoi hänet tälle alalle.