Miksi koneoppimismallit kuolevat hiljaisuuteen?

By Thuwarakesh Murallie, Data Scientist, Stax, Inc.

Elämän tarkoitus vaihtelee ihmisestä toiseen, päivästä toiseen ja tunnista tuntiin.
— Viktor E. Frankle, Ihmisen merkityksen etsintä

Frankle ei ollut oikeassa vain elämän tarkoituksen suhteen. Hänen sanomisensa piti paikkansa myös tuotannon koneoppimismalleista.

ML-mallit toimivat hyvin, kun otat ne käyttöön tuotannossa. Silti heidän suorituskykynsä heikkenee matkan varrella. Sen ennusteiden laatu heikkenee ja muuttuu pian vähemmän arvokkaaksi.

Tämä on tärkein ero ohjelmiston käyttöönoton ja koneoppimisen välillä. Ohjelmisto suorittaa tehtäviä samalla tavalla joka kerta. Jopa vuosikymmenten luomisen jälkeen ne pysyvät hyödyllisinä, elleivät uudet tekniikat syrjäytä niitä tai elleivät niiden luomisen tarkoitus ole vanhentunut.

Useimmat yritykset yrittävät ja epäonnistuvat käyttämään koneoppimista liiketoiminnassaan tietämättään tätä eroa. He erosivat pian ennen kuin he hyötyivät tämän tekniikan tarjoamista arvoista.

Harvemmat yritykset käyttävät koneoppimista ja tekoälyä liiketoimintansa tehostamiseen. - Kuvan tekijä kirjailija.

 

US Census Bureaun mukaan tutkimus Vuonna 583,000 2018 2.8 yhdysvaltalaisesta yrityksestä vain XNUMX % käyttää koneoppimista hyödyntääkseen etujaan toiminnassaan. Noin 8.9 % kyselyyn vastanneista käyttää jotakin tekoälyä kuten äänentunnistus.

Miksi ML-mallin suorituskyky heikkenee tuotannossa?

 
 
Vietit viikkoja ellet kuukausia koneoppimismallin kouluttamiseen, ja lopulta se siirrettiin tuotantoon. Nyt sinun pitäisi nähdä kovan työsi edut.

Mutta sen sijaan huomaat, että mallin suorituskyky heikkenee hitaasti ajan myötä. Mistä tämä voisi johtua?

Ellei sitä valvota jatkuvasti ja arvioida riittävästi ennakoivan laadun heikkenemisen varalta, konseptien ajautuminen voi tappaa koneoppimismallin ennen sen odotettua eläkkeelle jäämispäivää.

Mikä on konseptidrift?

 
 
Käsitteiden ajautuminen tapahtuu, kun harjoitussarjaesimerkkien jakautumisessa tapahtuu muutoksia.

Perustasolla käsitteiden ajautuminen saa aikaan sen, että datapisteet, joita pidettiin kerran esimerkkinä yhdestä konseptista, nähdään kokonaan toiseksi käsitteeksi ajan myötä.

Esimerkiksi petosten havaitsemismallit ovat vaarassa ajautua käsitteisiin, kun petoksen käsite muuttuu jatkuvasti.

Tämä voi aiheuttaa mallin suorituskyvyn heikkenemistä, etenkin pitkiä aikoja, jolloin konseptien ajautuminen jatkuu ilman, että valvontajärjestelmäsi havaitse sitä.

Mikä aiheuttaa käsitteen ajautumisen?

 
 
Ensisijainen syy käsitteen ajautumiseen on se, että sovelluksen taustalla oleva datajakauma muuttuu jatkuvasti.

Kun jakaumat muuttuvat, vanhat koneoppimismallit eivät voi enää tehdä tarkkoja ennusteita, ja ne on määriteltävä uudelleen tai koulutettava kokonaan uudelleen sopeutuakseen näihin muutoksiin.

Vaikka tämä kuulostaa sellaiselta, jota et koskaan toivoisi tapahtuvan sovelluksessa, monien koneoppimismallien tavoitteena on päivittää mahdollisimman usein.

Tämä johtuu siitä, että tuotantoympäristöstä kerätyt uudet tiedot sisältävät arvokasta tietoa, joka voi auttaa parantamaan mallisi tekemien ennusteiden tarkkuutta.

Syöttötietojen jakauma voi muuttua joko ulkoisista syistä tai itse ennusteista johtuen. Makrotalouden trendit vaikuttavat esimerkiksi asiakkaiden ostokäyttäytymiseen. Silti heidän käyttäytymisensä alustallasi voi olla suora seuraus suositusjärjestelmästäsi.

Kuinka käsitellä tuotannossa olevien mallien konseptien ajautumista?

 
 
Vaikka konseptien ajautuminen näyttää melko pelottavalta, on olemassa tapoja käsitellä sitä. Se on yleinen ongelma, jonka kaikki koneoppimisen kehittäjät kohtaavat ennemmin tai myöhemmin.

Käsite ajautuu ajan myötä, ja tiedot muuttuvat mallin koulutukseen käytetyistä. Jos sinulla ei ole tapaa seurata tätä ajautumista, tarkkuutesi heikkenee hitaasti, kunnes lopulta kukaan ei enää luota ennusteisiin.

Tarkkaile mallin tuloja ja lähtöjä ajan myötä.

 
 
Seuraamalla tulo- ja lähtötietojen jakautumista voimme tunnistaa, onko suorituskykyvuoto tietoongelma vai malliongelma.

Jos kyseessä on dataongelma, voit tutkia, mitkä muutokset aiheuttavat tämän muutoksen. Se voi olla tiedonkeruumenetelmä tai todellinen trendin muutos.

Jos kyseessä on malliongelma, sinun tulee tarkastella, mikä mallisi ominaisuus saattaa aiheuttaa tämän muutoksen jakelussa. Tämä voi johtua sellaisista seikoista, kuten malliin hiipivä harha tai jopa ympäristön muutokset, jotka aiheuttavat sen, että harjoitussarja ei vastaa todellista dataa.

Seuraa mallien ennusteen laatua ajan mittaan

 
 
Erilaisten suorituskykymittareiden seuraaminen ajan mittaan on ratkaisevan tärkeää, koska voimme saada selville kaikki poikkeamat tarkastelemalla niitä tarkasti. Joitakin kriittisiä mallin suorituskykymatriikkeja ovat tarkkuus, palautus, F-mitta ja ROC.

Tarkkuus on kuinka tarkka ennuste on, kun todelliset positiiviset jaetaan kaikilla tehdyillä ennusteilla. Jos tarkastelet tarkkuutta ajan mittaan, tämä osoittaa, kuinka paljon mallimme on ajautunut todellisesta tiedon jakamisesta siihen, mitä se nyt ennustaa.

Palauttaa mieleen kertoo meille, saammeko tarpeeksi myönteisiä esimerkkejä.

Jos takaisinveto laskee ajan myötä, tämä osoittaa, että mallimme on ajautunut pois todellisista positiivisista vääriin negatiivisiin, jotka eivät sovellu liiketoimintapäätöksiin.

F-toimenpide yhdistää tarkkuuden ja palauttamisen yhdeksi luvuksi käyttämällä arvojensa harmonista keskiarvoa. Jos F-mitta muuttuu tarkkuuden mukana, se tarkoittaa myös mallin ajautumista.

ROC antaa meille mahdollisuuden tarkastella yhtä todellista positiivista verrattuna kaikkiin muihin tehtyihin ennusteisiin, mikä auttaa tunnistamaan luokittelijan harhaongelmat tai muutokset ominaisuuksissa, jotka aiheuttavat vääriä positiivisia tuloksia. Sitä voidaan pitää tarkkuuden ja muistamisen jatkeena, mutta siinä on enemmän tietoa.

Kouluta mallejasi säännöllisesti uudelleen käyttämällä uutta tietoa tarkkuuden ja luotettavuuden ylläpitämiseksi.

 
 
Suorituskykymatriisien seuranta mahdollistaa konseptien poikkeamien tunnistamisen mahdollisimman varhaisessa vaiheessa, mutta säännöllinen uudelleenkoulutus yrittää ennakoivasti eliminoida tällaisen tilanteen.

Mallien jatkuva uudelleenkouluttaminen saattaa viedä paljon aikaa ja resursseja, mutta se on investointi, joka maksaa itsensä takaisin pitkällä aikavälillä.

Uudelleenkoulutuksen tiheys riippuu pitkälti toimialueesta. Sähköisessä kaupankäynnissä mallien uudelleenkouluttaminen viikoittain on luultavasti järkevää. Mutta petosten havaitsemisjärjestelmissä, joissa petollisten käyttäjien käyttäytyminen muuttuu jatkuvasti, saatat joutua kouluttamaan mallisi uudelleen päivittäin.

Käytä mallien kokonaisuutta.

 
 
Nämä ovat kaikki erinomaisia ​​strategioita koneoppimisen ajautumisen ehkäisemiseksi tai käsittelemiseksi tuotannossa. Toinen tapa ratkaista tämä ongelma on kuitenkin käyttää ryhmämalleja.

Ensemble-mallit käyttävät useita algoritmeja samanaikaisesti ja yhdistävät niiden ennusteet yhdeksi lopulliseksi ennusteeksi, joka voi olla tarkempi kuin mikään yksittäinen algoritmi.

Tämä voi olla loistava tapa lisätä tarkkuutta ja estää ajautumasta ajan myötä.

Lopullinen ajatuksia

 
 
Konseptien ajautuminen saa aikaan koneoppimismallit tuotannossa eri tavalla kuin koulutuksen aikana. Tämä on suuri ongelma, joka voi johtaa huonoihin käyttökokemuksiin tai jopa aiheuttaa mallien epäonnistumisen, jos ajautumista ei odoteta oikein.

Yleisin tapa konseptien ajautumista tapahtuu tuotannossa, kun tietosi muuttuvat ajan myötä (esim. uusia ominaisuuksia lisätään tai joitain olemassa olevia poistetaan). On tärkeää seurata tietojasi ja havaita ajautuminen mahdollisimman pian.

Sinun tulisi myös käyttää tekniikoita, kuten säännöllistä uudelleenkoulutusta tai kokoonpanoa, estääksesi ajautumisen.

Sinun on puututtava koneoppimishäiriöön, ennen kuin käyttäjät alkavat raportoida tuotteesi huonoista kokemuksista. Jos näin tapahtuu, se johtaa nopeasti luottamuksen menettämiseen ja erittäin korkeisiin kustannuksiin asioiden korjaamisesta myöhemmin. Ole aktiivinen!

 
Bio: Thuwarakesh Murallie (@Thuwarakesh) on Stax, Inc: n datatieteilijä ja Medium for Analyticsin paras kirjoittaja. Murallie kertoo, mitä hän tutkii datatieteessä päivittäin.

Lähde: https://www.kdnuggets.com/2022/01/machine-learning-models-die-silence.html