Tämä on vieraspostaus, jonka on kirjoittanut Julian Blau, xarvio Digital Farming Solutions -tietotutkija; BASF Digital Farming GmbH ja Antonio Rodriguez, AI/ML Specialist Solutions -arkkitehti, AWS
xarvio Digital Farming Solutions on BASF Digital Farming GmbH:n tuotemerkki, joka on osa BASF Agricultural Solutions -divisioonaa. xarvio Digital Farming Solutions tarjoaa tarkkoja digitaalisia viljelytuotteita, jotka auttavat viljelijöitä optimoimaan sadontuotantoa. Maailmanlaajuisesti saatavilla olevissa xarvio-tuotteissa käytetään koneoppimista (ML), kuvantunnistustekniikkaa ja kehittyneitä sato- ja sairausmalleja yhdistettynä satelliiteista ja sääasemalaitteista saataviin tietoihin, jotta ne tarjoavat tarkkoja ja oikea-aikaisia agronomisia suosituksia yksittäisten peltojen tarpeiden hallitsemiseksi. xarvio-tuotteet on räätälöity paikallisiin viljelyolosuhteisiin, ne voivat seurata kasvuvaiheita sekä tunnistaa taudit ja tuholaiset. Ne lisäävät tehokkuutta, säästävät aikaa, vähentävät riskejä ja parantavat suunnittelun ja päätöksenteon luotettavuutta – ja kaikki samalla edistävät kestävää maataloutta.
Työskentelemme joissakin käyttötapauksissamme erilaisilla paikkatiedoilla, mukaan lukien satelliittikuvat alueilta, joilla käyttäjiemme kentät sijaitsevat. Siksi käytämme ja käsittelemme satoja suuria kuvatiedostoja päivittäin. Aluksi jouduimme investoimaan paljon manuaalista työtä ja vaivaa näiden tietojen syöttämiseksi, käsittelemiseksi ja analysoimiseksi kolmannen osapuolen työkaluilla, avoimen lähdekoodin kirjastoilla tai yleiskäyttöisillä pilvipalveluilla. Joissakin tapauksissa voi kestää jopa 2 kuukautta, ennen kuin pystymme rakentamaan putkistoja jokaista projektia varten. Nyt hyödyntämällä geospatiaalisia ominaisuuksia Amazon Sage Maker, olemme lyhentäneet tämän ajan vain 1–2 viikkoon.
Tämä ajansäästö on seurausta geospatiaalisen datan putkien automatisoinnista käyttötapaustemme toimittamiseksi tehokkaammin sekä sisäänrakennettujen uudelleenkäytettävien komponenttien nopeuttamiseksi ja parantamiseksi muilla maantieteellisillä alueilla, samalla kun käytämme samoja todistettuja vaiheita muuhun käyttöön. vastaaviin tietoihin perustuvia tapauksia.
Tässä viestissä käymme läpi esimerkkikäyttötapauksen, jossa kuvataan joitain yleisesti käyttämiämme tekniikoita ja näytetään, kuinka niiden toteuttaminen käyttämällä SageMakerin geospatiaalisia toimintoja yhdessä muiden SageMaker-ominaisuuksien kanssa tarjoaa mitattavia etuja. Lisäämme myös koodiesimerkkejä, jotta voit mukauttaa ne omiin käyttötapauksiin.
Katsaus ratkaisuun
Tyypillinen kaukokartoitusprojekti uusien ratkaisujen kehittämiseksi vaatii vaiheittaista analyysiä optisten satelliittien, kuten esim. Vartiomies or landat, yhdessä muiden tietojen kanssa, mukaan lukien sääennusteet tai tietyt kenttäominaisuudet. Satelliittikuvat antavat meille arvokasta tietoa, jota käytetään digitaalisissa viljelyratkaisuissamme auttamaan käyttäjiämme suorittamaan erilaisia tehtäviä:
- Havaitsevat sairaudet varhaisessa vaiheessa pelloillaan
- Suunnittele oikea ravitsemus ja käytettävät hoidot
- Saat tietoa säästä ja vedestä kastelun suunnittelua varten
- Sadon sadon ennustaminen
- Muiden kasvinhoitotehtävien suorittaminen
Näiden tavoitteiden saavuttamiseksi analyysimme vaativat tyypillisesti satelliittikuvien esikäsittelyä erilaisilla geospatiaalisella alueella yleisillä tekniikoilla.
Osoittaaksemme SageMakerin geospatiaalisen kyvyn kokeilimme maatalouspeltojen tunnistamista ML-segmentointimallien avulla. Lisäksi tutkimme olemassa olevia SageMaker geospatiaalisia malleja ja tuo oman mallisi (BYOM) toiminnallisuutta geospatiaalisiin tehtäviin, kuten maankäytön ja maanpeitteen luokitteluun tai viljelykasvien luokitteluun, jotka usein vaativat panoptisia tai semanttisia segmentointitekniikoita prosessin lisävaiheina.
Seuraavissa osioissa käymme läpi joitakin esimerkkejä näiden vaiheiden suorittamisesta SageMakerin geospatiaalisilla ominaisuuksilla. Voit myös seurata näitä päästä päähän -esimerkkimuistikirjassa, joka on saatavilla seuraavassa GitHub-arkisto.
Kuten aiemmin mainittiin, valitsimme maanpeitteen luokituksen käyttötapauksen, joka koostuu fyysisen peiton tyypin tunnistamisesta, joka meillä on tietyllä maantieteellisellä alueella maan pinnalla, järjestettynä luokkiin, mukaan lukien kasvillisuus, vesi tai lumi. Tämän korkearesoluutioisen luokituksen avulla voimme havaita peltojen ja sen ympäristön sijainnin yksityiskohdat suurella tarkkuudella, joka voidaan myöhemmin ketjuttaa muihin analyyseihin, kuten muutosten havaitsemiseen satoluokituksessa.
Asiakkaan asetukset
Oletetaan ensin, että meillä on käyttäjiä, joilla on viljelty kasveja tietyllä maantieteellisellä alueella ja jotka voimme tunnistaa geospatiaalisten koordinaattien monikulmiosta. Tätä viestiä varten määrittelemme esimerkkialueen Saksan yli. Voimme myös määrittää tietyn ajanjakson, esimerkiksi vuoden 2022 ensimmäisille kuukausille. Katso seuraava koodi:
Esimerkissämme työskentelemme SageMaker geospatiaalisen SDK:n kanssa ohjelmallisen tai koodivuorovaikutuksen kautta, koska olemme kiinnostuneita rakentamaan koodiputkistoja, jotka voidaan automatisoida prosessissamme vaadituilla eri vaiheilla. Huomaa, että voit myös työskennellä käyttöliittymän kanssa SageMaker geospatial in -sovelluksen graafisten laajennusten avulla Amazon SageMaker Studio jos pidät tästä lähestymistavasta, kuten seuraavissa kuvakaappauksissa näkyy. Pääset Geospatial Studion käyttöliittymään avaamalla SageMaker Studio Launcher ja valitsemalla Hallitse geospatiaalisia resursseja. Voit tarkistaa lisätiedot asiakirjoista Aloita Amazon SageMaker Geospatial Capabilities -ominaisuuksien käyttö.
Täällä voit graafisesti luoda, seurata ja visualisoida SageMakerin geospatiaalisten ominaisuuksien avulla suorittamiesi Earth Observation -töiden (EOJ) tuloksia.
Takaisin esimerkkiimme, ensimmäinen askel vuorovaikutuksessa SageMaker geospatial SDK:n kanssa on asiakkaan määrittäminen. Voimme tehdä tämän perustamalla istunnon botocore
kirjasto:
Tästä eteenpäin voimme käyttää asiakasta minkä tahansa kiinnostavan EOJ:n pyörittämiseen.
Tietojen hankkiminen
Tätä käyttötapausta varten aloitamme keräämällä satelliittikuvia tietyltä maantieteelliseltä alueeltamme. Kiinnostavasta sijainnista riippuen käytettävissä olevat satelliitit voivat peittää useammin tai harvemmin, ja niiden kuvat on järjestetty ns. rasterikokoelmia.
SageMakerin geospatiaalisten ominaisuuksien avulla sinulla on suora pääsy korkealaatuisiin tietolähteisiin saadaksesi paikkatietoa suoraan, mukaan lukien lähteet AWS-tiedonvaihto ja AWS: n avoimen datan rekisteri, muiden joukossa. Voimme suorittaa seuraavan komennon listataksesi SageMakerin jo toimittamat rasterikokoelmat:
Tämä palauttaa tiedot eri rasterikokoelmista, mukaan lukien Landsat C2L2 Surface Reflectance (SR), Landsat C2L2 Surface Temperature (ST) tai Sentinel 2A & 2B. Kätevästi tason 2A kuvat on jo optimoitu Cloud-Optimized GeoTIFF:iksi (COG). Katso seuraava koodi:
Otetaan tämä viimeinen esimerkkimme asettamalla meidän data_collection_arn
parametri Sentinel 2 L2A COG -kokoelmaan ARN.
Voimme myös etsiä saatavilla olevia kuvia tietystä maantieteellisestä sijainnista ohittamalla monikulmion koordinaatit, jonka määritimme kiinnostavaksi alueeksi (AOI). Tämän avulla voit visualisoida käytettävissä olevat kuvaruudut, jotka kattavat määritetylle AOI:lle lähettämäsi polygonin, mukaan lukien Amazonin yksinkertainen tallennuspalvelu (Amazon S3) URI:t näille kuville. Huomaa, että satelliittikuvat tarjotaan yleensä eri muodossa bändit havainnon aallonpituuden mukaan; keskustelemme tästä lisää myöhemmin postauksessa.
Edellinen koodi palauttaa saatavilla olevien eri kuvaruutujen S3-URI:t, jotka voit visualisoida suoraan minkä tahansa GeoTIFF-tiedostojen kanssa yhteensopivan kirjaston kanssa, kuten esim. rasterio. Tarkastellaan esimerkiksi kahta True Color Image (TCI) -laattaa.
Käsittelytekniikat
Joitakin yleisimmistä käyttämistämme esikäsittelytekniikoista ovat pilvenpoisto, geomosaiikki, aikatilastot, kaistamatematiikan tai pinoaminen. Kaikki nämä prosessit voidaan nyt tehdä suoraan käyttämällä EOJ:ia SageMakerissa ilman manuaalista koodausta tai monimutkaisia ja kalliita kolmannen osapuolen työkaluja. Tämä tekee tietojenkäsittelyputkistojemme rakentamisesta 50 % nopeampaa. SageMakerin geospatiaalisilla ominaisuuksilla voimme ajaa näitä prosesseja eri syöttötyypeillä. Esimerkiksi:
- Suorita kysely suoraan mistä tahansa palvelun mukana olevista rasterikokoelmista palvelun kautta
RasterDataCollectionQuery
parametri - Siirrä Amazon S3:een tallennetut kuvat syötteenä
DataSourceConfig
parametri - Yksinkertaisesti ketjuta edellisen julkaisun tulokset julkaisun kautta
PreviousEarthObservationJobArn
parametri
Tämän joustavuuden ansiosta voit rakentaa minkä tahansa tarvitsemasi käsittelyputkiston.
Seuraava kaavio havainnollistaa esimerkissämme käsittelemiämme prosesseja.
Esimerkissämme käytämme syötteenä rasteritiedonkeruukyselyä, jolle välitämme AOI:n koordinaatit ja kiinnostavan aikaalueen. Määritämme myös prosenttiosuuden maksimipilvestä 2 %, koska haluamme selkeitä ja meluttomia havaintoja maantieteelliseltä alueeltamme. Katso seuraava koodi:
Lisätietoja tuetuista kyselysyntaksista on kohdassa Luo maanhavainnointityö.
Pilvirakojen poisto
Satelliittihavainnot ovat usein vähemmän hyödyllisiä korkean pilvipeitteen vuoksi. Pilvien aukkojen täyttö tai pilven poistaminen on prosessi, jossa korvataan kuvien sameat pikselit, mikä voidaan tehdä eri menetelmillä tietojen valmistelemiseksi jatkokäsittelyvaiheita varten.
SageMakerin geospatiaalisilla ominaisuuksilla voimme saavuttaa tämän määrittämällä a CloudRemovalConfig
parametri työmme kokoonpanossa.
Huomaa, että käytämme esimerkissämme interpolointialgoritmia kiinteällä arvolla, mutta muita kokoonpanoja tuetaan, kuten Luo maanhavainnointityö dokumentointi. Interpoloinnin avulla se voi arvioida arvon pilvisten pikselien korvaamiseksi ottamalla huomioon ympäröivät pikselit.
Voimme nyt suorittaa EOJ:n syötteemme ja työkokoonpanojemme avulla:
Tämä työ kestää muutaman minuutin syöttöalueesta ja käsittelyparametreista riippuen.
Kun se on valmis, EOJ:n tulokset tallennetaan palvelun omistamaan paikkaan, josta voimme joko viedä tulokset Amazon S3:een tai ketjuttaa ne syötteeksi toiselle EOJ:lle. Esimerkissämme viemme tulokset Amazon S3:een suorittamalla seuraavan koodin:
Nyt voimme visualisoida tuloksena saadut kuvat, jotka on tallennettu määritettyyn Amazon S3 -sijaintiimme yksittäisille spektrikaistoille. Tarkastellaan esimerkiksi kahta palautetusta sinisestä nauhakuvasta.
Vaihtoehtoisesti voit myös tarkistaa EOJ:n tulokset graafisesti käyttämällä Studiossa saatavilla olevia geospatiaalisia laajennuksia, kuten seuraavissa kuvakaappauksissa näkyy.
Aikatilastot
Koska satelliitit kiertävät jatkuvasti maata, tietyn kiinnostavan maantieteellisen alueen kuvat otetaan tietyllä aikavälillä tietyllä aikavälillä, kuten päivittäin, 5 päivän välein tai 2 viikon välein satelliitista riippuen. Aikatilastoprosessin avulla voimme yhdistää eri aikoina tehtyjä havaintoja, jolloin saadaan aggregoitu näkymä, kuten vuosikeskiarvo tai kaikkien havaintojen keskiarvo tietyllä aikavälillä tietylle alueelle.
SageMakerin geospatiaalisilla ominaisuuksilla voimme tehdä tämän asettamalla TemporalStatisticsConfig
parametri. Esimerkissämme saamme lähiinfrapunakaistan (NIR) vuosittaisen keskiarvon, koska tämä kaista voi paljastaa kasvillisuuden tiheyserot latvojen yläosan alapuolella:
Muutaman minuutin EOJ:n suorittamisen jälkeen tällä konfiguraatiolla voimme viedä tulokset Amazon S3:een saadaksemme seuraavien esimerkkien kaltaisia kuvia, joissa voimme tarkkailla eri kasvillisuustiheyksiä eri värien intensiteetillä. Huomaa, että EOJ voi tuottaa useita kuvia ruutuina riippuen käytettävissä olevista satelliittitiedoista määritetylle aikavälille ja koordinaateille.
Bändin matematiikka
Maan havainnointisatelliitit on suunniteltu havaitsemaan valoa eri aallonpituuksilla, joista osa on ihmissilmälle näkymätön. Kukin alue sisältää tiettyjä valon spektrin kaistoja eri aallonpituuksilla, mikä yhdistettynä aritmetiikkaan voi tuottaa kuvia, joissa on runsaasti tietoa kentän ominaisuuksista, kuten kasvillisuuden terveydestä, lämpötilasta tai pilvien läsnäolosta. Tämä suoritetaan prosessissa, jota kutsutaan yleisesti kaistamatematiikaksi tai kaistaaritmetiikkaksi.
SageMakerin geospatiaalisten ominaisuuksien avulla voimme suorittaa tämän asettamalla BandMathConfig
parametri. Hankitaan esimerkiksi kosteusindeksikuvat suorittamalla seuraava koodi:
Muutaman minuutin kuluttua EOJ:n suorittamisesta tällä konfiguraatiolla voimme viedä tulokset ja saada kuvat, kuten seuraavat kaksi esimerkkiä.
Pinoaminen
Samoin kuin vyöhykematematiikan tapaa, prosessia, jossa nauhat yhdistetään yhteen yhdistelmäkuvien tuottamiseksi alkuperäisistä kaistoista, kutsutaan pinoamiseksi. Voisimme esimerkiksi pinota satelliittikuvan punaiset, siniset ja vihreät valokaistat tuottaaksemme AOI:n todellisen värikuvan.
SageMakerin geospatiaalisilla ominaisuuksilla voimme tehdä tämän asettamalla StackConfig
parametri. Pinotaan RGB-kaistat edellisen esimerkin mukaisesti seuraavalla komennolla:
Muutaman minuutin kuluttua EOJ:n suorittamisesta tällä asetuksella voimme viedä tulokset ja saada kuvia.
Semanttiset segmentointimallit
Osana työtämme käytämme yleisesti ML-malleja johtopäätösten tekemiseen esikäsitellyistä kuvista, kuten pilvisten alueiden havaitsemiseen tai maa-alueen luokitteluun kullakin kuvien alueella.
SageMakerin geospatiaalisten ominaisuuksien avulla voit tehdä tämän luottamalla sisäänrakennettuun segmentointimalleihin.
Käytämme esimerkissämme maanpeitteen segmentointimallia määrittämällä LandCoverSegmentationConfig
parametri. Tämä tekee päätelmiä syötteestä käyttämällä sisäänrakennettua mallia ilman tarvetta kouluttaa tai isännöidä mitään infrastruktuuria SageMakerissa:
Muutaman minuutin kuluttua työn suorittamisesta tällä konfiguraatiolla voimme viedä tulokset ja saada kuvia.
Edellisissä esimerkeissä kuvien jokainen pikseli vastaa maatyyppiluokkaa, kuten seuraavassa selityksessä näkyy.
Tämä antaa meille mahdollisuuden tunnistaa suoraan tietyntyyppiset alueet, kuten kasvillisuus tai vesi, ja antaa arvokasta tietoa lisäanalyyseistä.
Tuo oma mallisi SageMakerin avulla
Jos SageMakerin mukana toimitetut huippuluokan geospatiaaliset mallit eivät riitä käyttötapaukseemme, voimme myös ketjuttaa minkä tahansa tähän mennessä näytetyn esikäsittelyvaiheen tulokset mihin tahansa mukautettuun malliin, joka on liitetty SageMakeriin päätelmiä varten, kuten selitettiin. Tässä SageMaker Script Mode esimerkki. Voimme tehdä tämän millä tahansa SageMakerin tuetuilla päättelytiloilla, mukaan lukien synkroninen reaaliaikaisten SageMaker-päätepisteiden kanssa, asynkroninen SageMakerin asynkronisten päätepisteiden kanssa, erä- tai offline-tilassa SageMakerin erämuunnoksilla ja palvelimeton SageMaker-palvelimeton päättely. Voit tarkistaa lisätietoja näistä tiloista kohdasta Ota mallit käyttöön johtopäätösten tekemiseen dokumentointi. Seuraava kaavio havainnollistaa työnkulkua korkealla tasolla.
Oletetaan esimerkissämme, että olemme ottaneet käyttöön kaksi mallia maanpeitteen luokituksen ja satotyyppien luokituksen suorittamiseksi.
Meidän on vain osoitettava koulutettua malliartefaktiamme, esimerkissämme PyTorch-mallia, joka on samanlainen kuin seuraava koodi:
Tämän avulla voit saada tuloksena olevat kuvat päättelyn jälkeen käyttämästäsi mallista riippuen.
Esimerkissämme malli tuottaa mukautettua maanpeitteen segmentointia suoritettaessa seuraavan kaltaisia kuvia, joissa verrataan syöte- ja ennustuskuvia vastaavaan selitteeseen.
.
Seuraavassa on toinen esimerkki sadon luokitusmallista, jossa näytämme vertailun alkuperäisten vs. tuloksena saatujen panoptisten ja semanttisten segmentointitulosten kanssa vastaavan selitteen kanssa.
Maantieteellisten putkilinjojen automatisointi
Lopuksi voimme myös automatisoida edelliset vaiheet rakentamalla geospatiaalisen tiedon käsittely- ja päättelyputkia Amazon SageMaker -putkistot. Me yksinkertaisesti ketjutamme jokaisen vaaditun esikäsittelyvaiheen käytön kautta Lambdan portaat ja Takaisinsoittovaiheet Pipelinesissä. Voit esimerkiksi lisätä viimeisen päättelyvaiheen käyttämällä muunnosvaihetta tai suoraan toisen lambda- ja takaisinkutsuvaiheiden yhdistelmän kautta EOJ:n suorittamiseksi jollakin SageMakerin geospatiaalisten ominaisuuksien sisäänrakennetuista semanttisista segmentointimalleista.
Huomaa, että käytämme Lambda-vaiheita ja takaisinsoittovaiheita putkistoissa, koska EOJ:t ovat asynkronisia, joten tämän tyyppisten vaiheiden avulla voimme valvoa käsittelytyön suorittamista ja jatkaa prosessia, kun se on valmis, viestien kautta. Amazonin yksinkertainen jonopalvelu (Amazon SQS) -jono.
Voit tarkistaa muistikirjan kohdasta GitHub-arkisto yksityiskohtaisen esimerkin tästä koodista.
Nyt voimme visualisoida geospatiaalisen putkilinjamme kaavion Studion kautta ja seurata ajoja Pipelinesissä, kuten seuraavassa kuvakaappauksessa näkyy.
Yhteenveto
Tässä viestissä esitimme yhteenvedon prosesseista, joita toteutimme SageMakerin geospatiaalisilla ominaisuuksilla geospatiaalisen datan putkien rakentamiseksi xarvio Digital Farming Solutionsin edistyneille tuotteillemme. SageMaker geospatiaalin käyttö lisäsi geospatiaalisen työmme tehokkuutta yli 50 % käyttämällä valmiiksi rakennettuja API:ita, jotka nopeuttavat ja yksinkertaistavat ML:n esikäsittely- ja mallintamisvaiheita.
Seuraavana vaiheena sisällytämme lisää malleja luettelostamme SageMakeriin jatkaaksemme ratkaisujemme automatisointia ja jatkamme SageMakerin geospatiaalisten ominaisuuksien hyödyntämistä palvelun kehittyessä.
Suosittelemme kokeilemaan SageMakerin geospatiaalisia ominaisuuksia mukauttamalla tässä viestissä olevaa kokonaisvaltaista esimerkkimuistikirjaa ja oppimalla lisää palvelusta Mikä on Amazon SageMaker Geospatial Capabilities?.
Tietoja Tekijät
Julian Blau on tietotutkija BASF Digital Farming GmbH:ssa, joka sijaitsee Kölnissä, Saksassa. Hän kehittää maatalouden digitaalisia ratkaisuja, jotka vastaavat BASF:n globaalin asiakaskunnan tarpeisiin geospatiaalisen tiedon ja koneoppimisen avulla. Työn ulkopuolella hän nauttii matkustamisesta ja ulkoilusta ystävien ja perheen kanssa.
Anthony Rodriguez on tekoälyn ja koneoppimisen asiantuntijaratkaisujen arkkitehti Amazon Web Servicesissä Espanjasta. Hän auttaa kaikenkokoisia yrityksiä ratkaisemaan haasteensa innovaatioiden avulla ja luo uusia liiketoimintamahdollisuuksia AWS Cloud- ja AI/ML-palveluilla. Työn lisäksi hän viettää mielellään aikaa perheensä kanssa ja urheilee ystäviensä kanssa.
- Ilmailu ja satelliitti
- maatalous
- AI
- ai taide
- ai taiteen generaattori
- ai robotti
- Amazon Sage Maker
- tekoäly
- tekoälyn sertifiointi
- tekoäly pankkitoiminnassa
- tekoäly robotti
- tekoälyrobotit
- tekoälyohjelmisto
- AWS-koneoppiminen
- blockchain
- blockchain-konferenssi ai
- tapaustutkimus
- coingenius
- keskustelullinen tekoäly
- kryptokonferenssi ai
- Asiakasratkaisut
- dall's
- syvä oppiminen
- Geospatiaalinen ML
- google ai
- koneoppiminen
- Platon
- plato ai
- Platonin tietotieto
- Platon peli
- PlatonData
- platopeliä
- satelliitti
- mittakaava ai
- kestävyys
- syntaksi
- zephyrnet