LeNetin hallitseminen: Arkkitehtoniset näkemykset ja käytännön toteutus

esittely

LeNet-5, uraauurtava konvoluutiohermoverkko (CNN), jonka Yann LeCun ja hänen tiiminsä kehittivät 1990-luvulla, muutti tietokonenäköä ja syväoppimista. Tämä uraauurtava arkkitehtuuri on nimenomaan suunniteltu mullistamaan käsin kirjoitettujen ja koneella painettujen merkkien tunnistaminen. Toisin kuin perinteiset menetelmät, LeNet-5 esitteli uuden lähestymistavan, joka eliminoi manuaalisen ominaisuussuunnittelun tarpeen, pikselikuvien suoran käsittelyn konvoluutiokerrosten, alinäytteenoton ja täysin yhdistettyjen kerrosten kautta. Sen menestys ulottui hahmojen tunnistusta pidemmälle, ja se toimii kulmakivenä nykyaikaisille syväoppimismalleille ja vaikutti myöhempään arkkitehtuuriin tietokonenäön, objektien tunnistuksen ja kuvien luokittelussa.

Yann LeCunin varhainen takausalgoritmien soveltaminen käytännön ongelmiin loi perustan LeNet-5:lle, joka oli suunniteltu lukemaan käsinkirjoitettuja merkkejä ja joka oli erinomainen US Postal Servicen toimittamien postinumeroiden tunnistamisessa. Sen peräkkäiset versiot ja sovellukset, kuten kyky lukea miljoonia shekkejä päivittäin, herättivät tutkijoiden mielenkiintoa, muokkasivat hermoverkkojen maisemaa ja inspiroivat syvän oppimisen kehitystä.

LeNet-5:n ja myöhempien sovellusten, kuten miljoonia shekkejä päivässä lukevien järjestelmien, menestys herätti laajan kiinnostuksen hermoverkkojen tutkijoissa. Vaikka nykypäivän huipputehokkaat hermoverkkoarkkitehtuurit ovat kehittyneet LeNet-5:n pidemmälle, sen uraauurtava suunnittelu ja saavutukset loivat perustan lukuisille myöhemmille malleille, jotka ovat muokanneet ja inspiroineet syvällistä oppimista. LeNet-5 on edelleen osoitus innovaatiosta ja pysyvä symboli koneoppimisen ja kuvantunnistuksen kehityksestä.

Oppimistavoitteet

• Tutki LeNet-5:n historiallista merkitystä ja vaikutusta syväoppimisen ja tietokonenäön kehitykseen.
• Vertaa LeNet-5:tä nykyaikaisiin hermoverkkoarkkitehtuureihin ja tutki sen perustavanlaatuista vaikutusta nykyisiin syväoppimisen malleihin.
• Ymmärrä LeNet-5:n arkkitehtuuri, mukaan lukien sen konvoluutio-, alinäytteenotto- ja täysin yhdistetyt kerrokset.
• Analysoi käytännön sovelluksia ja tapaustutkimuksia, jotka osoittavat LeNet-5:n tehokkuuden kuvantunnistustehtävissä.

Tämä artikkeli julkaistiin osana Data Science Blogathon.

LeNetin ymmärtäminen

LeNet, joka tunnetaan myös nimellä LeNet-5, on uraauurtava konvoluutiohermoverkkoarkkitehtuuri (CNN), jonka Yann LeCun ja hänen tiiminsä ovat kehittäneet 1990-luvulla. Se on suunniteltu nimenomaan käsinkirjoitettuja ja konepainattuja merkkien tunnistustehtäviä varten. LeNet-5:n merkitys on sen onnistunut esittely hierarkkisesta ominaisuuksien oppimisesta ja sen tehokkuudesta merkintunnistuksessa. Sen vaikutus ulottuu alkuperäistä tarkoitusta pidemmälle, ja se vaikuttaa nykyaikaisten syväoppimismallien kehitykseen ja toimii perustana myöhemmille edistyksille tietokonenäön, kuvantunnistuksen ja erilaisten koneoppimissovelluksien alalla.

LeNetin arkkitehtuuri

LeNet-5 on konvoluutiohermoverkko (CNN), jolla on erityinen arkkitehtuuri, jota käytetään merkintunnistustehtävissä. Se koostuu useista kerroksista, lukuun ottamatta syöttökerrosta, jotka sisältävät koulutettavia parametreja. Erityisesti se käsittelee 32 × 32 pikselin kuvia, jotka ovat tärkeämpiä kuin sen tietokannan merkit, keskittyen mahdollisesti erottuvien ominaisuuksien keskittämiseen. Syöttöpikseliarvot normalisoidaan oppimisen tehokkuuden parantamiseksi.

LeNetin arkkitehtuuri yhdistää konvoluutio-, alinäytteenotto- ja täysin yhdistetyt kerrokset erityisillä yhteyskuvioilla. Se käyttää syöttöpikseleiden normalisointia ja kerrossarjoja erottaakseen tiedoista erityispiirteitä tehokkaan oppimisen varmistamiseksi. Lisäksi se toteuttaa ainutlaatuisia strategioita estääkseen aktivointitoimintojen kyllästymisen ja käyttää erityisiä häviötoimintoja tehokkaaseen harjoitteluun.

Ainutlaatuisia strategioita kylläisyyden estämiseksi

• Input Layer: LeNet käsittelee 32 × 32 pikselin kuvia, jotka ovat tärkeämpiä kuin tietokannan merkit ja pyrkivät vangitsemaan mahdollisia erottuvia piirteitä kuvan keskeltä.
• Konvoluutio- ja alinäytteenottokerrokset: Konvoluutiokerrokset poimii ensisijaisesti ominaisuuksia syöttötiedoista käyttämällä opittavia suodattimia tai ytimiä. Jokainen kerros sisältää useita suodattimia, jotka liukuvat syöttötiedon (kuvan) yli ja suorittavat elementtikohtaisia ​​kertolaskuja ominaisuuskarttojen tuottamiseksi. Ensimmäinen kerros sisältää 6 5×5 suodatinta, jotka aktivoidaan tanh-toiminnolla, jolloin saadaan 28x28x6 kokoisia karttakohteita. Seuraavat tasot käyttävät 16 samankokoista suodatinta, jotka luovat ominaisuuskarttoja 10x10x16.
• Alinäytteenottokerrokset, joka tunnetaan myös nimellä pooling layers, keskittyy vähentämään konvoluutiokerroksista saatujen piirrekarttojen ulottuvuutta. Pooliminen sisältää karttakohdekarttojen yhdistämisen tai näytteiden laskemisen, tyypillisesti ottamalla enimmäisarvon (MaxPooling) tai keskiarvon (AveragePooling) määritetyillä alueilla. Suodatinkoolla 2 × 2 ja askelmuunnelmilla nämä tasot johtavat ominaisuuskartan kokoihin 14x14x6 ja 5x5x16 peräkkäin.
• Täysin yhdistetyt kerrokset: Arkkitehtuuri sisältää täysin yhdistetyt Fx-merkityt kerrokset, jotka käsittelevät lopullisen luokituksen poimittujen ominaisuuksien perusteella. Täysin yhdistetty kerros, jossa on 84 hermosolua ja lopullinen lähtökerros, jossa on 10 neuronia, joka käyttää tanh-aktivointitoimintoa edellisessä ja Softmax-toimintoa jälkimmäisessä. Softmax-funktio määrittää todennäköisyydet jokaiselle luokalle, ja suurin todennäköisyys määrittää ennusteen.
• Tulostuskerros: LeNet käyttää luokitteluun radiaaliperustaisia ​​funktioyksiköitä, joissa on erillisiä merkkejä tunnistusta ja korjausta varten.

Askel askeleelta työnkulku

[Input: 28x28x1] |
[Conv2D: 6 filters, 5x5, tanh] |
[Average Pooling: 2x2, stride 2] |
[Conv2D: 16 filters, 5x5, tanh] |
[Average Pooling: 2x2, stride 2] |
[Flatten] |
[Dense: 120, tanh] |
[Dense: 84, tanh] |
[Dense: 10, softmax (output)]

Konvoluutiokerros 1:

• Suodattimien määrä: 6
• Ytimen koko: 5×5
• Aktivointitoiminto: Tanh
• Syöttömuoto: 28x28x1

Keskimääräinen poolitustaso 1:

• Altaan koko: 2×2
• Askeleita: 2

Konvoluutiokerros 2:

• Suodattimien määrä: 16
• Ytimen koko: 5×5
• Aktivointitoiminto: Tanh

Keskimääräinen poolitustaso 2:

• Altaan koko: 2×2
• Askeleita: 2

Täysin yhdistetyt kerrokset:

• Tiheä kerros, 120 yksikköä ja Tanh-aktivointi.
• Paksu kerros, 84 yksikköä ja Tanh-aktivointi.
• Tulostuskerros 10 yksiköllä ja Softmax-aktivointi moniluokkaista luokittelua varten (MNIST-tietosarja).

LeNetin tärkeimmät ominaisuudet

1. CNN-arkkitehtuuri: LeNet-5 oli uraauurtava konvoluutiohermoverkko, jossa oli jäsennelty arkkitehtuuri konvoluutio- ja poolauskerroksilla.
2. Kuvion tunnistus käsin kirjoitetuilla numeroilla: Kehitetty alun perin käsin kirjoitettujen numeroiden tunnistamiseen, ja se on erittäin tarkka käsinkirjoitettujen merkkien tunnistamisessa ja luokittelussa.
3. Convolution ja Pooling Layers: Konvoluutiokerrosten käyttöönotto piirteiden poimimista varten ja kerrosten yhdistäminen alasnäytteistystä varten, jolloin verkko voi oppia asteittain hierarkkisia esityksiä.
4. Ei-lineaarinen aktivointi: Käytetty hyperbolisten tangenttien (tanh) aktivointitoimintoja, jotka tarjoavat verkolle epälineaarisia ominaisuuksia, jotka ovat välttämättömiä monimutkaisten suhteiden kaappaamiseen datassa.
5. Vaikutus syvälliseen oppimiseen: LeNet-5:n menestys loi pohjan nykyaikaisille syväoppimismalleille ja vaikutti merkittävästi kuvantunnistuksen ja luokituksen hermoverkkojen kehitykseen.

LeNetin käytännön toteutus:

Tuo kirjasto

Aloita koodilla ottaaksesi LeNet-5 käyttöön TensorFlow'ssa Keras API:n avulla. Se on hyvä alku työskennellä MNIST-tietojoukon kanssa.

import tensorflow as tf
from tensorflow import keras
from keras.datasets import mnist
from keras.layers import Dense, Flatten, Conv2D, AveragePooling2D
from keras.models import Sequential
from tensorflow.keras.utils import plot_model

Lataa tietojoukko

Lataa MNIST-tietojoukko kuvien harjoittelua ja testaamista varten. Tämä toiminto lataa tietojoukon, joka koostuu käsin kirjoitetuista numerokuvista ja niitä vastaavista tarroista. Tiedot on jaettu harjoitus- ja testaussarjoihin.

(X_train, y_train), (X_test,y_test) = mnist.load_data()

lähtö:

muokkaamaan

Reshape-toiminto tässä yhteydessä säätää kuvien muotoa, jotta ne soveltuvat CNN-prosessointiin. Muoto (28, 28, 1) tarkoittaa, että kuvat ovat kooltaan 28 × 28 pikseliä ja niissä on yksi kanava (harmaasävykuvat). Tämä muunnos on välttämätön, koska useimmat CNN:t odottavat kuvien olevan tietyssä muodossa, joka esitetään usein muodossa (leveys, korkeus, kanavat).

#perfoming reshape
X_train = X_train.reshape(X_train.shape[0],28,28,1)
X_test = X_test.reshape(X_test.shape[0],28,28,1)
# Check the shape of data X_train.shape

normalisointi

Antamasi koodinpätkä normalisoi kuvan pikseliarvot koulutus- ja testaustietojoukoissa. Jokaisen pikselin arvon jakaminen 255:llä varmistaa, että pikseliarvot ovat välillä 0-1.

# Normalization ---> convert 0 to 1
X_train = X_train/255
X_test = X_test/255

Yksi kuuma koodaus

MNIST-tietojoukon luokat muunnetaan kategorisiksi tiedoiksi, joissa on 10 luokkaa. Jokainen etiketti muunnetaan vektoriksi, jossa jokainen elementti edustaa luokkaa, luokkaa vastaavassa indeksissä 1 ja muualla 0.

# One hot encoding
y_train = keras.utils.to_categorical(y_train,10)
y_test = keras.utils.to_categorical(y_test,10)

Mallin rakentaminen

Tämä koodinpätkä havainnollistaa LeNet-5-mallin rakentamista Keras Sequential API:lla TensorFlowissa. Se määrittelee tasot ja niiden kokoonpanot ja kokoaa mallin optimoijan, häviöfunktion ja mittareiden kanssa arviointia varten.

model = Sequential()
# first layer
model.add(Conv2D(6, kernel_size=(5,5), padding="valid", activation="tanh", input_shape =(28,28,1)))
model.add(AveragePooling2D(pool_size=(2,2),strides=2, padding='valid')) #second layer
model.add(Conv2D(16, kernel_size=(5,5), padding="valid", activation="tanh"))
model.add(AveragePooling2D(pool_size=(2,2),strides=2, padding='valid')) # flatten layer
model.add(Flatten()) # ANN
model.add(Dense(120, activation='tanh'))
model.add(Dense(84, activation='tanh'))
model.add(Dense(10, activation='softmax')) model.summary()

ulostulo:

Mallin kokoaminen

- "koota” -menetelmä valmistelee mallin koulutukseen määrittelemällä sen optimointimenetelmän, häviöfunktion ja seurattavat mittarit.

model.compile(loss= keras.metrics.categorical_crossentropy, optimizer =keras.optimizers.Adam(),
metrics= ['accuracy'])

Mallikoulutus: "sovittaa ”-toiminto kouluttaa mallin toimitettujen harjoitustietojen avulla ja validoi sen testidatan avulla.

model.fit(X_train,y_train, batch_size=128,epochs=10 , verbose=1, validation_data=(X_test,y_test))

lähtö:

Mallin arviointi

Malli "arvioida()" -toimintoa käytetään arvioimaan mallin suorituskykyä testitietojoukossa. Tulos antaa testihäviön ja testin tarkkuuden.

score = model.evaluate(X_test,y_test) print('Test loss', score[0])
print('Test Accuracy', score[1])

visualisointi:

# Create a bar chart to visualize the comparison
import matplotlib.pyplot as plt
predicted_labels = np.argmax(predictions, axis=1) # Compare predicted labels with true labels
correct_predictions = np.equal(predicted_labels, np.argmax(y_test, axis=1)) plt.figure(figsize=(12, 6))
plt.bar(range(len(y_test)), correct_predictions, color=['green' if c else 'red' for c in correct_predictions])
plt.title('Comparison of Predicted vs. True Labels')
plt.xlabel('Sample Index')
plt.ylabel('Correct Prediction (Green: Correct, Red: Incorrect)')
plt.show()

lähtö:

LeNetin vaikutus ja merkitys

LeNetin vaikutusvalta ulottuu paljon pidemmälle kuin sen alkuperäinen tehtävä. Sen menestys tasoitti tietä syvemmälle tutkimiselle konvoluutiohermoverkkoihin (CNN). Sen tehokas suunnittelu ja suorituskyky numeroiden tunnistustehtävissä luovat alustan edistyksille erilaisissa tietokonenäkösovelluksissa, mukaan lukien kuvien luokittelu, esineiden tunnistus ja kasvojentunnistus.

• Vallankumous käsinkirjoitettujen hahmojen tunnistamisessa: LeNet-5:n menestys käsinkirjoitettujen numeroiden ja merkkien tunnistamisessa johti muutokseen erilaisissa käytännön sovelluksissa, erityisesti postinumeroiden ja sekkien tunnistamisessa. Sen kyky tunnistaa merkkejä tarkasti vaikutti näiden sovellusten hermoverkkojen laajaan käyttöön.
• Vaikutus tulevaisuuden arkkitehtuureihin: LeNetin arkkitehtoniset suunnitteluperiaatteet loivat perustan useille myöhemmille CNN-malleille. Sen innovatiivinen konvoluutio-, alinäytteenotto- ja täysin yhdistettyjen kerrosten käyttö inspiroi monimutkaisempien ja kehittyneempien hermoverkkoarkkitehtuurien kehittämistä erilaisiin kuvapohjaisiin tehtäviin.
• Syväoppimisen edistäminen: LeNet-5:n menestys osoitti syvän oppimisverkostojen potentiaalin kuvantunnistuksessa, mikä inspiroi alan lisätutkimusta ja kehitystä. Sen vaikutus tutkimusyhteisöön johti paradigman muutokseen syvien hermoverkkojen käyttöön erilaisissa visiopohjaisissa tehtävissä ja loi pohjan myöhemmille edistyksille alalla.

LeNetin sovellus

LeNetin vaikutus ulottuu lukuisiin tosielämän sovelluksiin. LeNetin peruskäsitteet ovat vaikuttaneet lukemattomilla aloilla käsinkirjoitettujen numeroiden tunnistamisesta postipalveluissa terveydenhuollon mullistamiseen auttamalla lääketieteellisessä kuva-analyysissä.

• Asiakirjojen käsittely: LeNetin kyvyt ovat löytäneet käyttöä asiakirjojen skannauksessa ja analysoinnissa, erityyppisten tietojen jäsentämisessä ja käsittelyssä, datan poimimisessa asiakirjoista sekä tiedonsyöttötehtävien automatisoinnissa eri toimialoilla.
• Käsinkirjoituksen tunnistus: LeNetin menestys käsinkirjoitettujen merkkien ja numeroiden tunnistamisessa on edelleen perustavanlaatuinen optisissa merkintunnistusjärjestelmissä (OCR), joita käytetään käsinkirjoitetun tekstin käsittelyssä pankkisekeissä, postipalveluissa ja lomakkeissa. Se soveltuu historiallisten asiakirjojen digitointiin ja käsin kirjoitetun tiedon tunnistamiseen eri muodoissa.
• Biometrinen todennus: LeNetin käsinkirjoituksen tunnistusominaisuuksia on sovellettu allekirjoitusten ja sormenjälkien analysointiin, mikä mahdollistaa biometriset todennusmenetelmät ja tehostaa turvajärjestelmiä.
• Reaaliaikainen videoanalyysi: LeNetin peruskonseptit toimivat perustana reaaliaikaiselle videoanalyysille, kuten kohteiden seuranta, valvontajärjestelmät, kasvojentunnistus ja autonomiset ajoneuvot.
• Kuvan luokitus: LeNetin periaatteet vaikuttavat nykyaikaisiin kuvien luokitusjärjestelmiin. Sovelluksia ovat kuvissa olevien kohteiden luokittelu ja luokittelu useille aloille, kuten kohteiden tunnistaminen valokuvissa, laadunvalvonta valmistuksessa, lääketieteellisen kuvantamisen analyysi ja turvajärjestelmät esineiden tunnistamiseen.

LeNetin haasteet ja rajoitukset

• Ominaisuuden poistamisen tehokkuus: Neuraaliverkkoarkkitehtuurien kehityksen myötä uudemmissa malleissa on tehokkaampia tapoja ominaisuuksien poimimiseen, mikä tekee LeNetistä suhteellisen vähemmän tehokkaan monimutkaisten kuvioiden ja ominaisuuksien tunnistamisessa.
• Rajoitettu sopeutumiskyky: Sen arkkitehtuuri, joka on suunniteltu tiettyihin tehtäviin, kuten käsinkirjoitettujen merkkien tunnistus, ei välttämättä ole suoraan siirrettävissä muille toimialueille ilman merkittäviä muutoksia.
• skaalautuvuus: Vaikka LeNet on uraauurtava malli, siitä saattaa puuttua skaalautuvuus sopeutuakseen nykyaikaisiin tietojenkäsittelyn ja syvän oppimisen vaatimuksiin.
• Yliasennus: LeNet saattaa kärsiä ylisovituksesta käsitellessään monimutkaisempia tietojoukkoja, mikä edellyttää lisäregulointitekniikoita tämän ongelman lieventämiseksi.

Tutkijat ovat kehittäneet monimutkaisempia CNN-arkkitehtuureja voittaakseen nämä rajoitukset, ja ne sisältävät kehittyneitä tekniikoita näiden haasteiden ratkaisemiseksi ja parantavat suorituskykyä eri tehtävissä.

Yhteenveto

LeNet, varhainen konvoluutiohermoverkko, on keskeinen virstanpylväs syvässä oppimisessa. Sen perustaminen Yann LeCunin ja tiimin toimesta merkitsi läpimurtoa erityisesti käsinkirjoitettujen hahmojen tunnistamisessa ja kuva-analyysissä. LeNet kohtaa haasteita sopeutua nykyaikaisiin monimutkaisiin tehtäviin ja erilaisiin tietokokonaisuuksiin arkkitehtonisen yksinkertaisuuden ja mahdollisen ylisovituksen vuoksi. Sen perintö on edelleen elintärkeää, se inspiroi edistyneempiä arkkitehtuureja ja sillä on ratkaiseva rooli syvän oppimismallien kehittämisessä.

LeNetin perustaminen merkitsi keskeistä hetkeä syvän oppimisen historiassa. Sen menestys kuvantunnistustehtävissä ja periaatteissa on asettanut pohjan nykyaikaisten konvoluutiohermoverkkojen kehitykselle. Sen pysyvä perintö muokkaa edelleen tietokonenäön ja tekoälyn maisemaa.

Keskeiset ostokset

• Se esitteli konvoluutio- ja alinäytteenottokerrosten käsitteen, mikä loi perustan nykyaikaisille syväoppimisarkkitehtuureille.
• Vaikka LeNet teki aikanaan merkittäviä edistysaskeleita, sen rajoitukset erilaisten ja monimutkaisten tietojoukkojen käsittelyssä ovat tulleet ilmeisiksi.
• Otettiin käyttöön konvoluutio- ja alinäytteenottokerrokset, jotka mullistavat syvän oppimisen.

Usein kysytyt kysymykset

Tässä artikkelissa näkyvä media ei ole Analytics Vidhyan omistuksessa, ja sitä käytetään tekijän harkinnan mukaan.

liittyvä

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.analyticsvidhya.com/blog/2023/11/lenet-architectural-insights-and-practical-implementation/