Flerkanaliga metabilder för att accelerera maskinseende – Nature Nanotechnology

Simonyan, K. & Zisserman, A. Mycket djupa faltningsnätverk för storskalig bildigenkänning. I 3:e internationella konferensen om läranderepresentationer 1–14 (ICLR, 2015).

Wang, G. et al. Interaktiv medicinsk bildsegmentering med djupinlärning med bildspecifik finjustering. IEEE Trans. Med. Avbildning 37, 1562-1573 (2018).

Artikeln  Google Scholar 

Furui, S., Deng, L., Gales, M., Ney, H. & Tokuda, K. Grundläggande teknologier i modern taligenkänning. IEEE Signal Process Mag. 29, 16-17 (2012).

Artikeln  Google Scholar 

Sak, H., Senior, A., Rao, K. & Beaufays, F. Snabba och exakta akustiska modeller för akustiska neurala nätverk för taligenkänning. I Proc. Årlig konferens för International Speech Communication Association, INTERSPEECH 1468–1472 (ISCA, 2015).

He, K., Zhang, X., Ren, S. & Sun, J. Djup återstående inlärning för bildigenkänning. I Proc. IEEE Computer Society-konferens om datorseende och mönsterigenkänning 770–778 (IEEE, 2016).

Lecun, Y., Bengio, Y. & Hinton, G. Deep learning. Natur 521, 436-444 (2015).

Artikeln  CAS  Google Scholar 

Mennel, L. et al. Ultrasnabb maskinseende med 2D-material bildsensorer för neurala nätverk. Natur 579, 62-66 (2020).

Artikeln  CAS  Google Scholar 

Liu, L. et al. Datorsystem för autonom körning: toppmoderna och utmaningar. IEEE Internet Things J. 8, 6469-6486 (2021).

Artikeln  Google Scholar 

Shi, W. et al. LOEN: linslöst opto-elektroniskt neuralt nätverk som ger maskinseende. Lätt Sci. Appl. 11, 121 (2022).

Artikeln  CAS  Google Scholar 

Hamerly, R., Bernstein, L., Sludds, A., Soljačić, M. & Englund, D. Storskaliga optiska neurala nätverk baserade på fotoelektrisk multiplikation. Phys. Rev. X. 9, 021032 (2019).

CAS  Google Scholar 

Wetzstein, G. et al. Slutledning i artificiell intelligens med djupoptik och fotonik. Natur 588, 39-47 (2020).

Artikeln  CAS  Google Scholar 

Shastri, B.J. et al. Fotonik för artificiell intelligens och neuromorfisk beräkning. Nat. Foton. 15, 102-114 (2021).

Artikeln  CAS  Google Scholar 

Xue, W. & Miller, O. D. High-NA optisk kantdetektering via optimerade flerskiktsfilmer. J. Optics 23, 125004 (2021).

Wang, T. et al. Ett optiskt neuralt nätverk som använder mindre än 1 foton per multiplikation. Nat. Commun. 13, 123 (2022).

Artikeln  CAS  Google Scholar 

Wang, T. et al. Bildavkänning med flerskikts icke-linjära optiska neurala nätverk. Nat. Foton. 17, 8-17 (2023).

Artikeln  Google Scholar 

Badloe, T., Lee, S. & Rho, J. Beräkning med ljusets hastighet: metamaterial för helt optiska beräkningar och neurala nätverk. Adv. Foton. 4, 064002 (2022).

Vanderlugt, A. Optisk signalbehandling (Wiley, 1993)

Chang, J., Sitzmann, V., Dun, X., Heidrich, W. & Wetzstein, G. Hybrida optisk-elektroniska konvolutionella neurala nätverk med optimerad diffraktiv optik för bildklassificering. Sci. Rep. 8, 12324 (2018).

Artikeln  Google Scholar 

Colburn, S., Chu, Y., Shilzerman, E. & Majumdar, A. Optisk frontend för ett konvolutionellt neuralt nätverk. Appl. Välja. 58, 3179 (2019).

Artikeln  Google Scholar 

Zhou, T. et al. Storskalig neuromorf optoelektronisk beräkning med en omkonfigurerbar diffraktiv bearbetningsenhet. Nat. Foton. 15, 367-373 (2021).

Artikeln  CAS  Google Scholar 

Chen, Y. H., Krishna, T., Emer, J. S. & Sze, V. Eyeriss: en energieffektiv omkonfigurerbar accelerator för djupa konvolutionella neurala nätverk. IEEE J. Solid State Circuits 52, 127-138 (2017).

Artikeln  Google Scholar 

Neshatpour, K., Homayoun, H. & Sasan, A. ICNN: det iterativa konvolutionella neurala nätverket. I ACM-transaktioner på inbyggda datorsystem 18, 119 (ACM, 2019).

Xu, X. et al. 11 TOPS fotonisk faltningsaccelerator för optiska neurala nätverk. Natur 589, 44-51 (2021).

Artikeln  CAS  Google Scholar 

Feldmann, J. et al. Parallell faltningsbehandling med en integrerad fotonisk tensorkärna. Natur 589, 52-58 (2021).

Artikeln  CAS  Google Scholar 

Wu, C. et al. Programmerbara fasförändringsmetasytor på vågledare för multimode fotoniskt faltningsneurala nätverk. Nat. Commun. 12, 96 (2021).

Artikeln  CAS  Google Scholar 

Zhang, H. et al. Ett optiskt neuralt chip för implementering av komplext värderat neuralt nätverk. Nat. Commun. 12, 457 (2021).

Artikeln  CAS  Google Scholar 

Ashtiani, F., Geers, A. J. & Aflatouni, F. Ett fotoniskt djupt neuralt nätverk på chip för bildklassificering. Natur 606, 501-506 (2022).

Artikeln  CAS  Google Scholar 

Fu, T. et al. Fotonisk maskininlärning med on-chip diffraktiv optik. Nat. Commun. 14, 70 (2023).

Artikeln  CAS  Google Scholar 

Lin, X. et al. Helt optisk maskininlärning med diffraktiva djupa neurala nätverk. Vetenskap 361, 1004-1008 (2018).

Artikeln  CAS  Google Scholar 

Qian, C. et al. Utföra optiska logiska operationer med ett diffraktivt neuralt nätverk. Lätt Sci. Appl. 9, 59 (2020).

Artikeln  CAS  Google Scholar 

Luo, X. et al. Metasurface-aktiverade on-chip multiplexade diffraktiva neurala nätverk i det synliga. Lätt Sci. Appl. 11, 158 (2022).

Artikeln  CAS  Google Scholar 

Kwon, H., Arbabi, E., Kamali, S. M., Faraji-Dana, M. S. & Faraon, A. Single-shot kvantitativ fasgradientmikroskopi med användning av ett system av multifunktionella metasytor. Nat. Foton. 14, 109-114 (2020).

Artikeln  CAS  Google Scholar 

Xiong, B. et al. Att bryta begränsningen för polarisationsmultiplexering i optiska metasytor med konstruerat brus. Vetenskap 379, 294-299 (2023).

Artikeln  CAS  Google Scholar 

Khorasaninejad, M. et al. Metalenses vid synliga våglängder: diffraktionsbegränsad fokusering och subwavelength resolution imaging. Vetenskap 352, 1190-1194 (2016).

Artikeln  CAS  Google Scholar 

Kim, J. et al. Skalbar tillverkning av högindex atomlager-polymer-hybrid-metasytor för metafotonik i det synliga. Nat. Mater. 22, 474-481 (2023).

Artikeln  CAS  Google Scholar 

Levanon, N. et al. Vinkelöverföringssvar av symmetribrytande kvasi-BIC heldielektriska metasytor i planet. ACS Fotonik 9, 3642-3648 (2022).

Artikeln  CAS  Google Scholar 

Nolen, J. R., Overvig, A. C., Cotrufo, M. & Alù, A. Godtyckligt polariserad och enkelriktad emission från termiska metasytor. Förtryck kl https://arxiv.org/abs/2301.12301 (2023).

Guo, C., Xiao, M., Minkov, M., Shi, Y. & Fan, S. Fotonisk kristallplatta Laplace-operator för bilddifferentiering. Optica 5, 251-256 (2018).

Artikeln  Google Scholar 

Cordaro, A. et al. Högindex dielektriska metaytor som utför matematiska operationer. Nano Lett. 19, 8418-8423 (2019).

Artikeln  CAS  Google Scholar 

Zhou, Y., Zheng, H., Kravchenko, I. I. & Valentine, J. Platt optik för bilddifferentiering. Nat. Foton. 14, 316-323 (2020).

Artikeln  CAS  Google Scholar 

Fu, W. et al. Ultrakompakta metabilder för godtycklig heltoptisk faltning. Lätt Sci. Appl. 11, 62 (2022).

Artikeln  CAS  Google Scholar 

Wang, H., Guo, C., Zhao, Z. & Fan, S. Kompakt osammanhängande bilddifferentiering med nanofotoniska strukturer. ACS Fotonik 7, 338-343 (2020).

Artikeln  CAS  Google Scholar 

Zhang, X., Bai, B., Sun, H. B., Jin, G. & Valentine, J. Inkoherent optoelektronisk differentiering baserad på optimerade flerskiktsfilmer. Laser Photon Rev. 16, 2200038 (2022).

Artikeln  Google Scholar 

Zheng, H. et al. Meta-optiska acceleratorer för objektklassificerare. Sci. Adv. 8, eabo6410 (2022).

Artikeln  Google Scholar 

Bernstein, L. et al. Single-shot optiska neurala nätverk. Sci. Adv. 9, eadg7904 (2023).

Artikeln  CAS  Google Scholar 

Shen, Z. et al. Monokulär metasurface-kamera för passiv enkelbilds 4D-avbildning. Nat. Commun. 14, 1035 (2023).

Artikeln  CAS  Google Scholar 

LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradientbaserat lärande tillämpat på dokumentigenkänning. Proc. IEEE 86, 2278-2323 (1998).

Artikeln  Google Scholar 

Zheng, H. et al. Sammansatt meta-optik för fullständig och förlustfri fältkontroll. ACS Nano 16, 15100-15107 (2022).

Artikeln  CAS  Google Scholar 

Liu, S. et al. Fler ConvNets under 2020-talet: skala upp kärnor över 51×51 med sparsity. I 11:e internationella konferensen om läranderepresentationer 1–23 (ICLR, 2023).

Barron, J. T. En allmän och adaptiv robust förlustfunktion. I Proc. IEEE Computer Society-konferens om datorseende och mönsterigenkänning 4326–4334 (IEEE, 2019).

Dosovitskiy, A. et al. En bild är värd 16×16 ord: transformatorer för bildigenkänning i skala. I 9:e internationella konferensen om läranderepresentationer 1–22 (ICLR, 2021).

Stillmaker, A. & Baas, B. Skalekvationer för noggrann förutsägelse av CMOS-enhetsprestanda från 180 nm till 7 nm. Integration 58, 74-81 (2017).

Artikeln  Google Scholar 

McClung, A., Samudrala, S., Torfeh, M., Mansouree, M. & Arbabi, A. Snapshot spektral avbildning med parallella metasystem. Sci. Adv. 6, eabc7646 (2020).

Artikeln  CAS  Google Scholar 

Ding, X., Zhang, X., Han, J. & Ding, G. Skala upp dina kärnor till 31 × 31: återbesöker design av stor kärna i CNN. I Proc. IEEE Computer Society-konferens om datorseende och mönsterigenkänning 11953–11965 (IEEE, 2022).

Ding, X. et al. RepVgg: gör ConvNets i VGG-stil bra igen. I Proc. IEEE Computer Society-konferens om datorseende och mönsterigenkänning 13728–13737 (IEEE, 2021).

Li, L. et al. Intelligent metasyteavbildare och igenkännare. Lätt Sci. Appl. 8, 97 (2019).

Artikeln  Google Scholar 

Zhao, R. et al. Flerkanalig vektoriell holografisk visning och kryptering. Lätt Sci. Appl. 7, 95 (2018).

Artikeln  CAS  Google Scholar 

Kim, I. et al. Pixelerade bifunktionella metasytdrivna dynamiska vektoriella holografiska färgutskrifter för fotonisk säkerhetsplattform. Nat. Commun. 12, 3614 (2021).

Artikeln  CAS  Google Scholar 

Li, L. et al. Metalens-array-baserad högdimensionell och multifoton kvantkälla. Vetenskap 368, 1487-1490 (2020).

Artikeln  CAS  Google Scholar 

Hugonin, A. J. P. & Lalanne, P. RETICOLO programvara för gitteranalys. Förtryck kl https://arxiv.org/abs/2101.00901 (2023).