Máy biến áp tầm nhìn lượng tử

Máy biến áp tầm nhìn lượng tử

Dấu thời gian: ngày 22 tháng 2024 năm 8 34:XNUMX sáng
Nút nguồn: 2491912

El Amin Cherrat1, Iordanis Kerenidis1,2, Natansh Mathur1,2, Jonas Landman3,2, Martin Strahm4, và Yun Yvonna Li4

1IRIF, CNRS – Đại học Paris Cité, Pháp
2QC Ware, Palo Alto, Mỹ và Paris, Pháp
3Trường Tin học, Đại học Edinburgh, Scotland, Vương quốc Anh
4F. Hoffmann La Roche AG

Tìm bài báo này thú vị hay muốn thảo luận? Scite hoặc để lại nhận xét về SciRate.

Tóm tắt

Trong công trình này, máy biến áp lượng tử được thiết kế và phân tích chi tiết bằng cách mở rộng kiến ​​trúc mạng thần kinh biến áp cổ điển hiện đại được biết là có hiệu suất rất cao trong xử lý ngôn ngữ tự nhiên và phân tích hình ảnh. Dựa trên công trình trước đó, sử dụng các mạch lượng tử được tham số hóa để tải dữ liệu và các lớp thần kinh trực giao, chúng tôi giới thiệu ba loại máy biến áp lượng tử để đào tạo và suy luận, bao gồm một máy biến lượng tử dựa trên ma trận phức hợp, đảm bảo lợi thế về mặt lý thuyết của cơ chế chú ý lượng tử so với đối tác cổ điển của chúng cả về thời gian chạy tiệm cận và số lượng tham số mô hình. Những kiến ​​trúc lượng tử này có thể được xây dựng bằng cách sử dụng các mạch lượng tử nông và tạo ra các mô hình phân loại khác nhau về chất lượng. Ba lớp chú ý lượng tử được đề xuất khác nhau về quang phổ giữa theo sát các máy biến áp cổ điển và thể hiện nhiều đặc điểm lượng tử hơn. Với tư cách là các khối xây dựng của máy biến áp lượng tử, chúng tôi đề xuất một phương pháp mới để tải ma trận ở dạng trạng thái lượng tử cũng như hai lớp trực giao lượng tử có thể huấn luyện mới có thể thích ứng với các mức độ kết nối và chất lượng khác nhau của máy tính lượng tử. Chúng tôi đã thực hiện các mô phỏng mở rộng về máy biến áp lượng tử trên các bộ dữ liệu hình ảnh y tế tiêu chuẩn, cho thấy hiệu suất cạnh tranh và đôi khi tốt hơn so với các tiêu chuẩn cổ điển, bao gồm cả máy biến áp thị giác cổ điển tốt nhất. Các máy biến đổi lượng tử mà chúng tôi đã đào tạo trên các bộ dữ liệu quy mô nhỏ này yêu cầu ít tham số hơn so với các điểm chuẩn cổ điển tiêu chuẩn. Cuối cùng, chúng tôi đã triển khai máy biến áp lượng tử trên máy tính lượng tử siêu dẫn và thu được kết quả đáng khích lệ cho tối đa sáu thí nghiệm qubit.

Hình ảnh nổi bật: Mạch lượng tử để thực thi một lớp chú ý của Máy biến áp phức hợp. Trình tải dữ liệu ma trận theo sau là lớp lượng tử trực giao.

Tóm tắt phổ biến

Trong nghiên cứu này, chúng tôi khám phá tiềm năng của điện toán lượng tử để nâng cao kiến ​​trúc mạng thần kinh, tập trung vào máy biến áp, được biết đến với tính hiệu quả trong các nhiệm vụ như xử lý ngôn ngữ và phân tích hình ảnh. Chúng tôi giới thiệu ba loại máy biến áp lượng tử, tận dụng các mạch lượng tử tham số hóa và các lớp thần kinh trực giao. Các máy biến áp lượng tử này, theo một số giả định (ví dụ: kết nối phần cứng), về mặt lý thuyết có thể mang lại lợi thế so với các máy biến áp cổ điển về cả thông số thời gian chạy và mô hình. Để tạo ra các mạch lượng tử này, chúng tôi trình bày một phương pháp mới để tải ma trận dưới dạng trạng thái lượng tử và giới thiệu hai lớp trực giao lượng tử có thể huấn luyện được, có khả năng thích ứng với các khả năng khác nhau của máy tính lượng tử. Chúng yêu cầu các mạch lượng tử nông và có thể giúp tạo ra các mô hình phân loại với các đặc điểm độc đáo. Mô phỏng mở rộng trên bộ dữ liệu hình ảnh y tế chứng minh hiệu suất cạnh tranh so với điểm chuẩn cổ điển, ngay cả với ít tham số hơn. Ngoài ra, các thí nghiệm trên máy tính lượng tử siêu dẫn mang lại kết quả đầy hứa hẹn.

► Dữ liệu BibTeX

► Tài liệu tham khảo

[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe và Seth Lloyd. “Học máy lượng tử”. Thiên nhiên 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / thiên nhiên23474

[2] Iris Cong, Soonwon Choi và Mikhail D Lukin. “Mạng lưới thần kinh tích chập lượng tử”. Vật lý Tự nhiên 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, và những người khác. “Thuật toán lượng tử quy mô trung gian ồn ào”. Các bài phê bình Vật lý hiện đại 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, et al. “Thuật toán lượng tử biến thiên”. Nature Reviews Vật lý 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash và Iordanis Kerenidis. “Phương pháp lượng tử cho mạng lưới thần kinh và ứng dụng vào phân loại hình ảnh y tế”. Lượng tử 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Bobak Kiani, Randall Balestriero, Yann LeCun và Seth Lloyd. “projunn: Phương pháp hiệu quả để đào tạo mạng sâu với ma trận đơn nhất”. Những tiến bộ trong Hệ thống xử lý thông tin thần kinh 35, 14448–14463 (2022).

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser và Illia Polosukhin. “Sự chú ý là tất cả những gì bạn cần”. Những tiến bộ trong hệ thống xử lý thông tin thần kinh 30 (2017).

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee và Kristina Toutanova. “Bert: Đào tạo trước các máy biến áp hai chiều sâu để hiểu ngôn ngữ” (2018).

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit và Neil Houlsby. “Một hình ảnh có giá trị 16×16 từ: Máy biến áp để nhận dạng hình ảnh ở quy mô lớn”. Hội nghị quốc tế về đại diện học tập (2021). url: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] Yi Tay, Mostafa Dehghani, Dara Bahri và Donald Metzler. “Máy biến áp hiệu suất: Một cuộc khảo sát”. Khảo sát máy tính ACM (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] Dzmitry Bahdanau, Kyunghyun Cho và Yoshua Bengio. “Dịch máy thần kinh bằng cách cùng học cách căn chỉnh và dịch” (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473

[12] J. Schmidhuber. “Giảm tỷ lệ giữa độ phức tạp trong học tập và số lượng biến thay đổi theo thời gian trong các mạng hoàn toàn lặp lại”. Trong Stan Gielen và Bert Kappen, biên tập viên, ICANN '93. Trang 460–463. Luân Đôn (1993). Mùa xuân.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Jürgen Schmidhuber. “Học cách kiểm soát ký ức có trọng lượng nhanh: Một giải pháp thay thế cho Mạng lặp lại động”. Tính toán thần kinh 4, 131–139 (1992).
https: / / doi.org/ 10.1162 / neco.1992.4.1.131

[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon và Eun-Ah Kim. “Chụp cắt lớp lượng tử dựa trên sự chú ý”. Học máy: Khoa học và Công nghệ 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini và Marcel Worring. “Bình minh của xử lý ngôn ngữ tự nhiên lượng tử”. Trong ICASSP 2022-2022 Hội nghị quốc tế của IEEE về Âm học, Xử lý giọng nói và tín hiệu (ICASSP). Trang 8612–8616. IEEE (2022).
https://​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Quảng Tây Li, Xuân Cường Zhao, và Xin Wang. “Mạng lưới thần kinh tự chú ý lượng tử để phân loại văn bản” (2022).

[17] Fabio Sanches, Sean Weinberg, Takanori Ide và Kazumitsu Kamiya. “Các mạch lượng tử ngắn trong các chính sách học tăng cường cho bài toán định tuyến phương tiện”. Đánh giá vật lý A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] YuanFu Yang và Min Sun. “Phát hiện khuyết tật bán dẫn bằng phương pháp học sâu lượng tử-cổ điển lai”. CVPRTrang 2313–2322 (2022).
https://​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan và Tristan Cook. “Mạng lưới thần kinh lượng tử: tăng cường khả năng nhận dạng hình ảnh bằng các mạch lượng tử”. Trí tuệ máy lượng tử 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y

[20] Edward Farhi và Hartmut Neven. “Phân loại bằng mạng lưới thần kinh lượng tử trên các bộ xử lý ngắn hạn” (2018). url: doi.org/​10.48550/​arXiv.1802.06002.
https: / / doi.org/ 10.48550 / arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa và Keisuke Fujii. “Học mạch lượng tử”. Tạp Chí Vật Lý A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu và Dathành Tao. “Mạng lưới thần kinh sâu trực giao”. Giao dịch của IEEE về phân tích mẫu và trí thông minh của máy (2019).
https://​/​doi.org/​10.1109/​TPAMI.2019.2948352

[23] Roger A Horn và Charles R Johnson. “Phân tích ma trận”. Nhà xuất bản đại học Cambridge. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817

[24] Iordanis Kerenidis và Anupam Prakash. “Học máy lượng tử với các trạng thái không gian con” (2022).

[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends, và những người khác. “Trình diễn một bộ cổng hai qubit liên tục cho các thuật toán lượng tử ngắn hạn”. Thư đánh giá vật lý 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim và Iordanis Kerenidis. “Phân loại trọng tâm gần nhất trên máy tính lượng tử ion bị bẫy”. Thông tin lượng tử npj 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] James W Cooley và John W Tukey. “Một thuật toán tính toán máy các chuỗi phạm vi phức”. Toán tính toán 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark và Marin Soljacic. “Mạng lưới thần kinh đơn nhất hiệu quả có thể điều chỉnh được (eunn) và ứng dụng của chúng vào rnns”. Trong Hội nghị quốc tế về học máy. (2016). url: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla và Elham Kashefi. “Khả năng đào tạo và tính biểu cảm của các mạch lượng tử bảo toàn trọng lượng hamming cho máy học” (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu và Marco Pistoia. “Phần phụ là tất cả những gì bạn cần: Đặc điểm của các cao nguyên cằn cỗi trong lượng tử ansätze” (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca và M. Cerezo. “Một lý thuyết thống nhất về các cao nguyên cằn cỗi cho các mạch lượng tử được tham số hóa sâu” (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You và Xiaodi Wu. “Có nhiều cực tiểu cục bộ theo cấp số nhân trong mạng lưới thần kinh lượng tử”. Trong Hội nghị quốc tế về học máy. Trang 12144–12155. PMLR (2021).

[33] Eric R. Anschuetz và Bobak Toussi Kiani. “Các thuật toán biến thiên lượng tử tràn ngập bẫy”. Truyền thông Thiên nhiên 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ilya O. Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic và Alexey Dosovitskiy. “Mlp-mixer: Kiến trúc all-mlp cho tầm nhìn”. Trong NeurIPS. (2021).

[35] Jian Cheng Yang, Rui Shi và Bingbing Ni. “Medmnist phân loại mười môn phối hợp: Tiêu chuẩn automl nhẹ để phân tích hình ảnh y tế” (2020).
https://​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Jian Cheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister và Bingbing Ni. “Medmnist v2-một tiêu chuẩn nhẹ quy mô lớn để phân loại hình ảnh y sinh 2d và 3d”. Dữ liệu khoa học 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas và François Fleuret. “Máy biến áp là rnns: Máy biến áp tự hồi quy nhanh với sự chú ý tuyến tính”. Trong Hội nghị quốc tế về học máy. Trang 5156–5165. PMLR (2020).

[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne và Qiao Zhang. “JAX: các phép biến đổi có thể tổng hợp của chương trình Python+NumPy”. Github (2018). url: http://​/​github.com/​google/​jax.
http: / / github.com/ google / jax

[39] Diederik P. Kingma và Jimmy Ba. “Adam: Một phương pháp tối ưu hóa ngẫu nhiên”. CoRR abs/​1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun và Bohyung Han. “Chính quy hóa mạng lưới thần kinh sâu bằng tiếng ồn: Giải thích và tối ưu hóa nó”. Thần kinhIPS (2017).

[41] Tiết Ưng. “Tổng quan về trang bị quá mức và các giải pháp của nó”. Trong Tạp chí Vật lý: Chuỗi hội nghị. Tập 1168, trang 022022. Nhà xuất bản IOP (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Trích dẫn

[1] David Peral García, Juan Cruz-Benito và Francisco José García-Peñalvo, “Đánh giá tài liệu có hệ thống: Học máy lượng tử và các ứng dụng của nó”, arXiv: 2201.04093, (2022).

[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky và Marco Pistoia, “Bảo hiểm rủi ro lượng tử sâu”, Lượng tử 7, 1191 (2023).

[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla và Elham Kashefi, “Khả năng đào tạo và tính biểu thị của mạch lượng tử bảo toàn trọng lượng Hamming cho máy học”, arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins và Samurai Brito, “Dự báo tài chính được cải thiện thông qua Học máy lượng tử”, arXiv: 2306.12965, (2023).

[5] Jason Iaconis và Sonika Johri, “Tải hình ảnh lượng tử hiệu quả dựa trên mạng Tensor”, arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur và Iordanis Kerenidis, “Mạng Fourier lượng tử để giải các PDE tham số”, arXiv: 2306.15415, (2023).

[7] Daniel Mastropietro, Georgios Korpas, Vyacheslav Kungurtsev và Jakub Marecek, “Fleming-Viot giúp tăng tốc các thuật toán lượng tử biến đổi khi có cao nguyên cằn cỗi”, arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui, Kaitlin Gili và Chris Ballance, “Nhấn mạnh vào phần cứng lượng tử hiện đại: Đánh giá hiệu suất và hiểu biết sâu sắc về thực thi”, arXiv: 2401.13793, (2024).

Các trích dẫn trên là từ SAO / NASA ADS (cập nhật lần cuối thành công 2024 / 02-23 01:39:14). Danh sách có thể không đầy đủ vì không phải tất cả các nhà xuất bản đều cung cấp dữ liệu trích dẫn phù hợp và đầy đủ.

On Dịch vụ trích dẫn của Crossref không có dữ liệu về các công việc trích dẫn được tìm thấy (lần thử cuối cùng 2024 / 02-23 01:39:12).

Bài viết này được xuất bản trong Lượng tử dưới Creative Commons Ghi công 4.0 Quốc tế (CC BY 4.0) giấy phép. Bản quyền vẫn thuộc về chủ sở hữu bản quyền gốc như các tác giả hoặc tổ chức của họ.

Dấu thời gian:

Thêm từ Tạp chí lượng tử