14 آوریل 2023 (Nanowerk Spotlight) Phase change memory (PCM) is a type of non-volatile memory technology that stores data at the nanoscale by changing the phase of a specialized material between crystalline and amorphous states. In the crystalline state, the material exhibits low electrical resistance, while in the amorphous state, it has high resistance. By applying different heat and rapidly cooling pulses, the phase can be switched, allowing data to be written and read as binary values (0s and 1s) or continuous analog values based on the material’s resistance.
Phase change memory is an emerging technology with great potential for advancing analog in-memory computing, particularly in deep neural networks and neuromorphic computing. Various factors, such as resistance values, memory window, and resistance drift, affect the performance of PCM in these applications. So far, it has been challenging for researchers to compare PCM devices for in-memory computing based solely on their various device characteristics, which often had trade-offs and correlations.
Another challenge is that analog in-memory computing can greatly improve the speed and reduce the power consumption for AI computing, but it may suffer from reduced accuracy due to imperfection in the analog memory devices.
New research, published in مواد الکترونیکی پیشرفته (“Optimization of Projected Phase Change Memory for Analog In-Memory Computing Inference”), addresses these issues by 1) extensively benchmarking PCM devices in large neural networks, offering valuable guidelines for optimizing these devices in the future, and 2) improving and optimizing analog memory devices made with phase change materials, ultimately enhancing accuracy for AI computing.
Ning Li, who at the time was working at the IBM Research in Yorktown Heights and Albany (now an Associate Professor at Lehigh University), the first author of the study, and his IBM colleagues explain: “First, we discovered that many device characteristics can be tuned systematically tuned systematically using a liner layer introduced in our prior work. Second, we found a way to optimize these device characteristics from a system point of view using extensive system-level simulations.” These two advances together enabled the team to identify the best devices.”
In this work, the team created models to represent the drift and noise behavior of PCM devices. They used these models to assess the performance of these devices in neural network inference applications. They evaluated the performance of large neural networks with tens of millions of weights (i.e., the parameters within a neural network that determine the strength of the connections between neurons; In the case of PCM-based analog in-memory computing, the weights are stored as resistance values in the PCM devices) using PCM devices both with and without projection liners (additional layers introduced into the PCM device structure, which are made of a non-phase change material), testing a variety of deep neural networks (DNNs) and datasets at multiple time-steps.
Measured characteristics of PCM device and their impact on network accuracy as a function of PCM memory window a) programming range Gmax–Gmin, b) peak drift coefficient, c) standard deviation of drift coefficient, d) normalized read noise, e) ResNet-32 (CIFAR-10) inference error at short term (1 second) and long term (1 month) after programming, f) LSTM (PTB) inference error at 1 second and 1 month after programming, g) BERT (MRPC) inference error at 1 second and 1 month after programming, h) BERT (MNLI) inference error at 1 second and 1 month after programming. (Reprinted with permission by Wiley-VCH Verlag) (click on image to enlarge)
The study finds that devices with projection liners perform well across various DNN types, including recurrent neural networks (RNNs), convolutional neural networks (CNNs), and transformer-based networks. The researchers also examined the impact of different device characteristics on network accuracy and identified a range of target device specifications for PCM with liners that can lead to further improvements.
Unlike previous reports on PCM devices for AI computing, this work ties device results to the end results of computing chips with large and useful deep neural networks. Dr. Li explains that PCM devices for in-memory computing are difficult to compare for AI applications by only using device characteristics. The study provides a solution to this problem by offering extensive benchmarking of PCM devices in various networks under various conditions of weight mapping and guidelines for PCM device optimization.
By being able to show that device characteristics can be tuned continuously, and that these characteristics are correlated with one another, systematic optimization of the devices becomes possible.
Using their optimization strategy, the researchers demonstrated that they can achieve much better accuracy for both short-term and long-term programming. They significantly reduced the effects of PCM drift and noise on deep neural networks, improving both initial accuracy and long-term accuracy.
“Potential applications of our work include improved speed, reduced power, and reduced cost in language processing, image recognition, and even broader AI applications, such as ChatGPT,” Li points out.
As a result of this work, the researchers envision that large neural network computation will become faster, greener, and cheaper. The next stages in their investigations include further optimizing PCM devices and implementing them in computer chips.
“The future direction for this research field is to enable real products that customers find useful,” Li concludes. “Although analog systems use imperfect analog devices, they offer significant advantages in speed, power, and cost. The challenge lies in identifying suitable applications and enabling them.”
By
مایکل
برگر
-
مایکل نویسنده سه کتاب توسط انجمن سلطنتی شیمی است:
جامعه نانو: پیش بردن مرزهای فناوری,
نانوتکنولوژی: آینده بسیار کوچک استو
نانومهندسی: مهارت ها و ابزارهایی که فناوری را نامرئی می کنند
کپی رایت ©
مایکل
برگر
-
مایکل نویسنده سه کتاب توسط انجمن سلطنتی شیمی است:
جامعه نانو: پیش بردن مرزهای فناوری,
نانوتکنولوژی: آینده بسیار کوچک استو
نانومهندسی: مهارت ها و ابزارهایی که فناوری را نامرئی می کنند
کپی رایت ©
نانورک
نویسنده مهمان Spotlight شوید! به گروه بزرگ و رو به رشد ما بپیوندید مشارکت کنندگان مهمان. آیا به تازگی یک مقاله علمی منتشر کرده اید یا پیشرفت های هیجان انگیز دیگری برای به اشتراک گذاشتن با جامعه فناوری نانو دارید؟ در اینجا نحوه انتشار در nanowerk.com آمده است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://www.nanowerk.com/spotlight/spotid=62821.php
- :است
- 1
- 10
- 7
- 8
- 9
- a
- قادر
- دقت
- رسیدن
- در میان
- اضافی
- آدرس
- پیشرفت
- مزایای
- اثر
- پس از
- AI
- اجازه دادن
- هر چند
- آمازون
- و
- دیگر
- برنامه های کاربردی
- با استفاده از
- هستند
- AS
- وابسته
- At
- نویسنده
- مستقر
- BE
- شدن
- شود
- بودن
- بهترین
- بهتر
- میان
- کتاب
- تقویت
- مرز
- گسترده تر
- by
- CAN
- مورد
- مرکز
- به چالش
- به چالش کشیدن
- تغییر دادن
- متغیر
- مشخصات
- GPT چت
- ارزان تر
- شیمی
- چیپس
- کلیک
- همکاران
- انجمن
- مقايسه كردن
- محاسبه
- کامپیوتر
- محاسبه
- شرایط
- اتصالات
- مصرف
- مداوم
- به طور مداوم
- همبستگی
- هزینه
- ایجاد شده
- مشتریان
- داده ها
- مجموعه داده ها
- تاریخ
- عمیق
- شبکه های عصبی عمیق
- نشان
- مشخص کردن
- تحولات
- انحراف
- دستگاه
- دستگاه ها
- مختلف
- مشکل
- جهت
- کشف
- e
- اثرات
- الکترونیکی
- سنگ سنباده
- فناوری در حال ظهور
- قادر ساختن
- فعال
- را قادر می سازد
- افزایش
- خطا
- اتر (ETH)
- ارزیابی
- حتی
- مهیج
- نمایشگاه ها
- توضیح دهید
- توضیح می دهد
- وسیع
- عوامل
- بسیار
- سریعتر
- رشته
- پیدا کردن
- پیدا می کند
- نام خانوادگی
- برای
- یافت
- از جانب
- تابع
- بیشتر
- آینده
- GIF
- بزرگ
- تا حد زیادی
- گروه
- در حال رشد
- مهمان
- دستورالعمل ها
- آیا
- ارتفاعات
- زیاد
- چگونه
- چگونه
- HTTPS
- i
- آی بی ام
- شناسایی
- شناسایی
- شناسایی
- تصویر
- شناسایی تصویر
- تأثیر
- اجرای
- بهبود
- بهبود یافته
- ارتقاء
- بهبود
- in
- شامل
- از جمله
- اول
- معرفی
- تحقیقات
- مسائل
- IT
- پیوستن
- JPG
- زبان
- بزرگ
- لایه
- لایه
- رهبری
- آرم
- طولانی
- دراز مدت
- کم
- ساخته
- ساخت
- بسیاری
- نقشه برداری
- ماده
- مصالح
- ممکن است..
- حافظه
- مایکل
- متوسط
- میلیون ها نفر
- مدل
- ماه
- چندگانه
- نام
- فناوری نانو
- شبکه
- شبکه
- عصبی
- شبکه های عصبی
- شبکه های عصبی
- نورون ها
- جدید
- بعد
- سر و صدا
- of
- ارائه
- ارائه
- on
- ONE
- بهینه سازی
- بهینه سازی
- بهینه
- بهینه سازی
- دیگر
- مقاله
- پارامترهای
- ویژه
- اوج
- انجام دادن
- کارایی
- اجازه
- فاز
- پی اچ پی
- افلاطون
- هوش داده افلاطون
- PlatoData
- نقطه
- نقطه مشاهده
- نقطه
- ممکن
- پتانسیل
- قدرت
- قبلی
- قبلا
- مشکل
- در حال پردازش
- محصولات
- معلم
- برنامه نويسي
- پیش بینی
- طرح
- فراهم می کند
- منتشر کردن
- منتشر شده
- ناشر
- هل دادن
- محدوده
- سریعا
- خواندن
- واقعی
- به رسمیت شناختن
- كاهش دادن
- کاهش
- گزارش ها
- نشان دادن
- تحقیق
- محققان
- مقاومت
- نتیجه
- نتایج
- سلطنتی
- s
- دوم
- اشتراک گذاری
- کوتاه
- کوتاه مدت
- نشان
- قابل توجه
- به طور قابل توجهی
- مهارت ها
- So
- تا حالا
- جامعه
- راه حل
- تخصصی
- مشخصات
- سرعت
- نور افکن
- مراحل
- استاندارد
- دولت
- ایالات
- ذخیره شده
- پرده
- استراتژی
- استحکام
- ساختار
- مهاجرت تحصیلی
- چنین
- مناسب
- روشن
- سیستم
- سیستم های
- هدف
- تیم
- پیشرفته
- تست
- که
- La
- آینده
- شان
- آنها
- اینها
- سه
- روابط
- زمان
- عنوان
- به
- با هم
- ابزار
- انواع
- در نهایت
- زیر
- دانشگاه
- به روز رسانی
- URL
- استفاده کنید
- ارزشمند
- ارزشها
- تنوع
- مختلف
- چشم انداز
- مسیر..
- وزن
- خوب
- که
- در حین
- WHO
- اراده
- با
- در داخل
- بدون
- مهاجرت کاری
- کارگر
- کتبی
- شما
- زفیرنت
بیشتر از نانورک
پیشرفت در تصفیه آب - غشای کامپوزیتی پلی فنیلن/نانولوله کربنی
گره منبع: 2387757
تمبر زمان: نوامبر 17، 2023
چگونه میکروالکترونیک محاسبات را به ارتفاعات جدیدی خواهد رساند
گره منبع: 2357697
تمبر زمان: اکتبر 31، 2023
هوش مصنوعی پروتئین هایی را تداعی می کند که واکنش های شیمیایی را سرعت می بخشد
گره منبع: 1972871
تمبر زمان: فوریه 22، 2023
دانشمندان ردیفهایی از اتمهای فلزی را در بستههای نانوالیاف میپیچانند
گره منبع: 1992515
تمبر زمان: مار 4، 2023
هیدروژل های کوچک کننده گزینه های نانوساخت را بزرگ می کنند
گره منبع: 1856267
تمبر زمان: دسامبر 22، 2022
کاتالیزور MOF آب آلوده به علف کش را تصفیه می کند و هیدروژن تولید می کند
گره منبع: 1995631
تمبر زمان: مار 6، 2023
شکستن پیوندها: باز کردن دو مارپیچ فیزیک DNA را آشکار می کند
گره منبع: 2016844
تمبر زمان: مار 17، 2023
کشف فرومغناطیس سطحی در هتروساختارهای ضد فرومغناطیس دو بعدی
گره منبع: 1786487
تمبر زمان: دسامبر 26، 2022
کاتالیزور پیشرفته فتوسنتز مصنوعی از CO2 کارآمدتر برای ایجاد پلاستیک های زیست تخریب پذیر استفاده می کند
گره منبع: 2483974
تمبر زمان: فوریه 16، 2024