Mengumumkan kontribusi Jupyter baru oleh AWS untuk mendemokratisasikan AI generatif dan menskalakan beban kerja ML | Layanan Web Amazon

Project Jupyter adalah proyek sumber terbuka multi-stakeholder yang membangun aplikasi, standar terbuka, dan alat untuk ilmu data, pembelajaran mesin (ML), dan ilmu komputasi. Notebook Jupyter, pertama kali dirilis pada tahun 2011, telah menjadi alat standar de facto yang digunakan oleh jutaan pengguna di seluruh dunia di setiap sektor akademik, penelitian, dan industri yang memungkinkan. Jupyter memungkinkan pengguna untuk bekerja dengan kode dan data secara interaktif, dan untuk membangun dan berbagi narasi komputasional yang menyediakan catatan pekerjaan mereka yang lengkap dan dapat direproduksi.

Mengingat pentingnya Jupyter bagi ilmuwan data dan pengembang ML, AWS adalah sponsor aktif dan kontributor untuk Project Jupyter. Tujuan kami adalah bekerja dalam komunitas sumber terbuka untuk membantu Jupyter menjadi platform notebook terbaik untuk ilmu data dan ML. AWS adalah sponsor platinum Project Jupyter melalui NumFOCUS Foundation, dan saya bangga serta merasa terhormat untuk memimpin tim insinyur AWS berdedikasi yang berkontribusi pada perangkat lunak Jupyter dan berpartisipasi dalam komunitas dan tata kelola Jupyter. Kontribusi open-source kami untuk Jupyter meliputi JupyterLab, Jupyter Server, dan subproyek Jupyter Notebook. Kami juga anggota kelompok kerja Jupyter untuk Keamanan, dan Keanekaragaman, Kesetaraan, dan Inklusi (DEI). Sejalan dengan kontribusi sumber terbuka ini, kami memiliki tim produk AWS yang bekerja untuk mengintegrasikan Jupyter dengan produk seperti Amazon SageMaker.

Hari ini di JupyterCon, kami dengan senang hati mengumumkan beberapa alat baru bagi pengguna Jupyter untuk meningkatkan pengalaman mereka dan mendorong produktivitas pengembangan. Semua alat ini bersumber terbuka dan dapat digunakan di mana pun Anda menjalankan Jupyter.

Memperkenalkan dua ekstensi AI generatif untuk Jupyter

AI generatif dapat secara signifikan meningkatkan produktivitas ilmuwan data dan pengembang saat mereka menulis kode. Hari ini, kami mengumumkan dua ekstensi Jupyter yang menghadirkan AI generatif ke pengguna Jupyter melalui UI obrolan, perintah ajaib IPython, dan pelengkapan otomatis. Ekstensi ini memungkinkan Anda melakukan berbagai tugas pengembangan menggunakan model AI generatif di notebook JupyterLab dan Jupyter.

Jupyter AI, proyek sumber terbuka untuk menghadirkan AI generatif ke notebook Jupyter

Menggunakan kekuatan model bahasa besar seperti ChatGPT, Jurassic-21 AI2, dan (segera hadir) Amazon Titan, Jupyter AI adalah proyek sumber terbuka yang menghadirkan fitur AI generatif ke notebook Jupyter. Misalnya, menggunakan model bahasa yang besar, Jupyter AI dapat membantu programmer membuat, men-debug, dan menjelaskan kode sumbernya. AI Jupyter juga dapat menjawab pertanyaan tentang file lokal dan menghasilkan seluruh buku catatan dari prompt bahasa alami yang sederhana. Jupyter AI menawarkan perintah ajaib yang berfungsi di notebook atau shell IPython apa pun, dan UI obrolan yang ramah di JupyterLab. Kedua pengalaman ini bekerja dengan lusinan model dari berbagai penyedia model. Pengguna JupyterLab dapat memilih teks atau sel buku catatan apa pun, memasukkan perintah bahasa alami untuk melakukan tugas dengan pilihan tersebut, lalu menyisipkan respons yang dihasilkan AI di mana pun mereka mau. AI Jupyter terintegrasi dengan sistem tipe MIME Jupyter, yang memungkinkan Anda bekerja dengan input dan output jenis apa pun yang didukung Jupyter (teks, gambar, dll.). Jupyter AI juga menyediakan titik integrasi yang memungkinkan pihak ketiga mengonfigurasi model mereka sendiri. Jupyter AI adalah proyek sumber terbuka resmi dari Proyek Jupyter.

Ekstensi Amazon CodeWhisperer Jupyter

Pelengkapan otomatis merupakan dasar bagi pengembang dan AI generatif dapat meningkatkan pengalaman saran kode secara signifikan. Itu sebabnya kami mengumumkan ketersediaan umum Pembisik Kode Amazon awal tahun 2023. CodeWhisperer adalah pendamping pengkodean AI yang menggunakan model dasar untuk meningkatkan produktivitas developer secara radikal. Ini berfungsi dengan menghasilkan saran kode secara real time berdasarkan komentar pengembang dalam bahasa alami dan kode sebelumnya dalam lingkungan pengembangan terintegrasi (IDE) mereka.

Hari ini, kami dengan senang hati mengumumkan bahwa pengguna JupyterLab dapat menginstal dan menggunakan ekstensi CodeWhisperer secara gratis untuk menghasilkan saran kode fungsi lengkap, satu baris, atau real-time untuk notebook Python di JupyterLab dan Studio Amazon SageMaker. Dengan CodeWhisperer, Anda dapat menulis komentar dalam bahasa alami yang menguraikan tugas tertentu dalam bahasa Inggris, seperti "Membuat kerangka data panda menggunakan file CSV". Berdasarkan informasi ini, CodeWhisperer merekomendasikan satu atau beberapa cuplikan kode langsung di notebook yang dapat menyelesaikan tugas. Anda dapat dengan cepat dan mudah menerima saran teratas, melihat lebih banyak saran, atau terus menulis kode Anda sendiri.

Selama pratinjaunya, CodeWhisperer membuktikan bahwa ia luar biasa dalam menghasilkan kode untuk mempercepat tugas pengkodean, membantu pengembang menyelesaikan tugas rata-rata 57% lebih cepat. Selain itu, pengembang yang menggunakan CodeWhisperer 27% lebih mungkin menyelesaikan tugas pengkodean dengan sukses daripada mereka yang tidak. Ini adalah lompatan besar dalam produktivitas pengembang. CodeWhisperer juga menyertakan pelacak referensi bawaan yang mendeteksi apakah saran kode mungkin menyerupai data pelatihan sumber terbuka dan dapat menandai saran tersebut.

Memperkenalkan ekstensi Jupyter baru untuk membuat, melatih, dan menerapkan ML dalam skala besar

Misi kami di AWS adalah untuk mendemokratisasi akses ke ML di seluruh industri. Untuk mencapai tujuan tersebut, mulai tahun 2017, kami meluncurkan Contoh notebook Amazon SageMaker—instans komputasi terkelola penuh yang menjalankan Jupyter yang menyertakan semua paket ilmu data dan ML populer. Pada tahun 2019, kami membuat lompatan maju yang signifikan dengan peluncuran SageMaker Studio, sebuah IDE untuk ML yang dibangun di atas JupyterLab yang memungkinkan Anda membuat, melatih, menyetel, men-debug, menerapkan, dan memantau model dari satu aplikasi. Puluhan ribu pelanggan menggunakan Studio untuk memberdayakan tim ilmu data dari berbagai ukuran. Pada tahun 2021, kami semakin memperluas manfaat SageMaker ke komunitas jutaan pengguna Jupyter dengan meluncurkan Lab Studio Amazon SageMaker—Layanan notebook gratis, sekali lagi berdasarkan JupyterLab, yang mencakup komputasi gratis dan penyimpanan persisten.

Hari ini, kami dengan senang hati mengumumkan tiga kemampuan baru untuk membantu Anda menskalakan pengembangan ML dengan lebih cepat.

Penjadwalan notebook

Pada tahun 2022, kami merilis kemampuan baru untuk memungkinkan pelanggan kami menjalankan notebook sebagai tugas terjadwal di SageMaker Studio dan Studio Lab. Berkat kemampuan ini, banyak pelanggan kami telah menghemat waktu dengan tidak perlu menyiapkan infrastruktur cloud yang rumit secara manual untuk menskalakan alur kerja ML mereka.

Kami sangat senang mengumumkan bahwa alat penjadwalan buku catatan sekarang ekstensi Jupyter sumber terbuka yang memungkinkan pengguna JupyterLab untuk menjalankan dan menjadwalkan notebook di SageMaker di mana pun JupyterLab berjalan. Pengguna dapat memilih notebook dan mengotomatiskannya sebagai pekerjaan yang berjalan di lingkungan produksi melalui antarmuka pengguna yang sederhana namun kuat. Setelah notebook dipilih, alat mengambil snapshot dari seluruh notebook, mengemas dependensinya dalam wadah, membangun infrastruktur, menjalankan notebook sebagai pekerjaan otomatis sesuai jadwal yang ditetapkan oleh pengguna, dan membatalkan penyediaan infrastruktur setelah pekerjaan selesai. Ini mengurangi waktu yang diperlukan untuk memindahkan notebook ke produksi dari minggu ke jam.

Distribusi sumber terbuka SageMaker

Data scientist dan developer ingin mulai mengembangkan aplikasi ML dengan cepat, dan mungkin rumit untuk menginstal versi yang saling kompatibel dari semua paket yang diperlukan. Untuk menghapus pekerjaan manual dan meningkatkan produktivitas, kami dengan senang hati mengumumkannya distribusi sumber terbuka baru yang mencakup paket paling populer untuk ML, ilmu data, dan visualisasi data. Distribusi ini mencakup kerangka pembelajaran mendalam seperti PyTorch, TensorFlow, dan Keras; paket Python populer seperti NumPy, scikit-learn, dan panda; dan IDE seperti JupyterLab dan Jupyter Notebook. Distribusi diversikan menggunakan SemVer dan akan dirilis secara reguler ke depannya. Wadah tersedia melalui Galeri Publik Amazon ECR, dan kode sumbernya tersedia di GitHub. Ini memberikan transparansi perusahaan ke dalam paket dan proses pembuatan, sehingga memudahkan mereka untuk mereproduksi, menyesuaikan, atau mensertifikasi ulang distribusi. Gambar dasar dilengkapi dengan pip dan Conda/Mamba, sehingga data scientist dapat menginstal paket tambahan dengan cepat untuk memenuhi kebutuhan khusus mereka.

Ekstensi Amazon CodeGuru Jupyter

Guru Kode Amazon Keamanan kini mendukung pemindaian keamanan dan kualitas kode di JupyterLab dan SageMaker Studio. Kemampuan baru ini membantu pengguna notebook dalam mendeteksi kerentanan keamanan seperti kelemahan injeksi, kebocoran data, kriptografi yang lemah, atau enkripsi yang hilang di dalam sel notebook. Anda juga dapat mendeteksi banyak masalah umum yang memengaruhi keterbacaan, reproduktifitas, dan kebenaran notebook komputasi, seperti penyalahgunaan API library ML, run order yang tidak valid, dan nondeterminisme. Saat kerentanan atau masalah kualitas teridentifikasi di notebook, CodeGuru menghasilkan rekomendasi yang memungkinkan Anda untuk memulihkan masalah tersebut berdasarkan praktik terbaik keamanan AWS.

Kesimpulan

Kami sangat senang melihat bagaimana komunitas Jupyter akan menggunakan alat ini untuk mengembangkan skala, meningkatkan produktivitas, dan memanfaatkan AI generatif untuk mengubah industri mereka. Lihat sumber daya berikut untuk mempelajari lebih lanjut tentang Jupyter di AWS dan cara menginstal serta memulai dengan alat baru ini:

---

tentang Penulis

Brian Granger adalah pemimpin proyek Python, salah satu pendiri Proyek Jupyter, dan kontributor aktif untuk sejumlah proyek sumber terbuka lainnya yang berfokus pada ilmu data di Python. Pada tahun 2016, dia ikut membuat paket Altair untuk visualisasi statistik dengan Python. Dia adalah anggota dewan penasehat NumFOCUS Foundation, staf pengajar di Cal Poly Center for Innovation and Entrepreneurship, dan Sr. Principal Technologist di AWS.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
• Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPO®. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/