Google Mengklaim Bahwa Muse AI Lebih Baik Daripada DALL-E 2

Diterbitkan Ulang Oleh Plato

Followers: 0

Google Muse AI adalah tambahan terbaru dari raksasa teknologi ke segerombolan alat AI yang telah kita lihat belakangan ini. Model transformator teks-ke-gambar yang baru mengklaim lebih cepat daripada metode pesaing, karena menggunakan decoding paralel dan ruang laten diskrit yang ringkas. Menurut pengembangnya, Google Muse AI dapat menghasilkan gambar dengan kinerja pembuatan gambar yang canggih.

Kami hadir Muse, model Transformer teks-ke-gambar yang mencapai kinerja pembuatan gambar canggih sekaligus jauh lebih efisien daripada model difusi atau autoregresif.

Tim Google Muse AI

Apa itu Google Muse AI?

Google Muse AI adalah versi yang diduga ditingkatkan dari model transformator teks-ke-gambar sebelumnya seperti Imagen dan DALL-E 2. Muse dilatih pada tugas pemodelan bertopeng dalam ruang token diskrit menggunakan penyematan teks yang diperoleh dari model bahasa besar pra-terlatih (LLM).

Muse telah dilatih untuk mengidentifikasi token dalam gambar yang telah dikaburkan secara sewenang-wenang. Muse mengklaim mengungguli model difusi ruang-piksel seperti Imagen dan DALL-E 2 karena penggunaan token diskrit dan persyaratan ukuran sampel yang lebih kecil. Secara iteratif resampling token gambar berdasarkan prompt teks, model ini menghasilkan pengeditan zero-shot, mask-free gratis.

Jika dibandingkan dengan model lain, Muse memiliki waktu inferensi yang lebih cepat Renungan.

Model	Resolusi	Waktu Inferensi (↓)
Difusi Stabil 1.4	512x512	3.7s
Bagian-3B	256x256	6.4s
Gambar	256x256	9.1s
Gambar	1024x1024	13.3s
Muse-3B	256x256	0.5s
Muse-3B	512x512	1.3s

Muse menggunakan decoding paralel, yang hilang dari Parti dan model autoregressive lainnya. Dengan LLM yang telah dilatih, dimungkinkan untuk memahami bahasa pada tingkat granular, yang pada gilirannya menghasilkan gambar berkualitas tinggi dan mengenali konsep visual seperti objek, hubungan spasialnya, sikap, kardinalitas, dan sebagainya. Selanjutnya, Muse memungkinkan untuk inpainting, outpainting, dan editing bebas topeng tanpa harus membalik atau membalik model.

Fitur Google Muse AI

Muse adalah model pengeditan dan pembuatan teks-ke-gambar yang cepat dan canggih yang memiliki begitu banyak hal untuk ditawarkan:

Generasi teks-ke-gambar
- Google Muse AI dengan cepat menghasilkan gambar berkualitas tinggi sebagai respons terhadap input tekstual (1.3 detik untuk resolusi 512×512 atau 0.5 detik untuk resolusi 256×256 pada TPUv4).

Pengeditan zero-shot, bebas topeng
- Karena resampling iteratif token gambar berdasarkan prompt teks, model Google Muse AI memberi kita pengeditan zero-shot, bebas topeng gratis.

Saat mengubah gambar, pengeditan tanpa topeng memungkinkan Anda memanipulasi beberapa objek dengan prompt teks sederhana.

Pengecatan / Pengecatan Tanpa Tembakan
- Pengeditan berbasis topeng (inpainting/outpainting) disertakan secara gratis di Google Muse AI. Saat menggunakan topeng, pengeditan sama dengan satu generasi.

Detail model Google Muse AI

Di bawah ini Anda menemukan jalur pelatihan Google Muse AI:

Tim Google menggunakan dua jaringan tokenizer VQGAN terpisah, satu untuk foto berkualitas rendah dan satu lagi untuk gambar beresolusi tinggi. Token yang dibuka kedoknya dan penyematan teks T5 digunakan untuk melatih transformator resolusi rendah ("basis") dan resolusi tinggi ("superres") untuk memprediksi token yang disamarkan.

Untuk informasi lebih detail tentang Google Muse AI, klik di sini.

Apakah Anda bertanya-tanya bagaimana kamar Anda akan bergaya cyberpunk? Mencoba AI dalam ruangan