Google väittää, että Muse AI on parempi kuin DALL-E 2

Julkaissut Platon

seuraajia: 0

Google Muse AI on viimeisin lisäys teknologiajättiläistä viime aikoina nähtyihin tekoälytyökaluihin. Uusi tekstistä kuvaksi muuntajamalli väittää olevansa kilpailevia menetelmiä nopeampi, koska se käyttää rinnakkaisdekoodausta ja kompaktia, diskreettiä piilevää tilaa. Kehittäjiensä mukaan Google Muse AI voi tuottaa kuvia huippuluokan kuvantuotantokyvyllä.

Esitämme Muusa, tekstistä kuvaksi muuntajamalli, joka saavuttaa huippuluokan kuvan luomissuorituskyvyn ja on samalla huomattavasti tehokkaampi kuin diffuusio- tai autoregressiiviset mallit.

Google Muse AI -tiimi

Mikä on Google Muse AI?

Google Muse AI on väitetysti parannettu versio aikaisemmista tekstistä kuvaksi muuntajamalleista, kuten Imagen ja DALL-E 2. Muse on koulutettu maskimallinnustehtävään erillisessä merkkitilassa käyttämällä valmiiksi koulutetusta suuresta kielimallista hankittua tekstin upotusta. (LLM).

Muse on koulutettu tunnistamaan kuvakkeet, jotka on mielivaltaisesti peitetty. Muse väittää ylittävänsä pikseliavaruuden diffuusiomallit, kuten Imagen ja DALL-E 2, koska se käyttää erillisiä tunnisteita ja pienempiä otoskokovaatimuksia. Iteratiivisesti näyttelemällä kuvatunnisteita tekstikehotteen perusteella, malli tuottaa ilmaisen nollakuvan, maskittoman editoinnin.

Muihin malleihin verrattuna Musella on nopeammat päättelyajat MUSE.

Malli	päätöslauselma	Päätelmäaika (↓)
Vakaa diffuusio 1.4	512 × 512	3.7s
Osa 3B	256 × 256	6.4s
Kuva	256 × 256	9.1s
Kuva	1024 × 1024	13.3s
Muse-3B	256 × 256	0.5s
Muse-3B	512 × 512	1.3s

Muse käyttää rinnakkaisdekoodausta, joka puuttuu Partista ja muista autoregressiivisistä malleista. Jo koulutetulla LLM:llä on mahdollista tarttua kieleen rakeisella tasolla, mikä puolestaan tarkoittaa korkealaatuisten kuvien tuottamista ja visuaalisten käsitteiden, kuten esineiden, niiden tilasuhteiden, asenteen, kardinaalisuuden ja niin edelleen tunnistamista. Lisäksi Muse mahdollistaa maalaamisen, ulkomaalauksen ja naamiottoman editoinnin ilman, että mallia tarvitsee kääntää.

Google Muse AI -ominaisuudet

Muse on nopea, huippuluokan tekstin kuvaksi luonti- ja muokkausmalli, jolla on niin paljon tarjottavaa:

Tekstistä kuvaksi luominen
- Google Muse AI tuottaa nopeasti korkealaatuisia kuvia vasteena tekstisyötteisiin (1.3 s 512 × 512 -resoluutiolla tai 0.5 s 256 × 256 -resoluutiolla TPUv4:ssä).

Nollakuva, maskiton editointi
- Tekstikehotteeseen perustuvan kuvatunnisteiden iteratiivisen uudelleennäytteenoton ansiosta Google Muse AI -malli tarjoaa meille ilmaisen nollakuvan, maskittoman editoinnin.

Kun muutat kuvaa, maskiton muokkaus mahdollistaa useiden objektien käsittelyn yksinkertaisella tekstikehotteella.

Zero-shot Inmaalaus/Outmaalaus
- Maskipohjainen muokkaus (inpainting/outpainting) sisältyy ilmaiseksi Google Muse AI:hen. Maskia käytettäessä muokkaus on sama kuin sukupolvi.

Google Muse AI -mallin tiedot

Alta löydät Google Muse AI:n koulutusputken:

Google-tiimi käyttää kahta erillistä VQGAN-tokenizer-verkkoa, toista huonolaatuisille kuville ja toista korkearesoluutioisille kuville. Maskamattomia tunnuksia ja T5-tekstin upotuksia käytetään opettamaan matalaresoluutioisia ("perus") ja korkearesoluutioisia ("superres") muuntajia ennustamaan peitettyjä merkkejä.

Saat lisätietoja Google Muse AI:stä napsauttamalla tätä.

Mietitkö, millainen huoneesi tulee olemaan kyberpunk-tyyliin? Yrittää Sisätilojen tekoäly