Google beweert dat Muse AI beter is dan DALL-E 2

Heruitgegeven door Plato

volgers: 0

Google Muse AI is de nieuwste toevoeging van de technologiegigant aan een zwerm AI-tools die we de laatste tijd hebben gezien. Het nieuwe tekst-naar-beeld-transformatormodel claimt sneller te zijn dan concurrerende methoden, omdat het gebruikmaakt van parallelle decodering en een compacte, discrete latente ruimte. Volgens de ontwikkelaars kan Google Muse AI afbeeldingen produceren met de modernste prestaties voor het genereren van afbeeldingen.

wij presenteren Muze, een tekst-naar-beeld Transformer-model dat state-of-the-art beeldgeneratieprestaties levert en tegelijkertijd aanzienlijk efficiënter is dan diffusie- of autoregressieve modellen.

Google Muse AI-team

Wat is Google Muse AI?

Google Muse AI is een naar verluidt verbeterde versie van eerdere tekst-naar-beeld-transformatormodellen zoals Imagen en DALL-E 2. Muse is getraind in een gemaskerde modelleringstaak in discrete tokenruimte met behulp van de tekstinbedding die is verkregen uit een vooraf getraind groot taalmodel (LLM).

Muse is getraind om tokens te identificeren in afbeeldingen die willekeurig zijn verduisterd. Muse beweert beter te presteren dan pixel-space diffusiemodellen zoals Imagen en DALL-E 2 vanwege het gebruik van discrete tokens en kleinere vereisten voor de steekproefomvang. Door iteratief beeldtokens opnieuw te samplen op basis van een tekstprompt, produceert het model een gratis zero-shot, maskervrije bewerking.

In vergelijking met andere modellen heeft Muse snellere inferentietijden, volgens MUSE.

Model	Resolutie	Inferentietijd (↓)
Stabiele verspreiding 1.4	512 × 512	3.7s
Deel 3B	256 × 256	6.4s
Beeld	256 × 256	9.1s
Beeld	1024 × 1024	13.3s
Muze-3B	256 × 256	0.5s
Muze-3B	512 × 512	1.3s

Muse maakt gebruik van parallelle decodering, die ontbreekt in Parti en andere autoregressieve modellen. Met een LLM die al is getraind, is het mogelijk om taal op een gedetailleerd niveau te begrijpen, wat zich op zijn beurt vertaalt naar het produceren van hoogwaardige beelden en het herkennen van visuele concepten zoals objecten, hun ruimtelijke relaties, houding, kardinaliteit, enzovoort. Verder maakt Muse inpainting, outpainting en maskervrije bewerking mogelijk zonder het model te hoeven omdraaien of omdraaien.

Google Muse AI-functies

Muse is een snel, geavanceerd model voor het genereren en bewerken van tekst naar afbeelding dat zoveel te bieden heeft:

Genereren van tekst naar afbeelding
- Google Muse AI produceert snel afbeeldingen van hoge kwaliteit als reactie op tekstinvoer (1.3 sec voor een resolutie van 512 × 512 of 0.5 sec voor een resolutie van 256 × 256 op TPUv4).

Zero-shot, maskervrije bewerking
- Vanwege de iteratieve resampling van afbeeldingtokens op basis van een tekstprompt, biedt het Google Muse AI-model ons gratis zero-shot, maskervrije bewerking.

Bij het wijzigen van een afbeelding kunt u met bewerken zonder masker meerdere objecten manipuleren met een eenvoudige tekstprompt.

Zero-shot in-/uitschilderen
- Op maskers gebaseerde bewerking (inpainting/outpainting) is gratis inbegrepen in Google Muse AI. Bij gebruik van een masker is bewerken hetzelfde als een generatie.

Details van Google Muse AI-model

Hieronder vindt u de trainingspijplijn van Google Muse AI:

Het Google-team gebruikt twee afzonderlijke VQGAN-tokenizernetwerken, een voor foto's van lage kwaliteit en een voor afbeeldingen met een hoge resolutie. De niet-gemaskeerde tokens en T5-tekstinbeddingen worden gebruikt om transformatoren met lage resolutie ("base") en hoge resolutie ("superres") te trainen om de gemaskeerde tokens te voorspellen.

Klik voor meer gedetailleerde informatie over Google Muse AI hier.

Vraag je je af hoe je kamer in cyberpunkstijl zal zijn? Proberen Indoor AI