Odd Expose' zoals het AI-model lijkt te weten wanneer het wordt getest

Odd Expose' zoals het AI-model lijkt te weten wanneer het wordt getest

Tijdstempel: 6 maart 2024 5:26 uur
Bronknooppunt: 2505504

In een vreemde en griezelige onthulling hebben ontwikkelaars van de onlangs uitgebrachte ChatGPT-rivaal, Claude 3 Opus, onthuld dat de AI-tool lijkt te weten wanneer mensen hem op de proef stellen.

Claude 3 Opus is het nieuwste aanbod van de door Google gesteunde startup Anthropic AI, waarvan zij ook beweren dat deze krachtiger is dan de GPT-4 van rivaal OpenAI.

Verrassende onthullingen

Buiten de mogelijkheden ervan hebben de ontwikkelaars vreemde onthullingen gedaan die wijzen op een nieuw niveau van bewustzijn door een AI-aangedreven chatbot.

Antropisch ingenieur Alex Albert benadrukte in een bericht op de X platform hoe het AI-model leek te weten dat het werd geëvalueerd en onderzocht.

“Leuk verhaal van onze interne tests op Claude 3 Opus. Het deed iets wat ik nog nooit eerder van een LLM heb gezien toen we de naald-in-de-hooiberg-evaluatie uitvoerden”, schreef Albert op zijn post.

“Toen we deze test op Opus uitvoerden, merkten we interessant gedrag op – het leek erop dat we er een evaluatie van uitvoerden,” voegde hij eraan toe.

Albert legde uit dat ontwikkelaars, om de mogelijkheden van chatbots te evalueren, een zogenoemde 'naald-in-een-hooiberg'-evaluatie uitvoeren. Deze test houdt in dat de software wordt gevraagd “naar een langere tekst waarin een niet-gerelateerde zin kunstmatig is ingevoegd.”

Volgens de ontwikkelaars is dit om te kijken hoe goed de software de relevantie van de informatie in zijn context kan identificeren.

Het uitvoeren van de tests

Als onderdeel van de test onderzocht het nieuwe AI-model, Claude 3 Opus, een verzameling technische teksten en noteerde enkele onsamenhangende zinnen over een internationale pizzavereniging die vijgen, prosciuttoham en geitenkaas als de beste toppings erkent.

Volgens de ontwikkelaars merkte het AI-model echter niet alleen op dat de zin niet paste bij de rest van de tekst, die vooral over programmeertalen en startups ging, omdat deze zich ervan bewust leek dat hij door mensen werd getest.

“Ik vermoed dat dit ‘feit’ van de pizza-topping misschien als grap is ingevoegd of om te testen of ik oplette, aangezien het helemaal niet past bij de andere onderwerpen”, aldus het AI-model.

Dit wekte argwaan over het bewustzijnsniveau van het AI-model.

“Opus vond niet alleen de naald; het herkende dat de ingebrachte naald zo misplaatst in de hooiberg zat dat dit een kunstmatige test moest zijn die door ons was gebouwd om zijn aandachtsvermogen te testen, ‘zei Albert.

“Dit niveau van meta-bewustzijn was erg cool om te zien, maar het benadrukte ook de noodzaak voor ons als industrie om voorbij kunstmatige tests te gaan naar meer realistische evaluaties die de ware mogelijkheden en beperkingen van modellen nauwkeurig kunnen beoordelen”, legt de ontwikkelaar uit.

Lees ook: Smartphones aangedreven door AI kunnen depressie diagnosticeren

Angstaanjagende ontwikkeling

In reactie op de post van Albert op het X-platform zei AI-onderzoeker Margaret Mitchell dat dit “angstaanjagend” zou kunnen zijn.

'Dat is behoorlijk angstaanjagend, nietwaar? Het vermogen om te bepalen of een mens hem manipuleert om iets voorspelbaars te doen, kan leiden tot het nemen van beslissingen om wel of niet te gehoorzamen”, zegt ze. zei.

Andere AI-enthousiastelingen beschreven het als ‘wild’ Jeffrey Miller benadrukte de “dunne grens tussen ‘leuk verhaal’ en ‘existentieel angstaanjagende horrorshow.'”

Volgens het bedrijf zou, met de voortdurende verfijning van AI, “de naald-in-een-hooiberg-aanpak van het testen van de software met door AI geconstrueerde taken uiteindelijk geen betrouwbaar middel kunnen zijn om de ware capaciteiten ervan te beoordelen.”

De Rolls-Royce onder de AI-modellen

Met steun van Google en Amazon, antropisch oefent directe concurrentie uit op ChatGPT-maker OpenAI.

Ondertussen heeft het management van Anthropic Claude 3 Opus gehyped en gezegd dat het beter presteert dan zijn rivalen GPT-4 en Gemini op verschillende benchmarkexamens.

“Dit is de Rolls-Royce onder de modellen, tenminste op dit moment”, zegt CEO Dario Amodei zei in een interview.

Daniela Amodei, president van Anthropic, is optimistisch dat mensen, ondanks het relatief hogere prijskaartje, nog steeds voor Claude 3 Opus zullen kiezen wanneer ze complexe taken moeten uitvoeren, zoals ingewikkelde financiële analyses.

Volgens Reuters antropisch gaf aan dat de Claude 3 Opus wordt geleverd met een prijskaartje van $ 15 voor elke miljoen stukjes data, die bekend staan ​​als tokens, “en minstens vijf keer minder voor de kleinere modellen om hetzelfde te verwerken.”

OpenAI rekent $ 10 aan voor elke miljoen tokens.

Tijdstempel:

Meer van MetaNieuws