3 tutkimuslähtöistä kehittynyttä kehotustekniikkaa LLM:n tehokkuuden ja nopeuden optimointiin – KDnuggets

Kuva Freepik

Suurilla kielimalleilla (LLM), kuten OpenAI:n GPT:llä ja Mistralin Mixtralilla, on yhä tärkeämpi rooli tekoälypohjaisten sovellusten kehittämisessä. Näiden mallien kyky tuottaa ihmisen kaltaisia ​​tuloksia tekee niistä täydellisiä avustajia sisällön luomiseen, koodin virheenkorjaukseen ja muihin aikaa vieviin tehtäviin.

Kuitenkin yksi yleinen haaste, jota kohtaa työskennellessäsi LLM:ien kanssa, on mahdollisuus kohdata tosiasiallisesti virheellistä tietoa, joka tunnetaan yleisesti nimellä hallusinaatiot. Syy näihin tapahtumiin ei ole kaukaa haettu. LLM:t on koulutettu antamaan tyydyttäviä vastauksia kehotteisiin; tapauksissa, joissa he eivät voi tarjota sellaista, he loihtivat sellaisen. Hallusinaatioihin voi vaikuttaa myös näiden mallien koulutuksessa käytettyjen syötteiden ja harhojen tyyppi.

Tässä artikkelissa tutkimme kolmea tutkimuksella tuettua kehittynyttä kehotustekniikkaa, jotka ovat osoittautuneet lupaaviksi lähestymistavoiksi hallusinaatioiden esiintymisen vähentämiseksi samalla kun ne parantavat LLM:ien tuottamien tulosten tehokkuutta ja nopeutta.

Näiden kehittyneiden tekniikoiden tuomien parannusten ymmärtämiseksi on tärkeää, että puhumme nopean kirjoittamisen perusteista. Tekoälyn (ja tässä artikkelissa LLM:t) yhteydessä olevat kehotteet viittaavat merkkien, sanojen, tunnuksien tai ohjeiden joukkoon, jotka ohjaavat tekoälymallia ihmisen käyttäjän tarkoituksen suhteen.

Prompt-suunnittelu viittaa taitoon luoda kehotteita, joiden tavoitteena on ohjata paremmin kyseisen LLM:n käyttäytymistä ja tuloksena olevaa tulosta. Käyttämällä erilaisia ​​tekniikoita ihmisten tarkoituksen ilmaisemiseksi paremmin, kehittäjät voivat parantaa mallien tuloksia tarkkuuden, osuvuuden ja johdonmukaisuuden suhteen.

Tässä on joitain tärkeitä vinkkejä, joita sinun tulee noudattaa kehotteen laatimisessa:

• Ole ytimekäs
• Anna rakenne määrittämällä haluttu tulostusmuoto
• Anna viitteitä tai esimerkkejä, jos mahdollista. 

Kaikki nämä auttavat mallia ymmärtämään paremmin mitä tarvitset ja lisäävät mahdollisuuksia saada tyydyttävä vastaus.

Alla on hyvä esimerkki, joka kysyy tekoälymallia kehotteen avulla käyttämällä kaikkia yllä mainittuja vinkkejä:

Prompt = "Olet AI-kehotteen asiantuntija. Luo 2 lauseen yhteenveto kehotteiden luomisen viimeisimmistä edistysaskeleista keskittyen hallusinaatioiden haasteisiin ja mahdollisuuksiin käyttää kehittyneitä kehotustekniikoita näiden haasteiden ratkaisemiseksi. Tulosteen tulee olla markdown-muodossa."

 

Näiden edellä käsiteltyjen olennaisten vinkkien noudattaminen ei kuitenkaan aina takaa optimaalista tulosta, etenkään monimutkaisissa tehtävissä.

Johtavat tutkijat merkittävistä tekoälyinstituutioista, kuten Microsoft ja Google, ovat käyttäneet paljon resursseja LLM-optimointiin eli aktiivisesti tutkineet hallusinaatioiden yleisiä syitä ja löytäneet tehokkaita tapoja puuttua niihin. Seuraavien kehotustekniikoiden on havaittu antavan parempia ja kontekstitietoisia ohjeita tutkituille LLM:ille, mikä lisää mahdollisuuksia saada parempia osuvia tuloksia ja vähentää myös todennäköisyyttä saada epätarkkoja tai järjettömiä tietoja.

Tässä on esimerkkejä tutkimuslähtöisistä kehittyneistä kehotustekniikoista:

1. Emotionaalinen suostuttelu

A Microsoftin tutkijoiden 2023 tutkimus havaitsi, että emotionaalisen kielen ja vakuuttavien kehotteiden ("EmotionPrompts") käyttö voi parantaa LLM:n suorituskykyä yli 10 %. 

Tämä tyyli lisää henkilökohtaista, emotionaalista elementtiä annettuun kehotteeseen ja muuttaa pyynnön erittäin tärkeäksi, jolla on merkittäviä seurauksia tuloksiin. Se on melkein kuin puhuisi ihmiselle; emotionaalisen näkökulman käyttäminen auttaa viestimään tehtävän tärkeydestä, mikä stimuloi syvempää keskittymistä ja sitoutumista. Tämä strategia voi olla hyödyllinen tehtävissä, jotka vaativat korkeampaa ongelmanratkaisukykyä ja luovuutta.

Katsotaanpa yksinkertaista esimerkkiä, jossa tunnetta käytetään kehotteen tehostamiseen:

Peruskehote: "Kirjoita Python-skripti numeroluettelon järjestämiseksi."

 

 

Kehota Emotionalilla Taivuttelu: "Innostunut Python-taitojeni kehittämisestä, minun on kirjoitettava komentosarja numeroiden lajitteluun. Tämä on ratkaiseva askel urallani kehittäjänä."

 

 

Vaikka molemmat kehotemuunnelmat tuottivat samanlaisia ​​koodituloksia, "EmotionPrompts" -tekniikka auttoi luomaan puhtaamman koodin ja tarjosi lisäselityksiä osana luotua tulosta.

 

 

Toinen mielenkiintoinen kokeilu Finxter havaitsi, että rahallisten vihjeiden antaminen LLM:ille voi myös parantaa heidän suorituskykyään – melkein kuin vetoaisi ihmisen taloudelliseen kannustimeen.

2. Ajatusketjun kehotus

Toinen kehotustekniikka, jonka tehokkuudestaan ​​löysi a Pittsburghin yliopiston tutkijoiden ryhmä on Chain-of-thought -tyyli. Tämä tekniikka käyttää vaiheittaista lähestymistapaa, joka ohjaa mallin halutun tulosrakenteen läpi. Tämä looginen lähestymistapa auttaa mallia luomaan osuvamman ja jäsennellymmän vastauksen monimutkaiseen tehtävään tai kysymykseen.

Tässä on esimerkki ajatusketjun tyylikehotteen luomisesta annetun mallin perusteella (käyttämällä OpenAI:n ChatGPT:tä GPT-4:n kanssa):

Peruskehote: "Luo digitaalinen markkinointisuunnitelma suurten kaupunkien pienyritysten omistajille suunnatulle rahoitussovellukselle."

 

N
 

Ajatusketjun kehote:

”Lähdöi digitaalisen markkinoinnin strategia rahoitussovellukselle pienyritysten omistajille suurissa kaupungeissa. Keskittyä:

1. Valitsemalla digitaalisia alustoja, jotka ovat suosittuja tämän yritysdemografian keskuudessa.
2. Luoda kiinnostavaa sisältöä, kuten webinaareja tai muita asiaankuuluvia työkaluja.
3. Luomme perinteisistä mainoksista ainutlaatuisia kustannustehokkaita taktiikoita.
4. Räätälöidään nämä taktiikat kaupunkien pienyritysten tarpeisiin tavalla, joka lisää asiakkaiden tulosprosentteja.

Nimeä ja tarkenna jokainen suunnitelman osa ainutlaatuisilla, toteutettavissa olevilla vaiheilla."

Ketju nopea tekniikka loi tarkemman ja toimivamman tuloksen pintapuolisesta katseesta.

 

Step-Back-Prompting-tekniikka, jonka esittelee seitsemän Googlesta Deepmind-tutkijat, on suunniteltu simuloimaan päättelyä, kun ollaan tekemisissä LLM:ien kanssa. Tämä on samanlaista kuin opettaa opiskelijalle konseptin taustalla olevat periaatteet ennen monimutkaisen ongelman ratkaisemista.

Tämän tekniikan soveltamiseksi sinun on osoitettava kysymyksen taustalla oleva periaate, ennen kuin pyydät mallia antamaan vastauksen. Tämä varmistaa, että malli saa vankan kontekstin, mikä auttaa sitä antamaan teknisesti oikean ja relevantin vastauksen. 

Tarkastellaan kahta esimerkkiä (käyttäen OpenAI:n ChatGPT:tä GPT-4:n kanssa):

Esimerkki 1:

Peruskehote: "Kuinka rokotteet toimivat?"

 

 

Kehottaa Step-Back-tekniikalla

1. "Millä biologisilla mekanismeilla rokotteet suojaavat sairauksia vastaan?"

    

   
    

2. "Voitko selittää rokotuksen laukaiseman kehon immuunivasteen?"

    

   
    

Vaikka peruskehote antoi tyydyttävän vastauksen, Step-Back-tekniikan käyttäminen antoi syvällisen ja teknisemmän vastauksen. Tämä on erityisen hyödyllistä mahdollisissa teknisissä kysymyksissä. 

 

Kun kehittäjät jatkavat uusien sovellusten rakentamista olemassa oleville tekoälymalleille, tarvitaan yhä enemmän kehittyneitä kehotustekniikoita, jotka voivat parantaa suurten kielimallien kykyä ymmärtää paitsi sanojamme myös niiden takana olevaa tarkoitusta ja tunnetta tarkempien ja kontekstuaalisesti relevanttien luomiseksi. ulostulot.
 
 

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/3-research-driven-advanced-prompting-techniques-for-llm-efficiency-and-speed-optimization?utm_source=rss&utm_medium=rss&utm_campaign=3-research-driven-advanced-prompting-techniques-for-llm-efficiency-and-speed-optimization