Prompt Engineering: An Integrated Dream

Genudgivet af Platon

Abonnenter: 0

Prompt Engineering: En integreret drøm
Billede skabt af mig med Microsoft Image Creator

Siden OpenAI udgav ChatGPT til offentligheden, er der opstået en byge af diskussioner online om et nyt drømmejob: Prompt Engineering. Det udråbes som "AI's hotteste job,” lover sekscifrede lønninger uden behov for programmeringserfaring. Entusiaster beskriver det som en fremtidens jobHvor alle kan tjene op til $ 335K ved at få en sej robot, der kender det hele, til at give de rigtige svar. Ingen overraskelse, Instagram penge at tjene vismænd, YouTube-karriere prædikanter, og selverklærede orakler fra TikTok har været meget højlydte om det. Selvom dette lyder som et drømmejob, er det virkelig muligt? Lad os dykke ned i virkeligheden på arbejdsmarkedet bag hypen for at finde ud af det.

Analyse af jobannoncedata giver værdifuld indsigt i tendenser i efterspørgsel efter arbejdskraft, ansvar, kvalifikationer og lønforventninger. Derfor besluttede jeg at tage et kig på annoncedataene for den såkaldte "AI's hotteste job” uden spekulationer eller formodninger. Jeg indsamlede 73 for nylig udsendte unikke jobannoncedata fra populære online jobopslagsplatforme. Læs om min dataindsamlingsmetode og få adgang til datasættet link.. Selvom 73 måske ikke er en ideel stikprøvestørrelse, er det et omfattende udgangspunkt for vores analyse. Den første afsløring er nøgtern: Der er mangel på arbejdsgivere, der søger "hurtige ingeniører."

Lad os nu tage et kig på dataene. Den hyppigst nævnte jobtitel er "hurtig ingeniør." Andre titler som "IT Innovation Analyst", "Freelance ML/AI Engineer", "Data Scientist" og "AI Engineer" dukker dog også op. Jeg lavede ordskyer for kvalifikationer og ansvarsområder nævnt i stillingsbeskrivelserne. Jeg tror ikke, at ordskyer er beregnet til at afsløre ekstraordinære indsigter, men de kan repræsentere en kompakt version af de vigtige højdepunkter i teksten. Som du kan se, taler arbejdsgivere i jobannoncerne om erfaring inden for datalogi, modeludvikling, python, prompt design, maskinlæring, store sprogmodeller, naturlig sprogbehandling og kunstig intelligens mere end andre ting.

Prompt Engineering: En integreret drøm
1. Dette er en betydeligt større stikprøvestørrelse, hvis du sammenligner den med mange af de anekdotiske tidlige artikler, der konstruerede hele deres argument om en sekscifret løn uden kodning fra kun én jobannonce.

Dernæst brugte jeg ChatGPT og Claude til at opsummere det indsamlede annoncetekstkorpus for at identificere de bedste tekniske kvalifikationer og kvalifikationer. Jeg foretog flere runder af prompt med forskellige tilgange efterfulgt af manuelt at kontrollere dataene for at sikre, at jeg fik stabilt og gyldigt output.

Væsentlige kvalifikationer, der kræves til Prompt Engineer job:

Kendskab til Python-programmering (2-5 års erfaring) herunder erfaring med AI/machine learning frameworks som TensorFlow, PyTorch, Keras.
Arbejdskendskab til NLP og LLM'er (2-5 års erfaring) som BERT, GPT-3/4, T5 osv. Viden om hvordan disse modeller fungerer og hvordan man finjusterer dem.
Stærke analytiske og problemløsende færdigheder. Evnen til at tænke kritisk, designe effektive prompter, analysere modellens ydeevne og fejlfinde problemer er afgørende.
Ekspertise i hurtige tekniske principper og teknikker som tankekæde, læring i kontekst, tanketræ osv. Dette gør det muligt at guide modellerne til ønskede resultater.
Gode kommunikationsevner, både mundtligt og skriftligt. Dette er nødvendigt for at samarbejde på tværs af teams, forklare tekniske begreber og dokumentere arbejde.

Og de væsentlige ansvarsområder for de hurtige ingeniørjobs er:

Hurtig design og optimering: Design, udvikling, test og forfining af AI-genererede tekstprompter for at maksimere effektiviteten til forskellige applikationer. Dette inkluderer brug af teknikker som overførsel af læring og udnyttelse af sproglig ekspertise til at lave højkvalitets og forskelligartede prompter.
Integration og implementering: Sikring af problemfri integration af optimerede prompter i det overordnede produkt eller system. Samarbejde med ingeniører for at implementere prompter og modeller i produktionsmiljøer.
Præstationsevaluering og forbedring: Rigorøst evaluering af hurtig ydeevne ved hjælp af metrics og brugerfeedback. Udførelse af løbende test og analyse for at identificere områder for optimering og hurtig iteration.
Samarbejde og kravindsamling: Arbejder tæt med tværfunktionelle teams som datavidenskabsfolk, indholdsskabere og produktchefer for at forstå kravene og sikre, at prompter stemmer overens med forretningsmål og brugerbehov.
Videndeling: Dokumentation af hurtige tekniske processer og resultater. Undervisning af teams om hurtige bedste praksisser. Holder sig opdateret om de seneste AI-fremskridt for at bringe innovative

Det er rimeligt at sige, at "ingen programmeringserfaring" forudsætningen for det såkaldte "AI's hotteste job" er langt fra virkeligheden, da de mest efterspurgte færdigheder på det hurtige ingeniørmarked er programmeringsfærdigheder og NLP og LLMs erfaring. Og de taler ikke om micky mouse programmeringsevner, de leder efter eksperter, der er fortrolige med ML og AI frameworks. Arbejdsgiverne kræver ikke bare "kendskab" til LLM'er og kodning, men de søger i gennemsnit eksperter med 2-5 års erfaring med at arbejde med strukturerede og ustrukturerede data, kodning, NLP, ML og AI.

At læse de øverste ansvarsområder gør det mere klart, hvorfor denne jobtitel kræver et så højt niveau af programmering og LLMs færdigheder. Hurtig ingeniørarbejde, som et professionelt job, er ikke at sidde bag en computer og lege med Generative AI-modeller for at give dig det rigtige svar. Det handler om at bygge forretningsinformationssystemer, der optimerer input, integrerer dem problemfrit med andre informationssystemer og produkter og leverer værdier til brugere og kunder. Med andre ord leder virksomheder ikke efter nogen, der kan chatte med ChatGPT, de vil ansætte eksperter, der kan optimere GPT-lignende modeller og integrere dem med deres egne produkter.

Jobannoncedataanalyse af gradskrav indikerer en præference for teknisk uddannelsesbaggrund inden for datalogi, matematik, analyse, teknik, fysik eller lingvistik. En bachelorgrad i datalogi eller et beslægtet område er almindeligvis påkrævet, med mere avancerede grader foretrukket eller påkrævet til seniorroller. Lønningerne er meget forskellige afhængigt af ansvar og anciennitet. Det kan være så lavt som 30 og så højt som en halv million dollars om året. I gennemsnit betaler jobannoncerne med lønoplysninger mellem 90 og 195 om året.

På trods af den indledende begejstring er der dukket tvivl om levedygtigheden af hurtig ingeniørarbejde som et drømmejob. Som Ethan Mollick, professor ved Wharton School, skrev i en twitter indlæg sidste år "prompt ingeniør er ikke et fremtidigt job", fordi "AI bliver nemmere" og smartere til at fortolke grundlæggende prompter. For en måned siden offentliggjorde Coursera en velovervejet tanke karriere guide for hurtig konstruktion (se også denne). Det ser ud til at være den første Gen AI fad forsvinder langsomt, og vi er i en bedre position til at forstå AI's nuværende status og fremtidige tendenser. Misforstå mig ikke. Kvaliteten af Gen AI-output afhænger stærkt af inputs. At lære at bruge og interagere med disse komplekse modeller er ved at blive en vigtig færdighed for næsten alle. Der er et stigende antal videnskabelige undersøgelser, der tyder på, at en systematisk tilgang til prompting kan forbedre resultatet af disse modeller væsentligt (se 1, 2, 3, 4, 5, 6, 7). Men "prompt engineering" er ikke (og det var aldrig) et drømmejob, som nogle mennesker ønskede, at det skulle være. Uden betydelig erfaring med programmering, naturlig sprogbehandling, maskinlæring, produktudvikling og softwareintegration er der ingen, der kommer til at betale dig en sekscifret løn for blot at tale glat ChatGPT til et rigtigt svar.

Nutiden og fremtiden for prompt engineering og Gen AI-applikationer ser ud til at være påvirket af to vigtige tendenser: For det første, som Ethan Mollick nævnte, bliver Gen AI-modeller dygtigere til at generere gode resultater fra usofistikeret simple prompt, måske svarende til hvordan internettet søgemaskiner er blevet bedre til at returnere mere relevante resultater fra simple søgeforespørgsler. For det andet bliver Gen AI-modeller i stigende grad integreret i virksomhedens produkter, tjenester og platforme. Denne tilpasning er afgørende for AI-økonomiens succes. At vide, hvordan man optimerer, finjusterer, tilpasser og integrerer Gen AI-modeller med de nuværende informationssystemer og produkter er og vil forblive et værdifuldt færdighedssæt. Derfor er der i de nuværende hurtige jobannoncer en enorm efterspørgsel efter programmører, systemdesignere og dem, der kan samarbejde med andre produktudviklingsteammedlemmer.

Mahdi Ahmadi er en klinisk assisterende professor ved Information Technology & Decision Sciences afdelingen ved University of North Texas, hvor jeg underviser i data mining, business intelligence og dataanalyse. Mit primære forskningsområde er anvendelsen af maskinlæring og data mining-teknikker i virksomheder. Jeg yder også rådgivning til virksomheder, højere uddannelsesinstitutioner og non-profit organisationer om deres dataanalyseproblemer.