Obsežen vodnik o motorjih s priporočili v letu 2022

Ta članek je bil objavljen kot del Blogathon o znanosti o podatkih.

Predstavitev

Svetovni trg za uporabo Recommendation Engine je bil leta 2.69 ocenjen na 2021 milijarde USD. Predvideva se, da bo do leta 15.10 presegel 2026 milijarde USD, poročajoč o CAGR 37.79 % v obdobju 2022–2026.

Priporočila, ki vam jih dajo podjetja, včasih uporabljajo tehnike analize podatkov za prepoznavanje izdelkov, ki ustrezajo vašemu okusu in željam. Glede na hitro rastoče podatke v internetu ni presenetljivo reči, da Netflix ve, kateri film si boste želeli ogledati naslednji, ali najbolj priljubljen članek, ki bi ga želeli prebrati na vašem Twitterju.

Z nedavnim napredkom na področju umetne inteligence in naraščajočo konkurenco med številnimi podjetji je bistvenega pomena iskanje, preslikava in zagotavljanje ustreznega dela podatkov uporabnikom za izboljšanje uporabniške izkušnje in povečanje trenda digitalizacije.

Glede na to bomo v današnjem vodniku razpravljali o motorjih za priporočila, njihovem pomenu, izzivih, s katerimi se soočajo, načelih delovanja, različnih tehnikah, aplikacijah in vrhunskih podjetjih, ki jih uporabljajo, ter nazadnje o tem, kako v Pythonu zgraditi lasten mehanizem za priporočila.

Kazalo

• Kaj so Recommendation Engines?
• Zakaj so motorji za priporočila pomembni pri strojnem učenju?
• Različne tehnike priporočljivih motorjev
• Delovanje priporočenih motorjev
• Izzivi motorjev za priporočila
• Kako zgraditi mehanizem za priporočila
• Aplikacije in najboljša podjetja, ki uporabljajo mehanizme za priporočila
• zaključek

Kaj je mehanizem za priporočila?

Mehanizem za priporočila je sistem za filtriranje podatkov, ki deluje na različnih algoritmih strojnega učenja, da uporabnikom na podlagi analize podatkov priporoča izdelke, storitve in informacije. Deluje na principu iskanja vzorcev v podatkih o vedenju strank z uporabo različnih dejavnikov, kot so preference strank, pretekla zgodovina transakcij, atributi ali situacijski kontekst.

Podatki, ki se uporabljajo za iskanje vpogledov, se lahko zbirajo implicitno ali eksplicitno. Podjetja običajno uporabljajo petabajte podatkov za svoje mehanizme priporočil, da predstavijo svoje poglede s svojimi izkušnjami, vedenjem, preferencami in interesi.

Na tem nenehno razvijajočem se trgu gostote informacij in preobremenjenosti izdelkov vsako podjetje uporablja motorje priporočil za nekoliko drugačne namene. Kljub temu imajo vsi isti cilj, povečati prodajo, povečati sodelovanje in zadrževanje strank ter potrošnikom zagotoviti del osebnega znanja in rešitev.

Zakaj so motorji za priporočila pomembni v ML?

Nobenega dvoma ni, da so motorji priporočil izjemen način za izboljšanje uporabniške izkušnje, spodbujanje povpraševanja, povečanje prihodkov, povečanje razmerja med prikazi in kliki (CTR), aktivno vključevanje uporabnikov in druge ključne meritve. Motorji za priporočila kot zmogljiva orodja za filtriranje podatkov delujejo v realnem času. Lahko so koristni, kadar obstaja potreba po dajanju uporabnikom prilagojenih predlogov in nasvetov.

Vzemimo za primer Netflix.

Na voljo je na tisoče filmov in več kategorij oddaj, ki si jih lahko ogledate. Kljub temu vam Netflix ponuja veliko bolj samozavesten izbor filmskih oglasnih oddaj, v katerih boste najverjetneje uživali. S to strategijo Netflix dosega nižje stopnje odpovedi, prihrani milijardo dolarjev na leto, prihrani vaš čas in zagotavlja boljšo uporabniško izkušnjo.

Zato so mehanizmi za priporočila bistveni in točno koliko podjetij povečuje priložnosti za sodelovanje s svojimi izdelki tako, da ponuja večji dotok priložnosti navzkrižne prodaje.

Različne tehnike motorjev za priporočila

V strojnem učenju so znani trije različni tipi mehanizmov za priporočila, ki so:

1. Sodelovalno filtriranje

Metoda sodelovalnega filtriranja zbira in analizira podatke o vedenju uporabnikov, spletnih dejavnostih in preferencah, da na podlagi podobnosti z drugimi uporabniki napove, kaj jim bo všeč. Za risanje in izračun teh podobnosti uporablja formulo v slogu matrike.

Prednost

Ena od pomembnih prednosti sodelovalnega filtriranja je, da mu ni treba analizirati ali razumeti predmeta (izdelkov, filmov, knjig), da bi natančno priporočil kompleksne predmete. Ni odvisnosti od vsebine stroja, ki jo je mogoče analizirati, kar pomeni, da izbira priporočila na podlagi tega, kar ve o uporabniku.

Primer

Če je uporabniku X všeč knjiga A, knjiga B in knjiga C, uporabniku Y pa knjiga A, knjiga B in knjiga D, imata podobna zanimanja. Torej je ugodno možno, da bi uporabnik X izbral knjigo D, uporabnik Y pa bi užival v branju knjige C. Tako poteka sodelovalno filtriranje.

2. Filtriranje na podlagi vsebine

Vsebinsko filtriranje deluje po principu opisa izdelka in profila uporabnikovih izbir. Predpostavlja, da vam bo všeč tudi ta drugi artikel, če vam je všeč določen artikel. Izdelki so opredeljeni s ključnimi besedami (žanr, vrsta izdelka, barva, dolžina besede) za pripravo priporočil. Uporabniški profil je ustvarjen za opis vrste predmeta, ki ga ta uporabnik uživa. Nato algoritem ovrednoti podobnost postavk z uporabo kosinusnih in evklidskih razdalj.

Prednost

Ena od pomembnih prednosti te tehnike mehanizma za priporočanje je, da ne potrebuje dodatnih podatkov o drugih uporabnikih, saj so priporočila specifična za tega uporabnika. Poleg tega lahko ta model zajame posebne interese uporabnika in predlaga nišne predmete, ki zanimajo zelo malo drugih uporabnikov.

Primer

Recimo, da uporabnik X rad gleda akcijske filme, kot je Spider-man. V tem primeru ta tehnika mehanizma priporočanja priporoča samo filme akcijskega žanra ali filme, ki opisujejo Toma Hollanda.

3. Hibridni model

V hibridnih priporočilnih sistemih se tako meta (sodelovalni) podatki kot transakcijski (vsebinski) podatki uporabljajo hkrati, da uporabnikom predlagajo širši nabor elementov. Pri tej tehniki je mogoče vsakemu predmetu (filmu, pesmi) dodeliti oznake za obdelavo naravnega jezika, vektorske enačbe pa izračunajo podobnost. Sodelovalna filtrirna matrika lahko nato uporabnikom predlaga stvari glede na njihovo vedenje, dejanja in namere.

prednosti

Ta sistem priporočil je v razvoju in naj bi po natančnosti prekašal obe zgornji metodi.

Primer

Netflix uporablja hibridni mehanizem za priporočila. Priporočila daje tako, da analizira interese uporabnikov (sodelovanje) in priporoča takšne oddaje/filme, ki imajo podobne lastnosti kot tiste, ki jih uporabnik visoko ocenjuje (na podlagi vsebine).

Delovanje priporočenih motorjev

Podatki so najpomembnejši element pri izdelavi orodja za priporočila. Je gradnik, iz katerega algoritmi izpeljejo vzorce. Več podrobnosti kot ima, bolj natančno in praktično bo podalo ustrezna priporočila za ustvarjanje prihodkov. V bistvu mehanizem za priporočila deluje s kombinacijo podatkov in algoritmov strojnega učenja v štirih fazah. Zdaj jih podrobneje razumemo:

1. Zbiranje podatkov

Prvi in ​​najpomembnejši korak pri ustvarjanju orodja za priporočila je zbiranje ustreznih podatkov za vsakega uporabnika. Obstajata dve vrsti podatkov, tj. Izrecno podatkov, ki vsebujejo informacije, zbrane iz uporabniški vnosi, kot so ocene, ocene, všečki, nevšečki ali komentarji na izdelke.

V nasprotju s tem imamo Implicitno podatki, ki vsebujejo informacije, zbrane iz dejavnosti uporabnikov, kot npr zgodovina spletnega iskanja, kliki, dejanja košarice, dnevnik iskanja in zgodovina naročil.

Podatkovni profil vsakega uporabnika bo sčasoma postal bolj prepoznaven; zato je ključnega pomena tudi zbiranje podatkov o atributih strank, kot so:

• demografija (starost, spol)
• Psihografija (interesi, vrednote) za prepoznavanje podobnih strank
• podatki o značilnostih (žanr, vrsta predmeta) za določitev podobnosti podobnih izdelkov.

2. Shranjevanje podatkov

Ko zberete podatke, je naslednji korak učinkovito shranjevanje podatkov. Ko zberete več podatkov, mora biti na voljo dovolj razširljivega prostora za shranjevanje. Na voljo je več možnosti shranjevanja, odvisno od vrste podatkov, ki jih zbirate, na primer NoSQL, standardna zbirka podatkov SQL, MongoDB in AWS.

Pri izbiri najboljših možnosti shranjevanja je treba upoštevati nekatere dejavnike: enostavnost izvedbe, velikost shranjevanja podatkov, integracijo in prenosljivost.

3. Analizirajte podatke

Ko zberete podatke, jih morate analizirati. Podatke je treba nato preučiti in analizirati, da se ponudijo takojšnja priporočila. Najbolj razširjene metode, s katerimi lahko analizirate podatke, so:

• Analiza v realnem času, v katerem sistem uporablja orodja, ki vrednotijo ​​in analizirajo dogodke, ko se ustvarijo. Ta tehnika se v glavnem uporablja, ko želimo zagotoviti takojšnja priporočila.
• Šaržna analiza, v katerem se periodično izvaja obdelava in analiza podatkov. Ta tehnika se uporablja predvsem, ko želimo poslati e-pošto s priporočili.
• Analiza v skoraj realnem času, v katerem podatke analizirate in obdelate v minutah namesto v sekundah, saj jih ne potrebujete takoj. Ta tehnika se v glavnem izvaja, ko dajemo priporočila, ko je uporabnik še vedno na spletnem mestu.

4. Filtriranje podatkov

Ko analizirate podatke, je zadnji korak natančno filtriranje podatkov za zagotavljanje dragocenih priporočil. Na podatke se uporabijo različne matrike, matematična pravila in formule, da se zagotovi pravi predlog. Izbrati morate ustrezen algoritem, rezultat tega filtriranja pa so priporočila.

Izzivi motorjev za priporočila

Popolnost preprosto ne obstaja. Angleški teoretični fizik "Stephen Hawking" je nekoč rekel:

"Eno od osnovnih pravil vesolja je, da nič ni popolno."

Podobno obstajajo nekateri izzivi, ki jih morajo podjetja premagati, da zgradijo učinkovit sistem priporočanja. Tukaj je nekaj izmed njih:

1. Problem s HLADNIM ZAGONOM

Ta težava se pojavi, ko se sistemu pridruži nov uporabnik ali v zapis doda nove elemente. Priporočevalni sistem sprva ne more predlagati tega novega predmeta ali uporabnika, ker nima nobene ocene ali ocene. Zato je za motor težko napovedati preference ali prioritete novega uporabnika ali oceno novih elementov, kar vodi do manj natančnih priporočil.

Na primer, novega filma na Netflixu ni mogoče priporočiti, dokler ne pridobi nekaj ogledov in ocen.

Vendar pa lahko model, ki temelji na poglobljenem učenju, reši problem hladnega zagona, ker ti modeli pri napovedovanju niso močno odvisni od vedenja uporabnika. Lahko optimizira korelacije med uporabnikom in predmetom tako, da preuči kontekst izdelka in podrobnosti uporabnikov, kot so opisi izdelkov, slike in vedenje uporabnikov.

2. Problem redkosti podatkov

Kot vsi vemo, so motorji priporočil močno odvisni od podatkov. V nekaj primerih nekateri uporabniki ne dajo ocen ali mnenj o izdelkih, ki so jih kupili. Če nimamo visokokakovostnih podatkov, postane model ocenjevanja zelo redek, kar povzroči težave z redkostjo podatkov.

Zaradi te težave algoritem težko najde uporabnike s podobnimi ocenami ali interesi.

Če želite zagotoviti najboljšo kakovost podatkov in kar najbolje izkoristiti mehanizem za priporočila, si postavite štiri vprašanja:

• Kako novi so podatki?
• Kako hrupne so informacije?
• Kako raznolike so informacije?
• Kako hitro lahko vnesete nove podatke v model vašega priporočljivega sistema?

Zgornja vprašanja bodo zagotovila, da bo vaše podjetje izpolnjevalo kompleksne zahteve analitike podatkov.

3. Težava pri spreminjanju uporabniških nastavitev

Interakcije med uporabniki in predmeti pri ocenjevanju in pregledih lahko ustvarijo ogromno spreminjajočih se podatkov.

Na primer, morda sem danes na Netflixu, da bi gledal romantični film s svojo punco. A jutri bom morda drugačne volje in rad bi gledal klasičen psihološki triler.

Kar zadeva uporabniške nastavitve, lahko mehanizmi za priporočanje napačno označijo uporabnike, kar bo neučinkovito razlagalo rezultate velikih podatkovnih nizov. Zato je razširljivost velik izziv za te nize podatkov in za reševanje te težave je potrebnih nekaj naprednih obsežnih metod.

Kako zgraditi mehanizem za priporočila v Pythonu?

Ta vodnik vam bo pomagal zgraditi osnovne sisteme priporočil v Pythonu. Osredotočili se bomo na izgradnjo osnovnega priporočilnega sistema s priporočili predmetov, ki so najbolj primerljivi z določenim predmetom, v našem primeru s filmi. Upoštevajte, da to ni natančen, robusten mehanizem za priporočila. Samo predlaga, kateri filmi/elementi so najbolj podobni vašim filmskim preferencam.

Datoteke s kodo in podatki najdete na koncu tega razdelka. Pa začnimo:

Opomba: Zelo priporočljivo je, da za izvajanje te kode delujete na google collab ali jupyter notebook.

#1. Uvozite zahtevane knjižnice.

Uvozite knjižnici strojnega učenja numpy in pandas, saj ju bomo uporabili za podatkovne okvire in ocenjevanje korelacije.

Koda

uvozi numpy kot np uvozite pande kot pd

#2. Pridobite podatke

Določite imena stolpcev, preberite datoteko csv za nabor podatkov o filmih in pregledih ter natisnite prvih 5 vrstic.

Koda

column_names = ['user_id', 'item_id', 'rating', 'timestamp'] df = pd.read_csv('u.data', sep='t', names=column_names) df.head ()

izhod

Kot lahko vidite zgoraj, imamo štiri stolpce: ID uporabnika, ki je edinstven za vsakega uporabnika. ID predmeta je edinstven za vsak film, ocene filma in njihov časovni žig.

Zdaj pa poglejmo naslove filmov:

Koda

movie_titles = pd.read_csv("Movie_Id_Titles") movie_titles.head()

izhod

Preberite podatke s knjižnico pand in natisnite prvih 5 vrstic iz nabora podatkov. Za vsak film imamo ID in naslov.

Zdaj lahko združimo oba stolpca:

Koda

df = pd.merge(df,movie_titles,on='item_id') df.head ()

izhod

Zdaj imamo kombinirani podatkovni okvir, ki ga bomo naslednjič uporabili za raziskovalno analizo podatkov (EDA).

#3. Raziskovalna analiza podatkov

Poglejmo malo podatke in pokukajmo v nekaj najbolje ocenjenih filmov.

Uvoz vizualizacije bo naš prvi korak v EDA.

Koda

uvoz matplotlib.pyplot kot plt uvozi pomorskega kot sns sns.set_style('belo') %matplotlib v vrstici

Nato bomo ustvarili podatkovni okvir ocen s povprečno oceno in številom ocen kot našima dvema stolpcema:

Koda

df.groupby('title')['rating'].mean().sort_values(ascending=False).head()

izhod

Koda

df.groupby('title')['rating'].count().sort_values(ascending=False).head()

izhod

Koda

ocene = pd.DataFrame(df.groupby('title')['rating'].mean()) ratings.head()

izhod

Nato nastavite število stolpcev z ocenami tik ob srednjih ocenah:

Koda

ratings['num of ratings'] = pd.DataFrame(df.groupby('title')['rating'].count()) ratings.head()

izhod

Narišite nekaj histogramov, da vizualno preverite več ocen:

Koda

plt.figure (figsize = (10,4)) ocene['število ocen'].hist(bins=70)

izhod

Koda

plt.figure (figsize = (10,4)) ratings['rating'].hist(bins=70)

izhod

Koda

sns.jointplot(x='ocena',y='število ocen',data=ocene,alpha=0.5)

izhod

V redu! Zdaj, ko imamo obsežen pogled na to, kako izgledajo podatki, pojdimo na izdelavo preprostega sistema priporočil v Pythonu:

#4. Priporočanje podobnih filmov

Zdaj pa sestavimo matriko z ID-ji uporabnikov in naslovom filma. Vsaka celica bo nato sestavljena iz uporabniške ocene tega filma.

Opomba: Veliko jih bo NaN vrednosti, ker večina ljudi ni videla večine filma.

Koda

moviemat = df.pivot_table(index='user_id',columns='title',values='rating') moviemat.head()

izhod

Natisni najbolj ocenjene filme:

Koda

ratings.sort_values('število ocen',naraščajoče=False).head(10)

izhod

Izberimo dva filma: Vojna zvezd, znanstvenofantastični film. In drugi je Liar Liar, ki je komedija. Naslednji korak je pridobitev uporabniških ocen za ta dva filma:

Koda

starwars_user_ratings = moviemat['Vojna zvezd (1977)'] liarliar_user_ratings = moviemat['Lažnivec Lažnivec (1997)'] starwars_user_ratings.head()

izhod

Nato lahko uporabimo metodo corrwith(), da dobimo korelacije med dvema serijama pand:

Koda

podobno_starwars = moviemat.corrwith(starwars_user_ratings) podobno_liarliarju = moviemat.corrwith(liarliar_user_ratings)

izhod

Še vedno obstaja veliko ničelnih vrednosti, ki jih je mogoče očistiti z odstranitvijo vrednosti NaN. Zato uporabljamo DataFrame namesto serije:

Koda

corr_starwars = pd.DataFrame(similar_to_starwars,columns=['Korelacija']) corr_starwars.dropna(inplace=True) corr_starwars.head()

izhod

Zdaj pa predpostavimo, da podatkovni okvir razvrstimo po korelaciji. V tem primeru bi morali dobiti najbolj primerljive filme, vendar upoštevajte, da dobimo nekaj filmov, ki nimajo pravega smisla.

To je zato, ker obstaja veliko filmov, ki so si jih uporabniki, ki so gledali tudi Vojno zvezd, ogledali le enkrat.

Koda

corr_starwars.sort_values('Korelacija',naraščajoče=False).head(10)

izhod

To lahko popravimo tako, da izločimo filme z manj kot 100 ocenami. To vrednost lahko določimo na podlagi histograma, ki smo ga prej narisali v razdelku EDA.

Koda

corr_starwars = corr_starwars.join(ocene['število ocen']) corr_starwars.head()

izhod

Zdaj razvrstite vrednosti in opazujte, kako so naslovi veliko bolj razumljivi:

Koda

corr_starwars[corr_starwars['število ocen']>100].sort_values('Korelacija',naraščajoče=False).head()

izhod

Enako velja za komedijo Lažnivec Lažnivec film:

Koda

corr_liarliar = pd.DataFrame(similar_to_liarliar,columns=['Correlation']) corr_liarliar.dropna(inplace=True) corr_liarliar = corr_liarliar.join(ocene['število ocen']) corr_liarliar[corr_liarliar['število ocen']>100].sort_values('Korelacija',naraščajoče=False).head()

izhod

Odlično, ustvarili ste lasten mehanizem za priporočanje filmov.

Opomba: do Googlovega zvezka dostopajte tukaj.

Aplikacije in najboljša podjetja, ki uporabljajo mehanizme za priporočila

Številne panoge uporabljajo mehanizme za priporočila, da povečajo interakcijo med uporabniki in izboljšajo nakupovalne možnosti. Kot smo vsi videli, lahko mehanizmi za priporočila spremenijo način komuniciranja podjetij z uporabniki in povečajo donosnost naložbe (ROI) na podlagi informacij, ki jih lahko zberejo.

Videli bomo, kako skoraj vsako podjetje uporablja mehanizem priporočil, da bi imelo priložnost za dobiček.

1. E-trgovina

E-trgovina je panoga, kjer so bili motorji za priporočila prvič široko uporabljeni. Podjetja e-trgovine so najbolj primerna za zagotavljanje natančnih priporočil z milijoni strank in podatkov v svoji spletni bazi podatkov.

2. Trgovina na drobno

Podatki o nakupovanju so najdragocenejša informacija za algoritem strojnega učenja. Je najbolj natančen podatek o namenu uporabnika. Trgovci na drobno z bogatimi nakupovalnimi podatki so v ospredju podjetij, ki ustvarjajo konkretna priporočila za svoje stranke.

3. Mediji

Tako kot e-trgovina so tudi medijska podjetja prva, ki skočijo na tehnike mehanizmov priporočil. Težko je opaziti spletno mesto z novicami brez mehanizma za priporočila.

4. Bančništvo

Bančništvo je panoga množičnega trga, ki jo digitalno uporabljajo milijoni ljudi in je najboljša za priporočila. Razumevanje natančnega finančnega položaja stranke in preteklih izbir, povezanih s podatki na tisoče primerljivih uporabnikov, je zelo odločilno.

5. Telekom

Ta panoga ima podobno dinamiko kot bančništvo. Telekomunikacijske družbe imajo poverilnice milijonov strank, katerih vsako dejanje je dokumentirano. Tudi njihova ponudba izdelkov je zmerno ozka v primerjavi z drugimi sektorji, zaradi česar so priporočila v telekomunikacijah bolj obvladljiva rešitev.

6. Komunalne storitve

Podobna dinamika pri telekomunikacijah, vendar imajo komunalna podjetja še bolj omejen obseg izdelkov, zaradi česar so priporočila relativno enostavna za uporabo.

Najboljša podjetja, ki uporabljajo mehanizme za priporočila, vključujejo

• Amazon                    
• Netflix
• Spotify
• LinkedIn
• YouTube
• Tik Tok    
• Instagram
• Facebook
• Trud
• Quora
• google
• Yahoo        

Končna thoughts

Motorji za priporočila so močno trženjsko orodje, ki vam bo pomagalo pri boljši prodaji, navzkrižni prodaji in pospeševanju vašega poslovanja. Na področju mehanizmov priporočil se dogaja marsikaj. Vsako podjetje mora biti na tekočem s tehnologijo, da vsem svojim uporabnikom zagotovi najboljši niz priporočil za zadovoljstvo.

Tu smo prišli do konca tega vodnika. Upam, da so vse teme in razlage dovolj koristne, da vam bodo pomagale na začetku vaše poti v mehanizmih za priporočila v strojnem učenju.

Preberite več člankov o tem na našem blogu Priporočilni motorji. 

Če še vedno dvomite, me kontaktirajte na mojih profilih družbenih omrežij in z veseljem vam bom pomagal. Več o meni si lahko preberete spodaj:

Sem podatkovni znanstvenik z diplomo iz računalništva, specializiran za strojno učenje, umetno inteligenco in računalniški vid. Mrinal je tudi samostojni bloger, avtor in geek s petimi leti izkušenj pri svojem delu. Z ozadjem dela na večini področij računalništva trenutno opravljam magistrski študij uporabnega računalništva s specializacijo iz umetne inteligence na Univerzi v Windsorju ter sem samostojni pisec vsebine in vsebinski analitik.

Preberite več o motorjih Recommender Mrinal Walia:

1. 5 najboljših sistemskih projektov za priporočanje odprtokodnega strojnega učenja z viri

2. Odprtokodni projekti poglobljenega učenja, ki jih morate preizkusiti za študente računalništva

Mediji, prikazani v tem članku, niso v lasti Analytics Vidhya in se uporabljajo po lastni presoji avtorja. 

Podobni

Vir: https://www.analyticsvidhya.com/blog/2022/01/a-comprehensive-guide-on-recommendation-engines-in-2022/