A Slack natív és biztonságos generatív mesterséges intelligenciát kínál, amelyet az Amazon SageMaker JumpStart | Amazon webszolgáltatások

A Slack natív és biztonságos generatív mesterséges intelligenciát kínál, amelyet az Amazon SageMaker JumpStart | Amazon webszolgáltatások

Időbélyeg: 18. április 2024. 8:00
Forrás csomópont: 2560029

Ennek a bejegyzésnek a társszerzője Jackie Rocca, a Slack mesterséges intelligencia részlegének alelnöke

A lazaság az a hely, ahol a munka történik. Ez a mesterséges intelligencia által vezérelt platform a munkához, amely egy helyen kapcsolja össze az embereket, a beszélgetéseket, az alkalmazásokat és a rendszereket. Az újonnan indult Slack AI– Megbízható, natív, generatív mesterséges intelligencia (AI) élmény, amely közvetlenül elérhető a Slackban – a felhasználók felszínre hozhatják és rangsorolhatják az információkat, így megtalálhatják a fókuszukat, és elvégezhetik a legproduktívabb munkájukat.

Örömmel jelentjük be, hogy a Slack, a Salesforce vállalat együttműködött Amazon SageMaker JumpStart a Slack mesterséges intelligencia kezdeti keresési és összegzési funkcióinak működéséhez, és biztosítékokat nyújt a Slack számára a nagy nyelvi modellek (LLM) biztonságosabb használatához. A Slack a SageMaker JumpStarttal együttműködve iparágvezető, harmadik féltől származó LLM-eket fogadott, így az adatokat nem osztják meg a harmadik fél modellszolgáltatók tulajdonában lévő infrastruktúrával.

Ez az ügyfelek adatait mindig a Slackban tartja, és ugyanazokat a biztonsági gyakorlatokat és megfelelőségi szabványokat tartja be, amelyeket az ügyfelek magától a Slacktől várnak. Slack is használja Amazon SageMaker következtetési képességek a fejlett útválasztási stratégiákhoz, hogy a megoldást az ügyfelek számára optimális teljesítmény, késleltetés és átviteli sebesség mellett méretezzék.

„Az Amazon SageMaker JumpStart segítségével a Slack hozzáférhet a legmodernebb alapmodellekhez a Slack AI működtetéséhez, miközben a biztonságot és az adatvédelmet helyezi előtérbe. A laza ügyfelek mostantól okosabban kereshetnek, azonnal összefoglalhatják a beszélgetéseket, és a legproduktívabbak lehetnek.”

– Jackie Rocca, a Slack AI termékért felelős alelnöke

Alapozó modellek a SageMaker JumpStartban

A SageMaker JumpStart egy gépi tanulási (ML) központ, amely felgyorsíthatja az ML-utat. A SageMaker JumpStart segítségével gyorsan kiértékelheti, összehasonlíthatja és kiválaszthatja az alapmodelleket (FM-eket) előre meghatározott minőségi és felelősségi mutatók alapján, és olyan feladatokat hajthat végre, mint a cikkösszegzés és a képalkotás. Az előre betanított modellek teljes mértékben testreszabhatók az Ön adataival az Ön használati esetéhez, és a felhasználói felülettel vagy az SDK-val könnyedén üzembe helyezheti őket az éles környezetben. Ezenkívül hozzáférhet az előre elkészített megoldásokhoz a gyakori felhasználási esetek megoldásához, és megoszthatja az ML-műtermékeket, beleértve az ML-modelleket és a notebookokat, a szervezeten belül, hogy felgyorsítsa az ML-modell felépítését és telepítését. Az Ön adatait nem használják fel az alapul szolgáló modellek betanításához. Minden adat titkosítva van, és soha nem osztják meg harmadik fél szállítókkal, így megbízhat abban, hogy adatai privátak és bizalmasak maradnak.

Nézze meg a SageMaker JumpStart modelloldal elérhető modellekhez.

Slack AI

A Slack elindította a Slack AI-t, hogy natív generatív AI-képességeket biztosítson, így az ügyfelek könnyen megtalálhatják és gyorsan felhasználhatják a nagy mennyiségű információt, lehetővé téve számukra, hogy még több értéket hozhassanak ki a Slackben megosztott tudásukból. Például a felhasználók egyszerű nyelven tehetnek fel kérdéseket, és azonnal világos és tömör válaszokat kaphatnak a továbbfejlesztett kereséssel. A beszélgetések összefoglalóival egyetlen kattintással utolérhetik a csatornákat és a szálakat. Az újonnan elindított összefoglalókkal pedig személyre szabott, napi összefoglalókat érhetnek el a kiválasztott csatornákon történt eseményekről.

Mivel a bizalom a Slack legfontosabb értéke, a Slack mesterséges intelligencia egy vállalati szintű infrastruktúrán fut, amelyet AWS-re építettek, fenntartva ugyanezt. biztonsági gyakorlatok és megfelelőségi szabványok amit az ügyfelek elvárnak. A Slack AI biztonságtudatos ügyfelek számára készült, és tervezésüknél fogva biztonságos – az ügyféladatok házon belül maradnak, az adatokat nem használják fel LLM-képzési célokra, és az adatok silóban maradnak.

Megoldás áttekintése

A SageMaker JumpStart számos LLM-hez biztosít hozzáférést, a Slack pedig kiválasztja a megfelelő FM-eket, amelyek megfelelnek a felhasználási eseteiknek. Mivel ezeket a modelleket a Slack tulajdonában lévő AWS-infrastruktúra tárolja, az hívás során a modelleknek küldött adatok nem hagyják el a Slack AWS-infrastruktúráját. Ezenkívül a biztonságos megoldás érdekében a SageMaker modellek meghívásához elküldött adatok továbbítása során titkosítva vannak. A SageMaker JumpStart végpontjainak a modellek meghívásához küldött adatokat nem használják alapmodellek betanításához. A SageMaker JumpStart lehetővé teszi a Slack számára, hogy támogassa a magas szintű biztonsági és adatvédelmi szabványokat, miközben a legmodernebb modelleket is használja, amelyek segítenek a Slack AI optimális működésében a Slack ügyfelei számára.

A Slack üzleti alkalmazásokat kiszolgáló SageMaker JumpStart végpontokat AWS-példányok működtetik. A SageMaker támogatja a példánytípusok széles választéka modelltelepítéshez, amely lehetővé teszi a Slack számára, hogy kiválaszthassa azt a példányt, amely a legjobban megfelel a Slack AI használati eseteinek késleltetési és méretezhetőségi követelményeinek. A Slack AI több GPU-alapú példányokhoz fér hozzá SageMaker JumpStart modelljeikhez. A több GPU-példány lehetővé teszi, hogy a Slack AI végpontját támogató minden egyes példány egy modell több példányát tárolja. Ez javítja az erőforrás-kihasználást és csökkenti a modell telepítési költségeit. További információkért lásd: Az Amazon SageMaker új következtetési képességekkel bővíti az alapmodell telepítési költségeit és késleltetését.

A következő ábra a megoldás architektúráját mutatja be.

A példányok leghatékonyabb felhasználása, valamint a párhuzamossági és késleltetési követelmények támogatása érdekében a Slack a SageMaker által kínált útválasztási stratégiákat használta a SageMaker végpontjaival. Alapértelmezés szerint egy SageMaker-végpont egyenletesen osztja el a bejövő kéréseket az ML-példányok között egy kör-robin algoritmus útválasztási stratégia segítségével. RANDOM. A generatív AI-munkaterhelések esetén azonban a kérések és válaszok rendkívül változóak lehetnek, és célszerű a terheléselosztást a példány kapacitásának és kihasználtságának figyelembevételével, nem pedig véletlenszerű terheléselosztással. A kérések hatékony elosztásához a végpontokat támogató példányok között a Slack a LEAST_OUTSTANDING_REQUESTS (LAR) útválasztási stratégia. Ez a stratégia a kéréseket azokhoz a konkrét példányokhoz irányítja, amelyek nagyobb kapacitással rendelkeznek a kérések feldolgozására, ahelyett, hogy véletlenszerűen választana ki bármely elérhető példányt. A LAR stratégia egységesebb terheléselosztást és erőforrás-kihasználást biztosít. Ennek eredményeként a Slack AI több mint 39%-os késleltetési csökkenést észlelt a p95 késleltetési számában, amikor engedélyezték. LEAST_OUTSTANDING_REQUESTS VÉLETLENSZERŰ-hez képest.

A SageMaker útválasztási stratégiáival kapcsolatos további részletekért lásd: Minimalizálja a valós idejű következtetés késleltetését az Amazon SageMaker útválasztási stratégiáival.

Következtetés

A Slack natív generatív AI-képességeket kínál, amelyek segítségével ügyfelei termelékenyebbek lehetnek, és könnyedén hozzáférhetnek a Slack-beszélgetéseikbe ágyazott kollektív tudáshoz. Az FM-ek nagy választékához való gyors hozzáféréssel és a fejlett terheléselosztási képességekkel, amelyeket a SageMaker JumpStart dedikált példányaiban tárolnak, a Slack AI képes gazdag generatív AI-szolgáltatásokat nyújtani robusztusabb és gyorsabb módon, miközben betartja a Slack bizalmi és biztonsági szabványait.

Tudjon meg többet SageMaker JumpStart, Slack AI és a hogyan építette fel a Slack csapata a Slack AI-t, hogy biztonságos és privát legyen. Hagyja gondolatait és kérdéseit a megjegyzés rovatban.

A szerzőkről

Jackie Rocca a Slack termékért felelős alelnöke, ahol ő felügyeli a Slack mesterséges intelligencia jövőképét és végrehajtását, amely natív módon és biztonságosan hozza a generatív AI-t a Slack felhasználói élményébe. Most az a küldetése, hogy segítse ügyfeleit termelékenységük felgyorsításában, és a generatív mesterséges intelligencia segítségével még több értéket hozhassanak ki beszélgetéseikből, adataikból és kollektív tudásukból. Mielőtt a Slacknél dolgozott, Jackie több mint hat évig a Google termékmenedzsere volt, ahol segített elindítani és bővíteni a Youtube TV-t. Jackie székhelye a San Francisco-öböl körzetében található.

Rachna Chadha az AWS stratégiai számláinak fő megoldási építésze AI/ML. Rachna optimista, aki hisz abban, hogy az AI etikus és felelős használata javíthatja a társadalmat a jövőben, és gazdasági és társadalmi jólétet hozhat. Szabadidejében Rachna szereti a családjával tölteni az idejét, kirándulni és zenét hallgatni.

Marc Karp ML építész az Amazon SageMaker Service csapatánál. Arra összpontosít, hogy segítse az ügyfeleket az ML-munkaterhelések nagyszabású tervezésében, telepítésében és kezelésében. Szabadidejében szívesen utazik és új helyeket fedez fel.

Maninder (Mani) Kaur az AWS stratégiai ISV-kért felelős AI/ML specialistája. Ügyfélközpontú megközelítésével Mani segít a stratégiai ügyfeleknek AI/ML stratégiájuk kialakításában, elősegíti az innovációt, és felgyorsítja az AI/ML-útjukat. Mani az etikus és felelősségteljes mesterséges intelligencia híve, és arra törekszik, hogy ügyfelei mesterséges intelligencia megoldásai összhangban legyenek ezekkel az elvekkel.

Gene Ting az AWS vezető megoldási építésze. Arra összpontosít, hogy segítse a vállalati ügyfeleket a munkaterhelések biztonságos felépítésében és kezelésében az AWS-en. Szabadidejében Gene szívesen tanít gyerekeket technológiára és sportra, valamint követi a kiberbiztonsággal kapcsolatos legújabb híreket.

Alan Tan a SageMaker vezető termékmenedzsere, aki a nagy modellkövetkeztetések terén tett erőfeszítéseket vezeti. Szenvedélyesen szereti a gépi tanulást az analitika területén alkalmazni. Munkán kívül élvezi a szabad levegőt.

Időbélyeg:

Még több AWS gépi tanulás