A DataStax bemutatja a RAG megoldást az NVIDIA Microservices és az Astra DB használatával – DATAVERSITY

Az új sajtóközleményA DataStax, a generatív AI-alkalmazásokra összpontosító vezető adatvállalat bejelentette, hogy támogatja a vállalati visszakereséssel bővített generációs (RAG) felhasználási eseteket az NVIDIA NIM következtetési mikroszolgáltatásainak és a NeMo Retriever mikroszolgáltatásainak az Astra DB-vel való integrálásával. Ennek az integrációnak a célja a nagy teljesítményű RAG adatmegoldások biztosítása, javítva az ügyfelek élményét azáltal, hogy lehetővé teszi a felhasználók számára, hogy 20-szor gyorsabban hozzanak létre azonnali vektorbeágyazást, mint más felhőbeágyazási szolgáltatások, miközben a szolgáltatási költségek 80%-kal csökkennek.

A generatív AI-alkalmazások technológiai bonyolultságot, biztonsági aggályokat és költségkorlátokat jelentenek a strukturálatlan adatok vektorizálásával kapcsolatban nagy nyelvi modellek (LLM-ek). A DataStax az NVIDIA-val együttműködve kezeli ezt a kihívást. A GPU-nként másodpercenként több mint 800 beágyazás generálására képes NVIDIA NeMo Retriever és a DataStax Astra DB integrálása, amely másodpercenként több mint 4000 tranzakcióval képes új beágyazást beemelni egyszámjegyű ezredmásodperces késleltetéssel, méretezhető megoldást kínál. Ez a telepítési modell jelentősen csökkenti a felhasználók teljes birtoklási költségét, miközben villámgyors beágyazás generálást és indexelést valósít meg.

A DataStax és az NVIDIA együttműködése nemcsak a beágyazás generálási sebességét javítja, hanem a RAG felhasználási esetek teljesítményét is. Az NVIDIA NeMo és a Triton Inference Server szoftvert kihasználva az Astra DB az NVIDIA H100 Tensor Core GPU-kon 20-szoros késést ér el a dokumentumok beágyazásakor és indexelésekor. Ezenkívül a DataStax bevezeti a Vectorize-t, egy olyan funkciót, amely lehetővé teszi a beágyazás létrehozását az adatbázis szintjén, amely a költségmegtakarítást közvetlenül az ügyfeleknek adja át. Ez az integráció hatékony, méretezhető és költséghatékony megoldásokat kínál a vállalatok számára a generatív mesterségesintelligencia-alkalmazások létrehozásához, végső soron javítva a strukturálatlan adatok kihasználását a valós idejű betekintés és a jobb felhasználói élmény érdekében.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.dataversity.net/datastax-introduces-rag-solution-using-nvidia-microservices-and-astra-db/