แหล่งที่มาของภาพ: Pixabay (ภาพฟรี)

คุณกำลังมองหา "วิทยาศาสตร์ข้อมูลที่ขับเคลื่อนด้วย GPU" หรือไม่?

 
 
ลองนึกภาพตัวเองว่าเป็นนักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ธุรกิจ หรือนักวิจัยทางวิชาการในสาขาฟิสิกส์/เศรษฐศาสตร์/ประสาทวิทยาศาสตร์...

คุณทำมาก การทะเลาะวิวาทข้อมูล การทำความสะอาด การทดสอบทางสถิติ การสร้างภาพ เป็นประจำ. คุณเป็นคนจรจัดที่มีจำนวนมาก แบบจำลองเชิงเส้น ข้อมูลที่เหมาะสมและบางครั้งอาจเข้าสู่ ป่าสุ่ม. คุณยังเป็น การจัดกลุ่ม ชุดข้อมูลขนาดใหญ่ ฟังดูคุ้นเคยเพียงพอหรือไม่

อย่างไรก็ตาม ด้วยลักษณะของชุดข้อมูลที่คุณทำงาน (ส่วนใหญ่เป็นแบบตารางและมีโครงสร้าง) คุณจึงไม่ต้องเสี่ยงกับการเรียนรู้เชิงลึกมากนัก คุณค่อนข้างจะใส่ทรัพยากรฮาร์ดแวร์ทั้งหมดที่คุณมีลงในสิ่งที่คุณทำจริง ๆ ในแต่ละวัน มากกว่าการใช้แบบจำลองการเรียนรู้เชิงลึกแฟนซีบางอย่าง รู้จักกันอีกแล้วเหรอ?

คุณได้ยินเกี่ยวกับพลังอันยอดเยี่ยมและความสามารถในการคำนวณที่รวดเร็วของ ระบบ GPU เหมือนกับระบบจาก NVidia สำหรับการใช้งานทางอุตสาหกรรมและวิทยาศาสตร์ทุกประเภท

และคุณยังคงคิด - "มีอะไรให้ฉันบ้าง ฉันจะใช้ประโยชน์จากเซมิคอนดักเตอร์อันทรงพลังเหล่านี้ในกระบวนการทำงานเฉพาะของฉันได้อย่างไร? "

คุณกำลังค้นหาวิทยาศาสตร์ข้อมูลที่ขับเคลื่อนด้วย GPU

หนึ่งในตัวเลือกที่ดีที่สุด (และเร็วที่สุด) ของคุณในการประเมินแนวทางนี้คือการใช้ชุดค่าผสมของ เมฆดาวเสาร์ + RAPIDS. ให้ฉันอธิบายในรายละเอียด ...

GPU ในนิทานพื้นบ้าน AI/ML มีไว้เพื่อการเรียนรู้อย่างลึกซึ้งเป็นหลัก

 
 
ในขณะที่การใช้ GPU และการคำนวณแบบกระจายถูกกล่าวถึงอย่างกว้างขวางในแวดวงวิชาการและธุรกิจสำหรับงาน AI/ML หลัก (เช่น การรัน โครงข่ายประสาทลึก 1000 ชั้น สำหรับการจัดหมวดหมู่ภาพหรือ พันล้านพารามิเตอร์BERT แบบจำลองการสังเคราะห์เสียงพูด) พวกเขาพบว่ามีความครอบคลุมน้อยกว่าเมื่อพูดถึงยูทิลิตี้สำหรับงานวิทยาศาสตร์ข้อมูลและวิศวกรรมข้อมูลทั่วไป

อย่างไรก็ตาม งานที่เกี่ยวข้องกับข้อมูลคือสารตั้งต้นที่สำคัญสำหรับปริมาณงาน ML ในไปป์ไลน์ AI และมักจะประกอบเป็น ส่วนใหญ่ของเวลาและความพยายามทางปัญญา ใช้โดยนักวิทยาศาสตร์ข้อมูลหรือแม้แต่วิศวกร ML ล่าสุด ผู้บุกเบิก AI ชื่อดัง
Andrew Ng พูดคุยเกี่ยวกับ ย้ายจากแนวทางที่เน้นโมเดลไปเป็นแนวทางที่เน้นข้อมูลเป็น AI การพัฒนาเครื่องมือ นี่หมายถึงการใช้เวลามากขึ้นกับข้อมูลดิบและประมวลผลล่วงหน้าก่อนที่ปริมาณงาน AI จริงจะดำเนินการบนไปป์ไลน์ของคุณ

ดังนั้น คำถามสำคัญคือ: เราสามารถใช้ประโยชน์จากพลังของ GPU และการคำนวณแบบกระจายสำหรับงานประมวลผลข้อมูลปกติได้หรือไม่?

แหล่งที่มาของภาพ: ผู้เขียนสร้างภาพตัดปะจากภาพฟรี (Pixabay)

 

ในขณะที่การใช้ GPU และการคำนวณแบบกระจายมีการพูดคุยกันอย่างกว้างขวางในแวดวงวิชาการและธุรกิจสำหรับงาน AI/ML หลัก พวกเขาพบว่ามีความครอบคลุมน้อยกว่าในยูทิลิตี้สำหรับงานวิทยาศาสตร์ข้อมูลและวิศวกรรมข้อมูลทั่วไป

ระบบนิเวศ RAPIDS ที่ยอดเยี่ยม

 
 
พื้นที่ RAPIDS ชุดซอฟต์แวร์ไลบรารีและ APIs ให้คุณ — นักวิทยาศาสตร์ข้อมูลทั่วไป (และไม่จำเป็นต้องเป็นผู้ฝึกการเรียนรู้เชิงลึก) — ตัวเลือกและความยืดหยุ่นในการดำเนินการ ไปป์ไลน์ด้านวิทยาศาสตร์ข้อมูลและการวิเคราะห์แบบ end-to-end บน GPU ทั้งหมด

โครงการโอเพนซอร์ซนี้ถูกบ่มโดย Nvidia โดยการสร้างเครื่องมือเพื่อใช้ประโยชน์จาก CUDA ดั้งเดิม โดยเน้นที่ เปิดเผย GPU Parallelism และคุณสมบัติความเร็วหน่วยความจำแบนด์วิดท์สูงผ่านภาษา Python ที่เป็นมิตรกับข้อมูล.

การเตรียมข้อมูลทั่วไปและงานการโต้เถียง มีมูลค่าสูงในระบบนิเวศของ RAPIDS นอกจากนี้ยังให้ยืมจำนวนมาก รองรับหลายโหนด การปรับใช้หลาย GPU และการประมวลผลแบบกระจาย. จะรวมเข้ากับไลบรารีอื่น ๆ ที่ทำให้ ความจำเต็ม (เช่น ขนาดชุดข้อมูลที่ใหญ่กว่า RAM ของคอมพิวเตอร์แต่ละเครื่อง) การประมวลผลข้อมูลทำได้ง่ายและเข้าถึงได้สำหรับนักวิทยาศาสตร์ข้อมูลแต่ละคน

แหล่งที่มาของภาพ: ผู้เขียนสร้างภาพตัดปะ

 

ส่วนประกอบที่โดดเด่นที่สุด (และ Pythonic) สามองค์ประกอบซึ่งเป็นที่สนใจเป็นพิเศษสำหรับนักวิทยาศาสตร์ด้านข้อมูลทั่วไป ได้แก่

• คูปี้: ไลบรารีอาเรย์ที่ขับเคลื่อนด้วย CUDA ที่มีรูปลักษณ์และให้ความรู้สึกเหมือน Numpy ในขณะที่ใช้ไลบรารี CUDA ต่างๆ เช่น cuBLAS, cuDNN, cuRand, cuSolver, cuSPARSE, cuFFT และ NCCL เพื่อใช้ประโยชน์จากสถาปัตยกรรม GPU ด้านล่างอย่างเต็มที่
• CuDF: นี่คือไลบรารี GPU DataFrame สำหรับการโหลด รวม รวม กรอง และจัดการข้อมูลด้วย API เหมือนหมีแพนด้า วิศวกรข้อมูลและนักวิทยาศาสตร์ด้านข้อมูลสามารถใช้สิ่งนี้เพื่อเร่งความเร็วของงานได้อย่างง่ายดายโดยใช้ GPU อันทรงพลังโดยไม่ต้องเรียนรู้เกี่ยวกับโปรแกรม CUDA เลย
• ลบ.ม: ไลบรารีนี้ช่วยให้นักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ และนักวิจัยสามารถเรียกใช้อัลกอริธึม ML แบบดั้งเดิม/แบบคลาสสิกและงานการประมวลผลที่เกี่ยวข้องโดยใช้ประโยชน์จากพลังของ GPU ได้อย่างเต็มที่ โดยปกติ จะใช้กับชุดข้อมูลแบบตารางเป็นส่วนใหญ่ ลองนึกถึง Scikit-learn และสิ่งที่สามารถทำได้กับ Cuda และ Tensor Cores หลายร้อยตัวบนการ์ด GPU ของคุณ! ในกรณีส่วนใหญ่ Python API ของ cuML ตรงกับ Scikit-learn นอกจากนี้ยังพยายามเสนอ รองรับ multi-GPU และ multi-node-GPU by ผสมผสานอย่างสง่างามด้วย แผงควบคุมในทุกที่ที่ทำได้ เพื่อใช้ประโยชน์จากการประมวลผลแบบกระจาย/การประมวลผลแบบคลัสเตอร์อย่างแท้จริง

เราสามารถใช้ประโยชน์จากพลังของ GPU และการคำนวณแบบกระจายสำหรับงานประมวลผลข้อมูลปกติและการเรียนรู้ของเครื่องด้วยข้อมูลที่มีโครงสร้างได้หรือไม่

ต่างจากการใช้ Apache Spark หรือไม่?

 
 
คุณอาจถามว่าการประมวลผลข้อมูลที่ขับเคลื่อนด้วย GPU นี้แตกต่างจากการใช้ Apache Spark อย่างไร อันที่จริง มีความแตกต่างเล็กน้อย และเมื่อเร็ว ๆ นี้กับ Spark 3.0 GPU เป็นทรัพยากรหลักสำหรับปริมาณงาน Spark

เร่งความเร็ว Apache Spark 3.0 ด้วย GPU และ RAPIDS | บล็อกนักพัฒนา NVIDIA
 

เราไม่มีเวลาหรือพื้นที่ในการพูดคุยเกี่ยวกับความแตกต่างเฉพาะของแนวทางวิทยาศาสตร์ข้อมูลที่ใช้ GPU นี้เทียบกับงาน Big Data ที่เหมาะสมกับ Apache Spark โดยเฉพาะ แต่ให้ถามตัวเองด้วยคำถามเหล่านี้แล้วคุณจะเข้าใจความแตกต่างที่ลึกซึ้ง

"ในฐานะนักวิทยาศาสตร์ข้อมูลที่เป็นต้นแบบของธุรกรรมทางเศรษฐกิจและการจัดการพอร์ตโฟลิโอ ฉันต้องการแก้ปัญหา ระบบเชิงเส้นของสมการ กับ 100,000 ตัวแปร ฉันใช้ไลบรารี Linear Algebra แท้หรือ Apache Spark? "

"ในฐานะที่เป็นส่วนหนึ่งของไปป์ไลน์การบีบอัดรูปภาพ ฉันต้องการใช้ การสลายตัวของค่าเอกพจน์ บนเมทริกซ์ขนาดใหญ่ของรายการนับล้าน Apache Spark เป็นตัวเลือกที่ดีสำหรับสิ่งนั้นหรือไม่? "

ขนาดปัญหาใหญ่ไม่ได้หมายถึงระบบนิเวศของ Apache Spark หรือ Hadoop เสมอไป Big Computation ไม่เทียบเท่ากับ Big Data ในฐานะนักวิทยาศาสตร์ข้อมูลที่มีความรอบรู้ คุณจำเป็นต้องรู้ทั้งสองอย่างเพื่อจัดการกับปัญหาทุกประเภท

RAPIDS มุ่งเน้นที่ .โดยเฉพาะ เปิดเผย GPU Parallelism และคุณลักษณะความเร็วหน่วยความจำแบนด์วิดท์สูงผ่าน Python API

เรากำลังแสดงอะไรในบทความนี้?

 
 

ตัวอย่างที่ชัดเจนของ CuPy และ CuML เท่านั้น

 
ดังนั้น ในบทความนี้ เราจะแสดงตัวอย่างที่ชัดเจนของ CuPy และ CuML

• เปรียบเทียบ (ในความเร็ว) กับฟังก์ชัน/ตัวประมาณค่า Numpy และ Scikit-learn ที่สอดคล้องกันอย่างไร
• ขนาดของข้อมูล/ปัญหามีความสำคัญอย่างไรในการเปรียบเทียบความเร็วนี้

ตัวอย่าง CuDF ในบทความต่อมา

 
แม้ว่าตัวอย่างด้านวิศวกรรมข้อมูลจะคล้ายกับการประมวลผลข้อมูลของ Pandas เป็นที่สนใจของนักวิทยาศาสตร์ด้านข้อมูลจำนวนมาก เราจะกล่าวถึงตัวอย่าง CuDF ในบทความต่อไป

แพลตฟอร์มฮาร์ดแวร์ที่ใช้ GPU ของฉันคืออะไร

 
ฉันใช้ไฟล์ เมฆดาวเสาร์ อินสแตนซ์ GPU T4 ของ Tesla เนื่องจากใช้เวลาเพียง 5 นาทีในการหมุน a ทรัพยากรการประมวลผลที่มีคุณลักษณะครบถ้วนและโหลด (พร้อมไลบรารี DS และ AI) บนคลาวด์ สำหรับวิทยาศาสตร์ข้อมูลทั้งหมดของฉันทำงานกับบริการของพวกเขา ตราบใดที่ฉันใช้งาน Jupyter Notebook ไม่เกิน 10 ชั่วโมงต่อเดือน ก็ฟรี! หากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับบริการของพวกเขา

Saturn Cloud Hosted ได้เปิดตัวแล้ว: วิทยาศาสตร์ข้อมูล GPU สำหรับทุกคน!

การประมวลผล GPU คืออนาคตของวิทยาศาสตร์ข้อมูล แพ็คเกจต่างๆ เช่น RAPIDS, TensorFlow และ PyTorch ช่วยให้...

นอกจากจะมี เทสลา T4 GPUเป็นเครื่อง 4-core Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz พร้อม RAM 16 GB และดิสก์ถาวร 10 GB ดังนั้น นี่เป็นการตั้งค่าที่ค่อนข้างปกติจากมุมมองของการกำหนดค่าฮาร์ดแวร์ (ฮาร์ดไดรฟ์มีข้อจำกัดเนื่องจากระดับฟรี) เช่น นักวิทยาศาสตร์ข้อมูลทุกคนอาจมีฮาร์ดแวร์ประเภทนี้อยู่ในความครอบครองของเขา/เธอ ปัจจัยที่แตกต่างเพียงอย่างเดียวคือการมีอยู่ของ GPU และการตั้งค่าไลบรารี CUDA และ Python ทั้งหมดอย่างเหมาะสมเพื่อให้ชุด RAPIDS ทำงานได้โดยไม่สะดุด

ขนาดปัญหาใหญ่ไม่ได้หมายถึงระบบนิเวศของ Apache Spark หรือ Hadoop เสมอไป Big Computation ไม่เทียบเท่ากับ Big Data ในฐานะนักวิทยาศาสตร์ข้อมูลที่มีความรอบรู้ คุณจำเป็นต้องรู้ทั้งสองอย่างเพื่อจัดการกับปัญหาทุกประเภท

การแก้ระบบสมการเชิงเส้น

 
เราสร้างระบบเชิงเส้นตรงของสมการที่มีขนาดต่างกันและใช้ Numpy (และ CuPy) linalg.solveรูทีนเพื่อแก้ปัญหานั้นด้วยรหัสต่อไปนี้

และรหัสจะเปลี่ยนด้วยตัวอักษรตัวเดียว (ในการเรียกใช้หลายรายการ) สำหรับการใช้งาน CuPy!

โปรดทราบว่าเราจะสร้างอาร์เรย์ CuPy จากอาร์เรย์ Numpy เป็นอาร์กิวเมนต์ได้อย่างไร

ผลที่ได้คือน่าทึ่งแม้ว่า CuPy เริ่มช้าหรือเร็วกว่า Numpy แต่เอาชนะได้เต็มที่สำหรับปัญหาขนาดใหญ่ (จำนวนสมการ)

การสลายตัวของค่าเอกพจน์

 
ต่อไป เราจัดการปัญหาการสลายตัวของค่าเอกพจน์โดยใช้เมทริกซ์สี่เหลี่ยมที่สร้างขึ้นแบบสุ่ม (ดึงจากการแจกแจงแบบปกติ) ที่มีขนาดต่างกัน เราไม่บล็อกโค้ดซ้ำที่นี่ แต่แสดงผลเพื่อความกระชับ

สำคัญที่ต้องสังเกตว่าอัลกอริธึม CuPy ไม่ได้แสดงประสิทธิภาพที่เหนือกว่าอย่างเห็นได้ชัดเมื่อเทียบกับอัลกอริธึม Numpy ในคลาสปัญหานี้ บางทีนี่อาจเป็นสิ่งที่นักพัฒนา CuPy จะต้องปรับปรุงให้ดีขึ้น

กลับไปสู่พื้นฐาน: การผกผันของเมทริกซ์

 
สุดท้ายนี้ เรากลับไปที่พื้นฐานและพิจารณาปัญหาพื้นฐานของการผกผันของเมทริกซ์ (ใช้ในอัลกอริธึมการเรียนรู้ของเครื่องเกือบทั้งหมด) ผลลัพธ์แสดงให้เห็นประสิทธิภาพที่เพิ่มขึ้นอย่างมากจากอัลกอริธึม CuPy จากแพ็คเกจ Numpy

การแก้ปัญหาการจัดกลุ่ม K-mean

 
ต่อไป เราพิจารณาปัญหาการเรียนรู้แบบไม่มีผู้ดูแลของการจัดกลุ่มโดยใช้อัลกอริธึม k-mean ที่คุ้นเคยทั้งหมด ที่นี่ เรากำลังเปรียบเทียบฟังก์ชัน CuML กับตัวประมาณที่เทียบเท่าจากแพ็คเกจ Scikit-learn

สำหรับการอ้างอิง นี่คือการเปรียบเทียบ API ระหว่างตัวประมาณสองตัวนี้

แหล่งที่มาของภาพ: วิทย์ - เรียน และ  เว็บไซต์ CuML (โครงการโอเพ่นซอร์ส)

 

นี่คือผลลัพธ์สำหรับชุดข้อมูลที่มี 10 คุณสมบัติ/มิติ

และนี่คือผลลัพธ์ของการทดสอบอื่นด้วยชุดข้อมูล 100 ฟีเจอร์

เห็นได้ชัดว่าทั้งขนาดตัวอย่าง (จำนวนแถว) และมิติข้อมูล (จำนวนคอลัมน์) มีความสำคัญต่อการเร่งความเร็วตาม GPU ที่ทำงานได้ดีกว่า

ปัญหาการถดถอยเชิงเส้นที่คุ้นเคยกันหมด

 
ใครสามารถเพิกเฉยปัญหาการถดถอยเชิงเส้นสำหรับการเปรียบเทียบความเร็วขณะจัดการกับชุดข้อมูลแบบตารางได้ ตามจังหวะเช่นเคย เราเปลี่ยนขนาดของปัญหา — คราวนี้ทั้งจำนวนตัวอย่างและขนาดพร้อมกัน — และเปรียบเทียบประสิทธิภาพของ CuML LinearRegression ตัวประมาณค่าที่ได้จาก Scikit-learn stable

แกน X ในรูปต่อไปนี้แสดงขนาดของปัญหา — ตั้งแต่ 1,000 ตัวอย่าง/50 คุณสมบัติไปจนถึง 20,000 ตัวอย่าง/1000 คุณสมบัติ

อีกครั้ง ตัวประมาณ CuML ทำงานได้ดีขึ้นมากเมื่อความซับซ้อนของปัญหา (ขนาดตัวอย่างและมิติข้อมูล) เพิ่มขึ้น

สรุป

 
 
เรามุ่งเน้นไปที่องค์ประกอบพื้นฐานที่สุดสองประการของเฟรมเวิร์ก RAPIDS ซึ่งมีจุดมุ่งหมายเพื่อนำพลังของ GPU มาใช้กับงานประจำวันของการวิเคราะห์ข้อมูลและการเรียนรู้ของเครื่อง แม้ว่านักวิทยาศาสตร์ข้อมูลจะไม่ทำงานด้านการเรียนรู้เชิงลึกก็ตาม

แหล่งที่มาของภาพ: สร้างโดยผู้เขียนพร้อมรูปภาพ Pixabay ฟรี (Link-1, Link-2, Link-3)

 

เราใช้ เมฆดาวเสาร์ อินสแตนซ์ที่ใช้เทสลา T4 สำหรับ ติดตั้งง่าย ฟรี และรวดเร็ว และแสดงคุณลักษณะบางประการของไลบรารี CuPy และ CuML และการเปรียบเทียบประสิทธิภาพของอัลกอริธึมที่ใช้กันอย่างแพร่หลาย

• ไม่ใช่ว่าทุกอัลกอริธึมจากไลบรารี RAPIDS นั้นเหนือกว่าอย่างมากมาย แต่ส่วนใหญ่นั้นเหนือกว่า
• โดยทั่วไป ประสิทธิภาพที่เพิ่มขึ้นอย่างรวดเร็วเมื่อความซับซ้อนของปัญหา (ขนาดตัวอย่างและมิติข้อมูล) เพิ่มขึ้น
• หากคุณมี GPU ให้ลองใช้ RAPIDS เสมอ เปรียบเทียบและทดสอบว่าคุณได้รับประสิทธิภาพใด ๆ หรือไม่ และทำให้เป็นเครื่องทำงานที่เชื่อถือได้สำหรับไปป์ไลน์วิทยาศาสตร์ข้อมูลของคุณ
• การเปลี่ยนรหัสนั้นน้อยมาก แทบไม่มีเลยสำหรับการสลับ

ให้พลังของ GPU เริ่มต้นการวิเคราะห์และเวิร์กโฟลว์วิทยาศาสตร์ข้อมูลของคุณ.

คุณสามารถตรวจสอบของผู้เขียน GitHub ที่เก็บ สำหรับรหัส แนวคิด และทรัพยากรในการเรียนรู้ของเครื่องและวิทยาศาสตร์ข้อมูล หากคุณเป็นเช่นฉัน หลงใหลเกี่ยวกับ AI/แมชชีนเลิร์นนิง/วิทยาศาสตร์ข้อมูล โปรดอย่าลังเลที่จะ เพิ่มฉันใน LinkedIn or ติดตามฉันบนทวิตเตอร์.

ขอบคุณเมล

 
Original. โพสต์ใหม่โดยได้รับอนุญาต

ที่เกี่ยวข้อง

• วิธีใช้ไลบรารีเร่งความเร็ว NVIDIA GPU
• ทำไมคุณควรเรียนรู้ "Productive Data Science" และอย่างไร
• ไม่เพียงแต่สำหรับ Deep Learning เท่านั้น: GPUs เร่งความเร็ว Data Science & Data Analytics ได้อย่างไร