โพสต์บล็อกนี้เขียนร่วมกับ Chaoyang He และ Salman Avestimehr จาก FedML
การวิเคราะห์ข้อมูลด้านการดูแลสุขภาพและวิทยาศาสตร์ชีวภาพ (HCLS) ในโลกแห่งความเป็นจริงก่อให้เกิดความท้าทายในทางปฏิบัติหลายประการ เช่น ไซโลข้อมูลแบบกระจาย การขาดข้อมูลที่เพียงพอในไซต์เดียวสำหรับเหตุการณ์ที่เกิดขึ้นได้ยาก แนวปฏิบัติด้านกฎระเบียบที่ห้ามการแบ่งปันข้อมูล ข้อกำหนดด้านโครงสร้างพื้นฐาน และต้นทุนที่เกิดขึ้นในการสร้าง ที่เก็บข้อมูลแบบรวมศูนย์ เนื่องจากพวกเขาอยู่ในโดเมนที่มีการควบคุมอย่างเข้มงวด พันธมิตรและลูกค้าของ HCLS จึงแสวงหากลไกการรักษาความเป็นส่วนตัวเพื่อจัดการและวิเคราะห์ข้อมูลขนาดใหญ่ กระจาย และละเอียดอ่อน
เพื่อบรรเทาความท้าทายเหล่านี้ เราขอเสนอเฟรมเวิร์กการเรียนรู้แบบรวมศูนย์ (FL) ที่ใช้ FedML แบบโอเพ่นซอร์สบน AWS ซึ่งช่วยให้สามารถวิเคราะห์ข้อมูล HCLS ที่ละเอียดอ่อนได้ โดยเกี่ยวข้องกับการฝึกอบรมโมเดลแมชชีนเลิร์นนิง (ML) ทั่วโลกจากข้อมูลสุขภาพแบบกระจายที่จัดขึ้นในพื้นที่ต่างๆ ไม่จำเป็นต้องย้ายหรือแชร์ข้อมูลข้ามไซต์หรือกับเซิร์ฟเวอร์ส่วนกลางในระหว่างกระบวนการฝึกอบรมโมเดล
การปรับใช้กรอบงาน FL บนคลาวด์มีความท้าทายหลายประการ การทำให้โครงสร้างพื้นฐานไคลเอ็นต์-เซิร์ฟเวอร์เป็นอัตโนมัติเพื่อรองรับหลายบัญชีหรือระบบคลาวด์ส่วนตัวเสมือน (VPC) จำเป็นต้องมีการเพียร์ VPC และการสื่อสารที่มีประสิทธิภาพระหว่าง VPC และอินสแตนซ์ ในปริมาณงานการผลิต จำเป็นต้องมีไปป์ไลน์การปรับใช้ที่เสถียรเพื่อเพิ่มและลบไคลเอ็นต์ได้อย่างราบรื่น และอัปเดตการกำหนดค่าโดยไม่มีค่าใช้จ่ายมากนัก นอกจากนี้ ในการตั้งค่าที่แตกต่างกัน ไคลเอนต์อาจมีข้อกำหนดที่แตกต่างกันสำหรับการประมวลผล เครือข่าย และพื้นที่เก็บข้อมูล ในสถาปัตยกรรมแบบกระจายอำนาจนี้ การบันทึกและการแก้ไขข้อผิดพลาดระหว่างไคลเอนต์อาจเป็นเรื่องยาก สุดท้ายนี้ การกำหนดแนวทางที่เหมาะสมที่สุดในการรวมพารามิเตอร์โมเดล รักษาประสิทธิภาพของโมเดล รับประกันความเป็นส่วนตัวของข้อมูล และปรับปรุงประสิทธิภาพการสื่อสารถือเป็นงานที่ยากลำบาก ในโพสต์นี้ เราจัดการกับความท้าทายเหล่านี้โดยจัดเตรียมเทมเพลตการดำเนินการเรียนรู้แบบรวมศูนย์ (FLOps) ที่โฮสต์โซลูชัน HCLS โซลูชันนี้ไม่จำเป็นต้องคำนึงถึงกรณีการใช้งาน ซึ่งหมายความว่าคุณสามารถปรับให้เหมาะกับกรณีการใช้งานของคุณได้โดยการเปลี่ยนโมเดลและข้อมูล
ในซีรีส์สองส่วนนี้ เราจะสาธิตวิธีการปรับใช้เฟรมเวิร์ก FL บนคลาวด์บน AWS ใน โพสต์แรกเราได้อธิบายแนวคิดของ FL และกรอบงาน FedML ในส่วนที่สองนี้ เราจะนำเสนอกรณีการใช้งานด้านการดูแลสุขภาพและวิทยาศาสตร์ชีวภาพที่พิสูจน์แล้วจากชุดข้อมูล eICU ในโลกแห่งความเป็นจริง ชุดข้อมูลนี้ประกอบด้วยฐานข้อมูลการดูแลผู้ป่วยวิกฤตหลายศูนย์ที่รวบรวมจากโรงพยาบาลมากกว่า 200 แห่ง ซึ่งทำให้เหมาะอย่างยิ่งสำหรับการทดสอบการทดลอง FL ของเรา
กรณีการใช้งาน HCLS
เพื่อวัตถุประสงค์ในการสาธิต เราได้สร้างแบบจำลอง FL บนชุดข้อมูลที่เปิดเผยต่อสาธารณะเพื่อจัดการผู้ป่วยอาการหนัก เราใช้ ฐานข้อมูลการวิจัยความร่วมมือ eICUซึ่งเป็นฐานข้อมูลหน่วยดูแลผู้ป่วยหนัก (ICU) หลายศูนย์ ซึ่งประกอบด้วยการเข้าพบผู้ป่วย 200,859 หน่วย สำหรับผู้ป่วยที่ไม่ซ้ำกัน 139,367 ราย พวกเขาเข้ารับการรักษาในหนึ่งใน 335 ยูนิตของโรงพยาบาล 208 แห่งที่ตั้งอยู่ทั่วสหรัฐอเมริการะหว่างปี 2014–2015 เนื่องจากความแตกต่างที่สำคัญและลักษณะการกระจายของข้อมูล จึงเป็นตัวอย่างในอุดมคติในโลกแห่งความเป็นจริงในการทดสอบกรอบงาน FL นี้ ชุดข้อมูลประกอบด้วยการวัดในห้องปฏิบัติการ สัญญาณชีพ ข้อมูลแผนการดูแลรักษา ยา ประวัติผู้ป่วย การวินิจฉัยเข้ารับการรักษา การวินิจฉัยตามเวลาจากรายการปัญหาที่มีโครงสร้าง และการรักษาที่เลือกในทำนองเดียวกัน มีให้ใช้งานได้ในรูปแบบชุดไฟล์ CSV ซึ่งสามารถโหลดลงในระบบฐานข้อมูลเชิงสัมพันธ์ใดๆ ได้ ตารางต่างๆ จะไม่ระบุตัวตนเพื่อให้เป็นไปตามข้อกำหนดของกฎหมาย US Health Insurance Portability and Accountability Act (HIPAA) สามารถเข้าถึงข้อมูลได้ผ่านทางพื้นที่เก็บข้อมูล PhysioNet และดูรายละเอียดกระบวนการเข้าถึงข้อมูลได้ที่นี่ [1]
ข้อมูล eICU เหมาะสำหรับการพัฒนาอัลกอริทึม ML เครื่องมือสนับสนุนการตัดสินใจ และการพัฒนาการวิจัยทางคลินิก สำหรับการวิเคราะห์เกณฑ์มาตรฐาน เราพิจารณางานในการทำนายการเสียชีวิตในโรงพยาบาลของผู้ป่วย [2] เรากำหนดให้มันเป็นงานการจำแนกประเภทไบนารี โดยแต่ละตัวอย่างข้อมูลครอบคลุมกรอบเวลา 1 ชั่วโมง ในการสร้างกลุ่มสำหรับงานนี้ เราได้เลือกผู้ป่วยที่มีสถานะออกจากโรงพยาบาลในบันทึกของผู้ป่วยและระยะเวลาการเข้าพักอย่างน้อย 48 ชั่วโมง เนื่องจากเรามุ่งเน้นไปที่การทำนายการเสียชีวิตในช่วง 24 และ 48 ชั่วโมงแรก สิ่งนี้สร้างกลุ่มผู้ป่วย 30,680 รายที่มีบันทึก 1,164,966 รายการ เราใช้การประมวลผลข้อมูลล่วงหน้าเฉพาะโดเมนและวิธีการที่อธิบายไว้ใน [3] สำหรับการทำนายการเสียชีวิต ซึ่งส่งผลให้ชุดข้อมูลรวมประกอบด้วยหลายคอลัมน์ต่อผู้ป่วยต่อบันทึก ดังแสดงในรูปต่อไปนี้ ตารางต่อไปนี้แสดงบันทึกผู้ป่วยในรูปแบบอินเทอร์เฟซแบบตารางพร้อมเวลาในคอลัมน์ (5 ช่วงเวลาใน 48 ชั่วโมง) และการสังเกตสัญญาณชีพในแถว แต่ละแถวแสดงถึงตัวแปรทางสรีรวิทยา และแต่ละคอลัมน์แสดงถึงค่าที่บันทึกไว้ในช่วงเวลา 48 ชั่วโมงสำหรับผู้ป่วย
พารามิเตอร์ทางสรีรวิทยา | แผนภูมิ_เวลา_0 | แผนภูมิ_เวลา_1 | แผนภูมิ_เวลา_2 | แผนภูมิ_เวลา_3 | แผนภูมิ_เวลา_4 |
กลาสโกว์ โคม่า สกอร์อายส์ | 4 | 4 | 4 | 4 | 4 |
FiO2 | 15 | 15 | 15 | 15 | 15 |
กลาสโกว์ โคม่า สกอร์อายส์ | 15 | 15 | 15 | 15 | 15 |
อัตราการเต้นหัวใจ | 101 | 100 | 98 | 99 | 94 |
ความดันโลหิต Diastolic ที่รุกราน | 73 | 68 | 60 | 64 | 61 |
BP Systolic ที่รุกราน | 124 | 122 | 111 | 105 | 116 |
ความดันเลือดแดงเฉลี่ย (มม.ปรอท) | 77 | 77 | 77 | 77 | 77 |
กลาสโกว์ โคม่า สกอร์ มอเตอร์ | 6 | 6 | 6 | 6 | 6 |
02 ความอิ่มตัว | 97 | 97 | 97 | 97 | 97 |
อัตราการหายใจ | 19 | 19 | 19 | 19 | 19 |
อุณหภูมิ (C) | 36 | 36 | 36 | 36 | 36 |
กลาสโกว์ โคม่า สกอร์ วาจา | 5 | 5 | 5 | 5 | 5 |
ความสูงเข้า | 162 | 162 | 162 | 162 | 162 |
น้ำหนักการรับเข้าเรียน | 96 | 96 | 96 | 96 | 96 |
อายุ | 72 | 72 | 72 | 72 | 72 |
apacheadmissiondx | 143 | 143 | 143 | 143 | 143 |
เชื้อชาติ | 3 | 3 | 3 | 3 | 3 |
เพศ | 1 | 1 | 1 | 1 | 1 |
กลูโคส | 128 | 128 | 128 | 128 | 128 |
โรงพยาบาลเข้ารับการชดเชย | -436 | -436 | -436 | -436 | -436 |
สถานะการจำหน่ายในโรงพยาบาล | 0 | 0 | 0 | 0 | 0 |
รายการชดเชย | -6 | -1 | 0 | 1 | 2 |
pH | 7 | 7 | 7 | 7 | 7 |
หน่วยผู้ป่วยอยู่ ID | 2918620 | 2918620 | 2918620 | 2918620 | 2918620 |
หน่วยจำหน่ายชดเชย | 1466 | 1466 | 1466 | 1466 | 1466 |
สถานะการปลดปล่อยหน่วย | 0 | 0 | 0 | 0 | 0 |
เราใช้ทั้งคุณสมบัติเชิงตัวเลขและหมวดหมู่ และจัดกลุ่มบันทึกทั้งหมดของผู้ป่วยแต่ละรายเพื่อรวมเป็นอนุกรมเวลาบันทึกเดียว คุณสมบัติหมวดหมู่เจ็ดประการ (การวินิจฉัยการรับเข้าเรียน เชื้อชาติ เพศ คะแนนรวมของคะแนนอาการโคม่าของกลาสโกว์ คะแนนดวงตาของกลาสโกว์โคม่า คะแนนมอเตอร์ของกลาสโกว์โคม่า และทางวาจาของคะแนนกลาสโกว์โคม่า ถูกแปลงเป็นเวกเตอร์การเข้ารหัสแบบร้อนเดียว) มีค่าที่ไม่ซ้ำกัน 429 ค่าและถูกแปลงเป็นหนึ่งเดียว - การฝังแบบร้อน เพื่อป้องกันข้อมูลรั่วไหลข้ามเซิร์ฟเวอร์โหนดการฝึกอบรม เราได้แบ่งข้อมูลตามรหัสโรงพยาบาลและเก็บบันทึกทั้งหมดของโรงพยาบาลไว้ในโหนดเดียว
ภาพรวมโซลูชัน
แผนภาพต่อไปนี้แสดงสถาปัตยกรรมของการปรับใช้ FedML หลายบัญชีบน AWS ซึ่งรวมถึงไคลเอนต์สองราย (ผู้เข้าร่วม A และผู้เข้าร่วม B) และผู้รวบรวมโมเดลหนึ่งราย
สถาปัตยกรรมประกอบด้วยสามแยกออกจากกัน อเมซอน อีลาสติก คอมพิวท์ คลาวด์ (Amazon EC2) อินสแตนซ์ที่ทำงานในบัญชี AWS ของตัวเอง แต่ละอินสแตนซ์จากสองอินสแตนซ์แรกเป็นของไคลเอ็นต์ และอินสแตนซ์ที่สามเป็นของผู้รวบรวมโมเดล บัญชีเชื่อมต่อผ่านการเชื่อมต่อแบบเพียร์ VPC เพื่ออนุญาตให้มีการแลกเปลี่ยนโมเดล ML และน้ำหนักระหว่างไคลเอนต์และผู้รวบรวม ก.ร.ป ใช้เป็นแบ็กเอนด์การสื่อสารสำหรับการสื่อสารระหว่างผู้รวบรวมโมเดลและไคลเอนต์ เราทดสอบการตั้งค่าการประมวลผลแบบกระจายตามบัญชีเดียวกับเซิร์ฟเวอร์หนึ่งเครื่องและโหนดไคลเอนต์สองเครื่อง แต่ละอินสแตนซ์เหล่านี้สร้างขึ้นโดยใช้ Amazon EC2 AMI แบบกำหนดเองพร้อมการติดตั้งการพึ่งพา FedML ตาม คู่มือการติดตั้ง FedML.ai.
ตั้งค่าการเพียร์ VPC
หลังจากที่คุณเปิดใช้อินสแตนซ์ทั้งสามในบัญชี AWS ที่เกี่ยวข้อง คุณจะสร้างการเพียร์ VPC ระหว่างบัญชีต่างๆ ผ่านทาง คลาวด์ส่วนตัวเสมือนของ Amazon (อเมซอน VPC). หากต้องการตั้งค่าการเชื่อมต่อแบบเพียร์ VPC ให้สร้างคำขอเพื่อเพียร์กับ VPC อื่นก่อน คุณสามารถขอการเชื่อมต่อแบบเพียร์ VPC กับ VPC อื่นในบัญชีของคุณ หรือกับ VPC ในบัญชี AWS อื่นได้ หากต้องการเปิดใช้งานคำขอ เจ้าของ VPC จะต้องยอมรับคำขอ เพื่อจุดประสงค์ของการสาธิตนี้ เราได้ตั้งค่าการเชื่อมต่อแบบเพียร์ระหว่าง VPC ในบัญชีที่แตกต่างกันแต่ในภูมิภาคเดียวกัน สำหรับการกำหนดค่าอื่นๆ ของการเพียร์ VPC โปรดดูที่ สร้างการเชื่อมต่อแบบเพียร์ VPC.
ก่อนที่คุณจะเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณมีหมายเลขบัญชี AWS และ VPC ID ของ VPC ที่จะเพียร์ด้วย
ขอการเชื่อมต่อแบบเพียร์ VPC
หากต้องการสร้างการเชื่อมต่อแบบเพียร์ VPC ให้ทำตามขั้นตอนต่อไปนี้:
- บนคอนโซล Amazon VPC ในบานหน้าต่างนำทาง ให้เลือก การเชื่อมต่อแบบเพียร์.
- Choose สร้างการเชื่อมต่อแบบเพียร์.
- สำหรับ แท็กชื่อการเชื่อมต่อแบบเพียร์คุณสามารถเลือกตั้งชื่อการเชื่อมต่อแบบเพียร์ VPC ของคุณได้ การทำเช่นนั้นจะสร้างแท็กที่มีคีย์ของชื่อและค่าที่คุณระบุ แท็กนี้จะปรากฏให้คุณเห็นเท่านั้น เจ้าของเพียร์ VPC สามารถสร้างแท็กของตนเองสำหรับการเชื่อมต่อเพียร์ VPC ได้
- สำหรับ VPC (ผู้ขอ)ให้เลือก VPC ในบัญชีของคุณเพื่อสร้างการเชื่อมต่อแบบเพียร์
- สำหรับ ลงชื่อเข้าใช้เลือก บัญชีอื่น.
- สำหรับ หมายเลขบัญชีป้อนรหัสบัญชี AWS ของเจ้าของ VPC ที่ยอมรับ
- สำหรับ VPC (ผู้รับ)ให้ป้อนรหัส VPC ที่จะใช้สร้างการเชื่อมต่อแบบเพียร์ VPC
- ในกล่องโต้ตอบการยืนยัน ให้เลือก OK.
- Choose สร้างการเชื่อมต่อแบบเพียร์.
ยอมรับการเชื่อมต่อแบบเพียร์ VPC
ดังที่ได้กล่าวไว้ก่อนหน้านี้ การเชื่อมต่อแบบเพียร์ VPC จะต้องได้รับการยอมรับจากเจ้าของ VPC ที่ส่งคำขอการเชื่อมต่อไป ทำตามขั้นตอนต่อไปนี้เพื่อยอมรับคำขอการเชื่อมต่อแบบเพียร์:
- บนคอนโซล Amazon VPC ให้ใช้ตัวเลือกภูมิภาคเพื่อเลือกภูมิภาคของ VPC ของตัวรับ
- ในบานหน้าต่างนำทาง เลือก การเชื่อมต่อแบบเพียร์.
- เลือกการเชื่อมต่อแบบเพียร์ VPC ที่รอดำเนินการ (สถานะคือ
pending-acceptance
) และบน สถานะ เมนูให้เลือก ยอมรับคำขอ. - ในกล่องโต้ตอบการยืนยัน ให้เลือก ใช่ ยอมรับ.
- ในกล่องโต้ตอบการยืนยันที่สอง ให้เลือก แก้ไขตารางเส้นทางของฉันตอนนี้ เพื่อไปยังหน้าตารางเส้นทางโดยตรงหรือเลือก ปิดหน้านี้ เพื่อทำสิ่งนี้ในภายหลัง
อัพเดตตารางเส้นทาง
หากต้องการเปิดใช้งานการรับส่งข้อมูล IPv4 ส่วนตัวระหว่างอินสแตนซ์ใน VPC แบบเพียร์ ให้เพิ่มเส้นทางไปยังตารางเส้นทางที่เชื่อมโยงกับซับเน็ตสำหรับทั้งสองอินสแตนซ์ ปลายทางเส้นทางคือบล็อก CIDR (หรือส่วนของบล็อก CIDR) ของเพียร์ VPC และเป้าหมายคือ ID ของการเชื่อมต่อเพียร์ VPC สำหรับข้อมูลเพิ่มเติม โปรดดู กำหนดค่าตารางเส้นทาง.
อัปเดตกลุ่มความปลอดภัยเพื่ออ้างอิงกลุ่มเพียร์ VPC
อัปเดตกฎขาเข้าหรือขาออกสำหรับกลุ่มความปลอดภัย VPC ของคุณเพื่ออ้างอิงกลุ่มความปลอดภัยใน VPC ที่มีการเชื่อมต่อแบบเพียร์ ซึ่งช่วยให้การรับส่งข้อมูลไหลผ่านอินสแตนซ์ที่เชื่อมโยงกับกลุ่มความปลอดภัยที่อ้างอิงใน VPC ที่มีการเชื่อมต่อแบบเพียร์ สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการตั้งค่ากลุ่มความปลอดภัย โปรดดูที่ อัปเดตกลุ่มความปลอดภัยของคุณเพื่ออ้างอิงกลุ่มความปลอดภัยของเพียร์.
กำหนดค่า FedML
หลังจากที่คุณเรียกใช้ EC2 instance ทั้งสามอินสแตนซ์แล้ว ให้เชื่อมต่อกับแต่ละอินสแตนซ์และทำตามขั้นตอนต่อไปนี้:
- โคลน พื้นที่เก็บข้อมูล FedML.
- ระบุข้อมูลโทโพโลยีเกี่ยวกับเครือข่ายของคุณในไฟล์กำหนดค่า
grpc_ipconfig.csv
.
ไฟล์นี้สามารถพบได้ที่ FedML/fedml_experiments/distributed/fedavg
ในพื้นที่เก็บข้อมูล FedML ไฟล์นี้มีข้อมูลเกี่ยวกับเซิร์ฟเวอร์และไคลเอนต์ และการแมปโหนดที่กำหนด เช่น เซิร์ฟเวอร์ FL – โหนด 0, ไคลเอนต์ FL 1 – โหนด 1 และไคลเอนต์ FL 2 – โหนด 2
- กำหนดไฟล์กำหนดค่าการแมป GPU
ไฟล์นี้สามารถพบได้ที่ FedML/fedml_experiments/distributed/fedavg
ในพื้นที่เก็บข้อมูล FedML ไฟล์ gpu_mapping.yaml
ประกอบด้วยข้อมูลการกำหนดค่าสำหรับการแมปเซิร์ฟเวอร์ไคลเอ็นต์กับ GPU ที่เกี่ยวข้อง ดังที่แสดงในตัวอย่างต่อไปนี้
หลังจากที่คุณกำหนดการกำหนดค่าเหล่านี้แล้ว คุณก็พร้อมที่จะรันไคลเอ็นต์แล้ว โปรดทราบว่าจะต้องเรียกใช้ไคลเอนต์ก่อนเริ่มเปิดเซิร์ฟเวอร์ ก่อนที่จะดำเนินการดังกล่าว มาตั้งค่าตัวโหลดข้อมูลสำหรับการทดลองกันก่อน
ปรับแต่ง FedML สำหรับ eICU
หากต้องการปรับแต่งพื้นที่เก็บข้อมูล FedML สำหรับชุดข้อมูล eICU ให้ทำการเปลี่ยนแปลงต่อไปนี้กับข้อมูลและตัวโหลดข้อมูล
ข้อมูล
เพิ่มข้อมูลลงในโฟลเดอร์ข้อมูลที่กำหนดไว้ล่วงหน้า ดังที่แสดงในภาพหน้าจอต่อไปนี้ คุณสามารถวางข้อมูลในโฟลเดอร์ใดก็ได้ที่คุณเลือก ตราบใดที่เส้นทางนั้นมีการอ้างอิงอย่างสม่ำเสมอในสคริปต์การฝึกอบรมและเปิดใช้งานการเข้าถึงไว้ หากต้องการติดตามสถานการณ์ HCLS ในโลกแห่งความเป็นจริง ซึ่งข้อมูลในเครื่องจะไม่ถูกแชร์ระหว่างไซต์ต่างๆ ให้แยกและสุ่มตัวอย่างข้อมูลเพื่อไม่ให้ ID ของโรงพยาบาลทับซ้อนกันระหว่างไคลเอนต์ทั้งสองราย สิ่งนี้ทำให้มั่นใจได้ว่าข้อมูลของโรงพยาบาลจะโฮสต์อยู่บนเซิร์ฟเวอร์ของตัวเอง นอกจากนี้เรายังบังคับใช้ข้อจำกัดเดียวกันในการแบ่งข้อมูลออกเป็นชุดฝึก/ทดสอบภายในไคลเอนต์แต่ละราย ชุดฝึก/ชุดทดสอบแต่ละชุดสำหรับลูกค้าแต่ละรายมีอัตราส่วนฉลากเชิงบวกต่อฉลากเชิงลบในอัตรา 1:10 โดยมีตัวอย่างประมาณ 27,000 ตัวอย่างในการฝึกอบรม และ 3,000 ตัวอย่างในการทดสอบ เราจัดการกับความไม่สมดุลของข้อมูลในการฝึกโมเดลด้วยฟังก์ชันการสูญเสียน้ำหนัก
ตัวโหลดข้อมูล
ไคลเอนต์ FedML แต่ละเครื่องจะโหลดข้อมูลและแปลงเป็นเทนเซอร์ PyTorch เพื่อการฝึกฝน GPU ที่มีประสิทธิภาพ ขยายระบบการตั้งชื่อ FedML ที่มีอยู่เพื่อเพิ่มโฟลเดอร์สำหรับข้อมูล eICU ใน data_processing
โฟลเดอร์
ข้อมูลโค้ดต่อไปนี้จะโหลดข้อมูลจากแหล่งข้อมูล จะประมวลผลข้อมูลล่วงหน้าและส่งกลับทีละรายการผ่านทาง __getitem__
ฟังก์ชัน
การฝึกโมเดล ML ด้วยจุดข้อมูลทีละจุดเป็นเรื่องที่น่าเบื่อและใช้เวลานาน โดยทั่วไป การฝึกโมเดลจะดำเนินการกับจุดข้อมูลชุดหนึ่งที่ไคลเอ็นต์แต่ละราย หากต้องการใช้สิ่งนี้ ตัวโหลดข้อมูลใน data_loader.py
script แปลงอาร์เรย์ NumPy เป็น Torch tensor ดังที่แสดงในตัวอย่างโค้ดต่อไปนี้ โปรดทราบว่า FedML มีให้ dataset.py
และ data_loader.py
สคริปต์สำหรับข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างที่คุณสามารถใช้เพื่อแก้ไขเฉพาะข้อมูล เช่นเดียวกับในโปรเจ็กต์ PyTorch ใดๆ
นำเข้าตัวโหลดข้อมูลลงในสคริปต์การฝึกอบรม
หลังจากที่คุณสร้างตัวโหลดข้อมูลแล้ว ให้นำเข้าลงในโค้ด FedML สำหรับการฝึกโมเดล ML เช่นเดียวกับชุดข้อมูลอื่นๆ (เช่น CIFAR-10 และ CIFAR-100) ให้โหลดข้อมูล eICU ไปยัง main_fedavg.py
สคริปต์ในเส้นทาง FedML/fedml_experiments/distributed/fedavg/
. ที่นี่ เราใช้ค่าเฉลี่ยแบบรวมศูนย์ (fedavg
) ฟังก์ชันการรวมกลุ่ม คุณสามารถปฏิบัติตามวิธีการที่คล้ายกันเพื่อตั้งค่า main
ไฟล์สำหรับฟังก์ชันการรวมอื่นๆ
เราเรียกฟังก์ชันตัวโหลดข้อมูลสำหรับข้อมูล eICU ด้วยรหัสต่อไปนี้:
กำหนดแบบจำลอง
FedML รองรับอัลกอริธึมการเรียนรู้เชิงลึกที่พร้อมใช้งานทันทีสำหรับข้อมูลประเภทต่างๆ เช่น ตาราง ข้อความ รูปภาพ กราฟ และข้อมูล Internet of Things (IoT) โหลดโมเดลเฉพาะสำหรับ eICU ด้วยขนาดอินพุตและเอาต์พุตที่กำหนดตามชุดข้อมูล สำหรับการพิสูจน์การพัฒนาแนวคิดนี้ เราใช้แบบจำลองการถดถอยโลจิสติกเพื่อฝึกอบรมและคาดการณ์อัตราการเสียชีวิตของผู้ป่วยด้วยการกำหนดค่าเริ่มต้น ข้อมูลโค้ดต่อไปนี้แสดงการอัปเดตที่เราทำกับ main_fedavg.py
สคริปต์ โปรดทราบว่าคุณสามารถใช้โมเดล PyTorch แบบกำหนดเองกับ FedML และนำเข้าลงในไฟล์ main_fedavg.py
ต้นฉบับ
เรียกใช้และตรวจสอบการฝึกอบรม FedML บน AWS
วิดีโอต่อไปนี้แสดงกระบวนการฝึกอบรมที่กำลังเริ่มต้นในไคลเอนต์แต่ละราย หลังจากที่ไคลเอ็นต์ทั้งสองแสดงรายการสำหรับเซิร์ฟเวอร์แล้ว ให้สร้างกระบวนการฝึกอบรมเซิร์ฟเวอร์ที่ดำเนินการรวมโมเดลแบบรวมศูนย์
ในการกำหนดค่าเซิร์ฟเวอร์ FL และไคลเอ็นต์ ให้ทำตามขั้นตอนต่อไปนี้:
- เรียกใช้ไคลเอนต์ 1 และไคลเอนต์ 2
หากต้องการรันไคลเอ็นต์ ให้ป้อนคำสั่งต่อไปนี้พร้อมกับ ID โหนดที่เกี่ยวข้อง ตัวอย่างเช่น หากต้องการรันไคลเอ็นต์ 1 ด้วยโหนด ID 1 ให้รันจากบรรทัดคำสั่ง:
- หลังจากที่อินสแตนซ์ไคลเอ็นต์ทั้งสองเริ่มทำงานแล้ว ให้เริ่มต้นอินสแตนซ์เซิร์ฟเวอร์โดยใช้คำสั่งเดียวกันและ ID โหนดที่เหมาะสมตามการกำหนดค่าของคุณใน
grpc_ipconfig.csv file
. คุณสามารถดูน้ำหนักโมเดลที่ถูกส่งผ่านไปยังเซิร์ฟเวอร์จากอินสแตนซ์ไคลเอ็นต์
- เราฝึกโมเดล FL เป็นเวลา 50 ยุค ดังที่คุณเห็นในวิดีโอด้านล่าง น้ำหนักจะถูกถ่ายโอนระหว่างโหนด 0, 1 และ 2 ซึ่งบ่งชี้ว่าการฝึกกำลังดำเนินไปตามที่คาดไว้ในลักษณะแบบรวมศูนย์
- สุดท้าย ตรวจสอบและติดตามความก้าวหน้าของการฝึกโมเดล FL บนโหนดต่างๆ ในคลัสเตอร์โดยใช้ น้ำหนักและอคติ เครื่องมือ (wandb) ดังที่แสดงในภาพหน้าจอต่อไปนี้ โปรดปฏิบัติตามขั้นตอนที่ระบุไว้ โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม เพื่อติดตั้ง Wandb และตั้งค่าการตรวจสอบสำหรับโซลูชันนี้
วิดีโอต่อไปนี้รวบรวมขั้นตอนทั้งหมดเหล่านี้เพื่อสาธิต FL บน AWS โดยใช้ FedML แบบครบวงจร:
สรุป
ในโพสต์นี้ เราได้แสดงวิธีที่คุณสามารถปรับใช้เฟรมเวิร์ก FL บน FedML แบบโอเพ่นซอร์สบน AWS ได้ ช่วยให้คุณสามารถฝึกโมเดล ML เกี่ยวกับข้อมูลที่กระจายได้โดยไม่จำเป็นต้องแชร์หรือย้ายข้อมูล เราตั้งค่าสถาปัตยกรรมแบบหลายบัญชี ซึ่งในสถานการณ์จริง โรงพยาบาลหรือองค์กรด้านการดูแลสุขภาพสามารถเข้าร่วมระบบนิเวศเพื่อรับประโยชน์จากการเรียนรู้ร่วมกันในขณะที่ยังคงรักษาการกำกับดูแลข้อมูลไว้ เราใช้ชุดข้อมูล eICU ของโรงพยาบาลหลายแห่งเพื่อทดสอบการปรับใช้นี้ เฟรมเวิร์กนี้สามารถนำไปใช้กับกรณีการใช้งานและโดเมนอื่นๆ ได้ด้วย เราจะขยายงานนี้ต่อไปโดยการปรับใช้อัตโนมัติผ่านโครงสร้างพื้นฐานเป็นโค้ด (โดยใช้ การก่อตัวของ AWS Cloud) ผสมผสานกลไกการรักษาความเป็นส่วนตัวเพิ่มเติม และปรับปรุงความสามารถในการตีความและความเป็นธรรมของโมเดล FL
โปรดทบทวนการนำเสนอที่งาน re:MARS 2022 ซึ่งเน้นเรื่อง “Managed Federated Learning บน AWS: กรณีศึกษาสำหรับการดูแลสุขภาพ” สำหรับคำแนะนำแบบละเอียดของโซลูชันนี้
อ้างอิง
[1] พอลลาร์ด, ทอม เจ. และคณะ “ฐานข้อมูลการวิจัยความร่วมมือ eICU ซึ่งเป็นฐานข้อมูลหลายศูนย์ที่มีให้ใช้งานฟรีสำหรับการวิจัยการดูแลผู้ป่วยวิกฤต” ข้อมูลทางวิทยาศาสตร์ 5.1 (2018): 1-13
[2] Yin, X., Zhu, Y. และ Hu, J., 2021. แบบสำรวจที่ครอบคลุมเกี่ยวกับการเรียนรู้แบบสหพันธรัฐที่รักษาความเป็นส่วนตัว: อนุกรมวิธาน การทบทวน และทิศทางในอนาคต แบบสำรวจคอมพิวเตอร์ ACM (CSUR), 54(6), pp.1-36
(3) เชคคาลิชะฮี, เซเยดโมสตาฟา, เววาเก บาลารามาน และเวเนต ออสมานี “การเปรียบเทียบโมเดลแมชชีนเลิร์นนิงบนชุดข้อมูลการดูแลวิกฤต eICU แบบหลายศูนย์” โปรหนึ่ง 15.7 (2020): e0235424
เกี่ยวกับผู้เขียน
วิทยาสาคร รวิปาติ เป็นผู้จัดการที่ ห้องปฏิบัติการโซลูชัน Amazon MLซึ่งเขาใช้ประสบการณ์มากมายในระบบแบบกระจายขนาดใหญ่และความหลงใหลในการเรียนรู้ของเครื่องเพื่อช่วยลูกค้า AWS ในอุตสาหกรรมต่างๆ เร่งการนำ AI และระบบคลาวด์ไปใช้ ก่อนหน้านี้ เขาเป็นวิศวกรแมชชีนเลิร์นนิ่งใน Connectivity Services ที่ Amazon ซึ่งช่วยสร้างแพลตฟอร์มส่วนบุคคลและการบำรุงรักษาเชิงคาดการณ์
โอลิเวีย เชาฮูรีปริญญาเอก เป็น Senior Partner Solutions Architect ที่ AWS เธอช่วยคู่ค้าในโดเมน Healthcare และ Life Sciences ออกแบบ พัฒนา และปรับขนาดโซลูชันล้ำสมัยโดยใช้ AWS เธอมีพื้นฐานด้านจีโนมิกส์ การวิเคราะห์ด้านการดูแลสุขภาพ การเรียนรู้แบบรวมศูนย์ และการเรียนรู้ของเครื่องที่รักษาความเป็นส่วนตัว นอกเวลางาน เธอเล่นเกมกระดาน วาดภาพทิวทัศน์ และสะสมมังงะ
วาจาฮาต อาซิซ เป็น Principal Machine Learning และ HPC Solutions Architect ที่ AWS ซึ่งเขามุ่งเน้นที่การช่วยเหลือลูกค้าด้านการดูแลสุขภาพและวิทยาศาสตร์ชีวภาพในการใช้ประโยชน์จากเทคโนโลยี AWS เพื่อพัฒนาโซลูชัน ML และ HPC ที่ล้ำสมัยสำหรับกรณีการใช้งานที่หลากหลาย เช่น การพัฒนายา การทดลองทางคลินิกและการรักษาความเป็นส่วนตัวของแมชชีนเลิร์นนิง วาจาฮัตชอบสำรวจธรรมชาติ เดินป่า และอ่านหนังสือนอกเวลางาน
ดิวา ภาร์กาวี เป็นนักวิทยาศาสตร์ข้อมูลและผู้นำด้านสื่อและความบันเทิงที่ ห้องปฏิบัติการโซลูชัน Amazon MLซึ่งเธอแก้ไขปัญหาทางธุรกิจที่มีมูลค่าสูงให้กับลูกค้า AWS โดยใช้ Machine Learning เธอทำงานเกี่ยวกับการทำความเข้าใจรูปภาพ/วิดีโอ ระบบแนะนำกราฟความรู้ กรณีการใช้งานโฆษณาเชิงคาดการณ์
Uชวาล ราทัน เป็นผู้นำด้าน AI/ML และ Data Science ในหน่วยธุรกิจ AWS Healthcare and Life Science และยังเป็นสถาปนิกหลักด้าน AI/ML Solutions ในช่วงหลายปีที่ผ่านมา Ujjwal เป็นผู้นำทางความคิดในอุตสาหกรรมการดูแลสุขภาพและชีววิทยาศาสตร์ ช่วยให้องค์กร Global Fortune 500 หลายแห่งบรรลุเป้าหมายด้านนวัตกรรมโดยการนำการเรียนรู้ของเครื่องมาใช้ งานของเขาเกี่ยวกับการวิเคราะห์ภาพทางการแพทย์ ข้อความทางคลินิกที่ไม่มีโครงสร้าง และจีโนมช่วยให้ AWS สร้างผลิตภัณฑ์และบริการที่ให้การวินิจฉัยและการรักษาที่ตรงเป้าหมายและตรงเป้าหมายสูง ในเวลาว่าง เขาชอบฟัง (และเล่น) เพลงและเดินทางท่องเที่ยวกับครอบครัวโดยไม่ได้วางแผน
เชาหยาง เหอ เป็นผู้ร่วมก่อตั้งและ CTO ของ FedML, Inc. ซึ่งเป็นสตาร์ทอัพที่ทำงานเพื่อชุมชนที่สร้าง AI แบบเปิดและทำงานร่วมกันได้จากทุกที่ในทุกระดับ งานวิจัยของเขามุ่งเน้นไปที่อัลกอริธึม ระบบ และแอปพลิเคชันการเรียนรู้ของเครื่องแบบกระจาย/รวมศูนย์ เขาได้รับปริญญาเอกของเขา สาขาวิทยาการคอมพิวเตอร์จาก มหาวิทยาลัยแห่งแคลิฟอร์เนียภาคใต้ลอสแองเจลิส สหรัฐอเมริกา
ซัลมาน อาเวสตีเมียร์ เป็นผู้ร่วมก่อตั้งและซีอีโอของ FedML, Inc. ซึ่งเป็นสตาร์ทอัพที่ดำเนินการเพื่อสร้างชุมชน AI ที่เปิดกว้างและทำงานร่วมกันได้จากทุกที่และทุกขนาด Salman Avestimehr เป็นผู้เชี่ยวชาญที่มีชื่อเสียงระดับโลกในด้านการเรียนรู้แบบสมาพันธ์ โดยเป็นผู้นำด้านการวิจัยและพัฒนามากกว่า 20 ปีทั้งในด้านวิชาการและอุตสาหกรรม เขาเป็นศาสตราจารย์ของคณบดีและเป็นผู้อำนวยการคนแรกของ USC-Amazon Center on Trustworthy Machine Learning ที่มหาวิทยาลัยเซาเทิร์นแคลิฟอร์เนีย เขายังเคยเป็น Scholar ของ Amazon ใน Amazon อีกด้วย เขาเป็นผู้ชนะรางวัลประธานาธิบดีสหรัฐอเมริกาจากการมีส่วนร่วมอย่างลึกซึ้งในด้านเทคโนโลยีสารสนเทศ และเป็นสมาชิกของ IEEE
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/part-2-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2018
- 2020
- 2021
- 2022
- 28
- 7
- 9
- a
- เกี่ยวกับเรา
- ข้างบน
- สถาบันการศึกษา
- เร่งความเร็ว
- ยอมรับ
- เข้า
- Accessed
- ลงชื่อเข้าใช้
- ความรับผิดชอบ
- บัญชี
- บรรลุ
- ข้าม
- กระทำ
- ปรับ
- ที่อยู่
- ที่ยอมรับ
- บุญธรรม
- การนำ
- การนำมาใช้
- การโฆษณา
- หลังจาก
- การรวมตัว
- รวบรวม
- AI
- AI / ML
- อัลกอริทึม
- ทั้งหมด
- ช่วยให้
- อเมซอน
- Amazon EC2
- การวิเคราะห์
- การวิเคราะห์
- วิเคราะห์
- วิเคราะห์
- และ
- Angeles
- อื่น
- ทุกแห่ง
- การใช้งาน
- ประยุกต์
- เข้าใกล้
- เหมาะสม
- สถาปัตยกรรม
- ที่เกี่ยวข้อง
- โดยอัตโนมัติ
- ใช้ได้
- รางวัล
- AWS
- แบ็กเอนด์
- พื้นหลัง
- ตาม
- เพราะ
- ก่อน
- กำลัง
- ด้านล่าง
- มาตรฐาน
- ประโยชน์
- ระหว่าง
- ปิดกั้น
- บล็อก
- คณะกรรมการ
- เกมกระดาน
- กล่อง
- BP
- สร้าง
- การก่อสร้าง
- สร้าง
- ธุรกิจ
- แคลิฟอร์เนีย
- โทรศัพท์
- จับ
- ซึ่ง
- กรณี
- กรณีศึกษา
- กรณี
- ศูนย์
- ส่วนกลาง
- ผู้บริหารสูงสุด
- ความท้าทาย
- การเปลี่ยนแปลง
- เปลี่ยนแปลง
- ทางเลือก
- Choose
- เลือก
- ชั้น
- การจัดหมวดหมู่
- ไคลเอนต์
- ลูกค้า
- คลินิก
- การทดลองทางคลินิก
- เมฆ
- การยอมรับระบบคลาวด์
- Cluster
- ผู้ร่วมก่อตั้ง
- รหัส
- หมู่คน
- การทำงานร่วมกัน
- เก็บรวบรวม
- คอลัมน์
- คอลัมน์
- อาการโคม่า
- การสื่อสาร
- ชุมชน
- การสร้างชุมชน
- สมบูรณ์
- ครอบคลุม
- คำนวณ
- คอมพิวเตอร์
- วิทยาการคอมพิวเตอร์
- การคำนวณ
- แนวคิด
- แนวความคิด
- องค์ประกอบ
- เชื่อมต่อ
- งานที่เชื่อมต่อ
- การเชื่อมต่อ
- การเชื่อมต่อ
- ถือว่า
- ปลอบใจ
- ต่อ
- ผลงาน
- แปลง
- ตรงกัน
- ราคา
- สร้าง
- ที่สร้างขึ้น
- สร้าง
- การสร้าง
- วิกฤติ
- CTO
- ประเพณี
- ลูกค้า
- ปรับแต่ง
- ข้อมูล
- การเข้าถึงข้อมูล
- การรั่วไหลของข้อมูล
- จุดข้อมูล
- ความเป็นส่วนตัวของข้อมูล
- วิทยาศาสตร์ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- การแชร์ข้อมูล
- ฐานข้อมูล
- ซึ่งกระจายอำนาจ
- การตัดสินใจ
- ลึก
- การเรียนรู้ลึก ๆ
- ค่าเริ่มต้น
- สาธิต
- ปรับใช้
- การใช้งาน
- อธิบาย
- ออกแบบ
- ปลายทาง
- รายละเอียด
- รายละเอียด
- การกำหนด
- พัฒนา
- ที่กำลังพัฒนา
- พัฒนาการ
- บทสนทนา
- ต่าง
- ยาก
- มิติ
- โดยตรง
- ผู้อำนวยการ
- กระจาย
- คอมพิวเตอร์แบบกระจาย
- ระบบกระจาย
- การกระจาย
- ไม่
- การทำ
- โดเมน
- โดเมน
- ยาเสพติด
- การพัฒนายา
- ในระหว่าง
- แต่ละ
- ก่อน
- ระบบนิเวศ
- อย่างมีประสิทธิภาพ
- ที่มีประสิทธิภาพ
- ทำให้สามารถ
- เปิดการใช้งาน
- ช่วยให้
- จบสิ้น
- วิศวกร
- ทำให้มั่นใจ
- เพื่อให้แน่ใจ
- เข้าสู่
- ความบันเทิง
- ยุค
- ข้อผิดพลาด
- สร้าง
- อีเธอร์ (ETH)
- เหตุการณ์
- ตัวอย่าง
- ที่มีอยู่
- ที่คาดหวัง
- ประสบการณ์
- ชำนาญ
- สำรวจ
- ขยายออก
- Eyes
- ความเป็นธรรม
- ครอบครัว
- คุณสมบัติ
- มนุษย์
- รูป
- เนื้อไม่มีมัน
- ไฟล์
- ในที่สุด
- ชื่อจริง
- ไหล
- โฟกัส
- มุ่งเน้น
- มุ่งเน้นไปที่
- ปฏิบัติตาม
- ดังต่อไปนี้
- โชคลาภ
- พบ
- กรอบ
- ฟรี
- ราคาเริ่มต้นที่
- ฟังก์ชัน
- ฟังก์ชั่น
- ต่อไป
- นอกจากนี้
- อนาคต
- เกม
- เพศ
- ฟังก์ชั่น
- GIF
- เหตุการณ์ที่
- Go
- เป้าหมาย
- การกำกับดูแล
- GPU
- กราฟ
- กราฟ
- บัญชีกลุ่ม
- กลุ่ม
- แนวทาง
- จัดการ
- สุขภาพ
- การประกันสุขภาพ
- การดูแลสุขภาพ
- จัดขึ้น
- ช่วย
- ช่วย
- การช่วยเหลือ
- จะช่วยให้
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- อย่างสูง
- การธุดงค์
- ประวัติ
- โรงพยาบาล
- โรงพยาบาล
- เป็นเจ้าภาพ
- ชั่วโมง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- HPC
- HTML
- HTTPS
- ในอุดมคติ
- อีอีอี
- ภาพ
- การถ่ายภาพ
- ความไม่สมดุล
- การดำเนินการ
- นำเข้า
- ปรับปรุง
- การปรับปรุง
- in
- เกี่ยวกับการสถาปนา
- อิงค์
- รวมถึง
- ผสมผสาน
- ดัชนี
- อุตสาหกรรม
- ข้อมูล
- โครงสร้างพื้นฐาน
- นักวิเคราะห์ส่วนบุคคลที่หาโอกาสให้เป็นไปได้มากที่สุด
- อินพุต
- ติดตั้ง
- ตัวอย่าง
- ประกัน
- อินเตอร์เฟซ
- อินเทอร์เน็ต
- อินเทอร์เน็ตของสิ่งที่
- IOT
- IT
- ร่วม
- คีย์
- ความรู้
- ป้ายกำกับ
- ห้องปฏิบัติการ
- ไม่มี
- ขนาดใหญ่
- เปิดตัว
- นำ
- ผู้นำ
- ความเป็นผู้นำ
- การเรียนรู้
- ความยาว
- เลฟเวอเรจ
- ยกระดับ
- การใช้ประโยชน์
- ชีวิต
- วิทยาศาสตร์ชีวภาพ
- วิทยาศาสตร์สิ่งมีชีวิต
- Line
- รายการ
- จดทะเบียน
- การฟัง
- โหลด
- loader
- โหลด
- ในประเทศ
- ในท้องถิ่น
- ที่ตั้งอยู่
- นาน
- ลอส
- Los Angeles
- ปิด
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- เก็บรักษา
- การบำรุงรักษา
- ทำ
- ทำให้
- จัดการ
- ผู้จัดการ
- ลักษณะ
- การทำแผนที่
- ดาวอังคาร
- วิธี
- วัด
- ภาพบรรยากาศ
- ทางการแพทย์
- ภาพทางการแพทย์
- พบ
- กล่าวถึง
- วิธี
- วิธีการ
- เอ็มไอที
- บรรเทา
- ML
- อัลกอริทึม ML
- แบบ
- โมเดล
- การตรวจสอบ
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- เครื่องยนต์
- ย้าย
- การย้าย
- หลาย
- ดนตรี
- ชื่อ
- ธรรมชาติ
- การเดินเรือ
- จำเป็นต้อง
- จำเป็น
- ความต้องการ
- เชิงลบ
- เครือข่าย
- ปม
- โหนด
- จำนวน
- มึน
- ONE
- เปิด
- โอเพนซอร์ส
- การดำเนินการ
- ดีที่สุด
- องค์กร
- อื่นๆ
- ด้านนอก
- ของตนเอง
- เป็นเจ้าของ
- เจ้าของ
- บานหน้าต่าง
- พารามิเตอร์
- ส่วนหนึ่ง
- หุ้นส่วน
- พาร์ทเนอร์
- ผ่าน
- กิเลส
- เส้นทาง
- ผู้ป่วย
- ผู้ป่วย
- ลูกแพร์
- ดำเนินการ
- การปฏิบัติ
- ดำเนินการ
- ส่วนบุคคล
- ส่วนบุคคล
- ท่อ
- สถานที่
- แผนการ
- แพลตฟอร์ม
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- กรุณา
- จุด
- จุด
- โพสท่า
- บวก
- โพสต์
- ประยุกต์
- อย่างแม่นยำ
- คาดการณ์
- ทำนาย
- คำทำนาย
- นำเสนอ
- การเสนอ
- ประธานาธิบดี
- ความดัน
- ป้องกัน
- ก่อนหน้านี้
- หลัก
- ความเป็นส่วนตัว
- ส่วนตัว
- ปัญหา
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- การผลิต
- ผลิตภัณฑ์
- สินค้าและบริการ
- ศาสตราจารย์
- กำลังคืบหน้า
- ในอาชีพ
- ห้าม
- โครงการ
- พิสูจน์
- พิสูจน์แนวคิด
- เสนอ
- ให้
- ให้
- การให้
- สาธารณชน
- วัตถุประสงค์
- ไฟฉาย
- วิจัยและพัฒนา
- สุ่ม
- หายาก
- คะแนน
- อัตราส่วน
- RE
- การอ่าน
- พร้อม
- โลกแห่งความจริง
- ที่ได้รับ
- แนะนำ
- ระเบียน
- บันทึก
- บันทึก
- ภูมิภาค
- ถดถอย
- ควบคุม
- หน่วยงานกำกับดูแล
- เอาออก
- กรุ
- แสดงให้เห็นถึง
- ขอ
- ต้องการ
- ความต้องการ
- ความต้องการ
- ต้อง
- การวิจัย
- ว่า
- กลับ
- รับคืน
- ทบทวน
- ถนน
- ลวก
- เส้นทาง
- แถว
- กฎระเบียบ
- วิ่ง
- วิ่ง
- เดียวกัน
- ขนาด
- วิทยาศาสตร์
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- สคริปต์
- ได้อย่างลงตัว
- ที่สอง
- ความปลอดภัย
- แสวงหา
- เลือก
- ตนเอง
- ระดับอาวุโส
- มีความละเอียดอ่อน
- ชุด
- บริการ
- ชุด
- ชุดอุปกรณ์
- การตั้งค่า
- การติดตั้ง
- เจ็ด
- หลาย
- Share
- ที่ใช้ร่วมกัน
- ใช้งานร่วมกัน
- แสดง
- แสดงให้เห็นว่า
- ลงชื่อ
- สัญญาณ
- คล้ายคลึงกัน
- เหมือนกับ
- เดียว
- เว็บไซต์
- สถานที่ทำวิจัย
- So
- ทางออก
- โซลูชัน
- แก้ปัญหา
- แหล่ง
- ทางใต้
- ครอบคลุม
- โดยเฉพาะ
- แยก
- มั่นคง
- มาตรฐาน
- เริ่มต้น
- ข้อความที่เริ่ม
- การเริ่มต้น
- รัฐของศิลปะ
- สหรัฐอเมริกา
- Status
- เข้าพัก
- ขั้นตอน
- การเก็บรักษา
- โครงสร้าง
- ข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง
- ศึกษา
- สไตล์
- ซับเน็ต
- อย่างเช่น
- เพียงพอ
- สนับสนุน
- รองรับ
- การสำรวจ
- ระบบ
- ระบบ
- ตาราง
- TAG
- การ
- เป้า
- เป้าหมาย
- งาน
- อนุกรมวิธาน
- เทคโนโลยี
- เทคโนโลยี
- เทมเพลต
- ทดสอบ
- พื้นที่
- ของพวกเขา
- การบำบัดโรค
- สิ่ง
- ที่สาม
- คิดว่า
- สาม
- ตลอด
- ตลอด
- เวลา
- อนุกรมเวลา
- ต้องใช้เวลามาก
- ไปยัง
- เครื่องมือ
- เครื่องมือ
- ไฟฉาย
- คบเพลิง
- รวม
- ลู่
- การจราจร
- รถไฟ
- การฝึกอบรม
- โอน
- การทดลอง
- เชื่อถือได้
- ชนิด
- เป็นปกติ
- พื้นฐาน
- ความเข้าใจ
- เป็นเอกลักษณ์
- หน่วย
- พร้อมใจกัน
- ประเทศสหรัฐอเมริกา
- หน่วย
- มหาวิทยาลัย
- มหาวิทยาลัยแห่งแคลิฟอร์เนียภาคใต้
- บันทึก
- การปรับปรุง
- us
- สหรัฐอเมริกา
- ใช้
- ใช้กรณี
- ความคุ้มค่า
- ความคุ้มค่า
- ความหลากหลาย
- ต่างๆ
- กว้างใหญ่
- แนวดิ่ง
- ผ่านทาง
- วีดีโอ
- เสมือน
- มองเห็นได้
- จำเป็น
- คำแนะนำ
- ที่
- ในขณะที่
- WHO
- กว้าง
- จะ
- ภายใน
- ไม่มี
- งาน
- โรงงาน
- มีชื่อเสียงระดับโลก
- X
- ปี
- ของคุณ
- ลมทะเล