วิวัฒนาการใน ETL: การข้ามการเปลี่ยนแปลงช่วยเพิ่มการจัดการข้อมูลได้อย่างไร - KDnuggets

วิวัฒนาการใน ETL: การข้ามการเปลี่ยนแปลงช่วยเพิ่มการจัดการข้อมูลได้อย่างไร – KDnuggets

Time Stamp: 12 ธันวาคม 2023 10:00 น.
โหนดต้นทาง: 2420723

วิวัฒนาการใน ETL: การข้ามการเปลี่ยนแปลงช่วยเพิ่มการจัดการข้อมูลได้อย่างไร
รูปภาพโดยบรรณาธิการ
 

แนวคิดข้อมูลเพียงไม่กี่แนวคิดที่มีการแบ่งขั้วมากกว่า ETL (แยก-แปลง-โหลด) ซึ่งเป็นเทคนิคการเตรียมการที่ครอบงำการดำเนินงานขององค์กรมานานหลายทศวรรษ ETL ได้รับการพัฒนาในปี 1970 และโดดเด่นในยุคของคลังข้อมูลและพื้นที่เก็บข้อมูลขนาดใหญ่ ทีมข้อมูลองค์กรรวมศูนย์ข้อมูล ระบบการรายงานแบบเลเยอร์และแบบจำลองวิทยาศาสตร์ข้อมูลไว้ด้านบน และเปิดใช้งานการเข้าถึงเครื่องมือระบบธุรกิจอัจฉริยะ (BI) แบบบริการตนเอง อย่างไรก็ตาม ETL ได้แสดงให้เห็นอายุในยุคของบริการคลาวด์ โมเดลข้อมูล และกระบวนการดิจิทัล  

การค้นหาเช่น “ETL ยังคงเกี่ยวข้อง/เป็นที่ต้องการ/ล้าสมัย/ตายแล้ว?” เติมผลลัพธ์บน Google สาเหตุก็คือทีมข้อมูลขององค์กรกำลังคร่ำครวญภายใต้ภาระหนักในการเตรียมข้อมูลเพื่อใช้อย่างแพร่หลายในบทบาทของพนักงานและสายงานทางธุรกิจ ETL ไม่สามารถปรับขนาดได้อย่างง่ายดายเพื่อรองรับข้อมูลประวัติจำนวนมหาศาลที่จัดเก็บไว้ในระบบคลาวด์ และไม่ได้ส่งข้อมูลแบบเรียลไทม์ที่จำเป็นสำหรับการตัดสินใจของผู้บริหารอย่างรวดเร็ว นอกจากนี้ การสร้าง API แบบกำหนดเองเพื่อให้แอปพลิเคชันได้รับข้อมูลยังสร้างความซับซ้อนในการจัดการอย่างมาก ไม่ใช่เรื่องแปลกที่องค์กรยุคใหม่จะมีไปป์ไลน์ 500 ถึง 1,000 ไปป์ไลน์ เนื่องจากพวกเขาต้องการแปลงข้อมูลและจัดเตรียมผู้ใช้ให้สามารถเข้าถึงเครื่องมือ BI แบบบริการตนเองได้ อย่างไรก็ตาม API เหล่านี้มีการพัฒนาอย่างต่อเนื่อง เนื่องจากจะต้องได้รับการตั้งโปรแกรมใหม่เมื่อข้อมูลที่ดึงมามีการเปลี่ยนแปลง เห็นได้ชัดว่ากระบวนการนี้เปราะบางเกินไปสำหรับความต้องการข้อมูลสมัยใหม่หลายอย่าง เช่น กรณีการใช้งาน Edge 

นอกจากนี้ ความสามารถของแอปพลิเคชันยังได้พัฒนาอีกด้วย ระบบต้นทางให้ตรรกะทางธุรกิจและเครื่องมือในการบังคับใช้คุณภาพข้อมูลในขณะที่ใช้งานแอปพลิเคชันช่วยให้เกิดการเปลี่ยนแปลงข้อมูลและให้ชั้นความหมายที่แข็งแกร่ง ดังนั้น ทีมจึงมีแรงจูงใจน้อยลงในการสร้างอินเทอร์เฟซแบบจุดต่อจุดเพื่อย้ายข้อมูลในวงกว้าง แปลงข้อมูล และโหลดลงในคลังข้อมูล 

เทคนิคที่เป็นนวัตกรรมใหม่สองประการชี้ให้เห็นถึงวิธีการทำให้ข้อมูลเป็นประชาธิปไตยในขณะที่ลดภาระการเปลี่ยนแปลง Zero ETL ทำให้ข้อมูลพร้อมใช้งานโดยไม่ต้องย้าย ในขณะที่ ETL แบบย้อนกลับจะพุชแทนที่จะดึงข้อมูลไปยังแอปพลิเคชันที่ต้องการทันทีที่พร้อมใช้งาน 

Zero ETL ปรับการเคลื่อนไหวของชุดข้อมูลขนาดเล็กให้เหมาะสม ด้วยการจำลองข้อมูล ข้อมูลจะถูกย้ายไปยังคลาวด์ในสถานะปัจจุบันเพื่อใช้กับแบบสอบถามข้อมูลหรือการทดลอง 

แต่จะเกิดอะไรขึ้นหากทีมไม่ต้องการย้ายข้อมูลเลย

เซิร์ฟเวอร์นามธรรมข้อมูลการจำลองเสมือนจากผู้ใช้ปลายทาง เมื่อผู้ใช้สอบถามข้อมูลจากแหล่งเดียว ผลลัพธ์นั้นจะถูกผลักกลับไปหาพวกเขา และด้วยการเชื่อมโยงแบบสอบถาม ผู้ใช้สามารถสืบค้นแหล่งข้อมูลหลายแหล่งได้ เครื่องมือนี้จะรวมผลลัพธ์และนำเสนอผลลัพธ์ข้อมูลแบบรวมแก่ผู้ใช้ 

เทคนิคเหล่านี้เรียกว่า ETL เป็นศูนย์ เนื่องจากไม่จำเป็นต้องสร้างไปป์ไลน์หรือแปลงข้อมูล ผู้ใช้จัดการคุณภาพข้อมูลและความต้องการในการรวบรวมข้อมูลได้ทันที 

Zero ETL เหมาะอย่างยิ่งสำหรับการวิเคราะห์เฉพาะกิจของข้อมูลระยะสั้น เนื่องจากการสืบค้นข้อมูลในอดีตจำนวนมากอาจส่งผลเสียต่อประสิทธิภาพการดำเนินงานและเพิ่มต้นทุนการจัดเก็บข้อมูล ตัวอย่างเช่น ผู้บริหารร้านค้าปลีกและสินค้าอุปโภคบริโภคจำนวนมากใช้ ETL เป็นศูนย์เพื่อค้นหาข้อมูลธุรกรรมรายวันเพื่อมุ่งเน้นกลยุทธ์การตลาดและการขายในช่วงเวลาที่มีความต้องการสูงสุด เช่น วันหยุด 

Google Cortex มีตัวเร่งความเร็วทำให้เปิดใช้งาน ETL เป็นศูนย์ การวางแผนทรัพยากรองค์กร SAP ข้อมูลระบบ บริษัทอื่นๆ เช่น หนึ่งในผู้ค้าปลีกรายใหญ่ที่สุดของโลกและบริษัทอาหารและเครื่องดื่มระดับโลก ต่างก็นำกระบวนการ ETL ที่เป็นศูนย์มาใช้เช่นกัน 

กำไรจาก ETL เป็นศูนย์ ได้แก่: 

  • ให้ความเร็วในการเข้าถึง: การใช้กระบวนการ ETL เป็นศูนย์เพื่อจัดเตรียมข้อมูลสำหรับการสืบค้นแบบบริการตนเองช่วยประหยัดเวลาได้ 40-50% เมื่อใช้กระบวนการ ETL แบบดั้งเดิม เนื่องจากไม่จำเป็นต้องสร้างไปป์ไลน์
  • การลดข้อกำหนดในการจัดเก็บข้อมูล: ข้อมูลไม่เคลื่อนย้ายด้วยการจำลองเสมือนของข้อมูลหรือการรวมแบบสอบถาม ผู้ใช้จัดเก็บเฉพาะผลลัพธ์การสืบค้น ส่งผลให้ความต้องการในการจัดเก็บข้อมูลลดลง
  • มอบการประหยัดต้นทุน: ทีมที่ใช้กระบวนการ ETL เป็นศูนย์ช่วยประหยัดค่าใช้จ่ายในการจัดเตรียมข้อมูลและจัดเก็บข้อมูลได้ 30-40% เมื่อเทียบกับ ETL แบบเดิม
  • การปรับปรุงประสิทธิภาพข้อมูล: เนื่องจากผู้ใช้ค้นหาเฉพาะข้อมูลที่ต้องการ ผลลัพธ์จึงเร็วขึ้น 25%  

ในการเริ่มต้นใช้งาน ETL เป็นศูนย์ ทีมควรประเมินว่ากรณีการใช้งานใดเหมาะสมที่สุดสำหรับเทคนิคนี้ และระบุองค์ประกอบข้อมูลที่พวกเขาจำเป็นต้องใช้ในการดำเนินการ พวกเขาควรกำหนดค่าเครื่องมือ ETL เป็นศูนย์ให้ชี้ไปยังแหล่งข้อมูลที่ต้องการ จากนั้นทีมจะแยกข้อมูล สร้างสินทรัพย์ข้อมูล และเปิดเผยให้กับผู้ใช้ดาวน์สตรีม 

เทคนิค Reverse ETL ช่วยให้การไหลของข้อมูลไปยังแอปพลิเคชันดาวน์สตรีมง่ายขึ้น แทนที่จะใช้ REST API หรือจุดสิ้นสุดและเขียนสคริปต์เพื่อดึงข้อมูล ทีมใช้ประโยชน์จากเครื่องมือ ETL แบบย้อนกลับเพื่อส่งข้อมูลเข้าสู่กระบวนการทางธุรกิจตรงเวลาและเต็มจำนวน 

การใช้ Reverse ETL ให้ประโยชน์ดังต่อไปนี้:

  • ลดเวลาและความพยายาม: การใช้ ETL แบบย้อนกลับสำหรับกรณีการใช้งานหลักจะช่วยลดเวลาและความพยายามในการเข้าถึงข้อมูลสำหรับกรณีการใช้งานหลักลง 20-25% บริษัทเดินเรือชั้นนำใช้ประโยชน์จาก Reverse ETL สำหรับโครงการริเริ่มด้านการตลาดดิจิทัล
  • การปรับปรุงความพร้อมของข้อมูล: ทีมมีความมั่นใจมากขึ้นว่าพวกเขาจะสามารถเข้าถึงข้อมูลที่จำเป็นสำหรับการริเริ่มที่สำคัญ เนื่องจากข้อมูลเป้าหมาย 90-95% จะถูกส่งตรงเวลา
  • ลดต้นทุน: กระบวนการ ETL แบบย้อนกลับช่วยลดความจำเป็นในการใช้ API ซึ่งต้องใช้ทักษะการเขียนโปรแกรมเฉพาะทาง และเพิ่มความซับซ้อนในการจัดการ ส่งผลให้ทีมลดต้นทุนข้อมูลลงได้ 20-25% 

หากต้องการเริ่มต้นใช้งาน Reverse ETL ทีมข้อมูลควรประเมินกรณีการใช้งานที่ต้องใช้ข้อมูลตามความต้องการ จากนั้น พวกเขาจะกำหนดความถี่และปริมาณของข้อมูลที่จะส่ง และเลือกเครื่องมือที่เหมาะสมในการจัดการกับปริมาณข้อมูลเหล่านี้ จากนั้นจะชี้สินทรัพย์ข้อมูลในคลังข้อมูลไปยังระบบการบริโภคปลายทาง ทีมควรสร้างต้นแบบด้วยการโหลดข้อมูลเดียวเพื่อวัดประสิทธิภาพและปรับขนาดกระบวนการ 

เครื่องมือ Zero ETL และ Reverse ETL ช่วยให้ทีมมีตัวเลือกใหม่ในการให้บริการข้อมูลแก่ผู้ใช้และแอปพลิเคชัน พวกเขาสามารถวิเคราะห์ปัจจัยต่างๆ เช่น ข้อกำหนดกรณีการใช้งาน ปริมาณข้อมูล กรอบเวลาการจัดส่ง และตัวขับเคลื่อนต้นทุน เพื่อเลือกตัวเลือกที่ดีที่สุดสำหรับการส่งข้อมูล ไม่ว่าจะเป็น ETL แบบดั้งเดิม ETL เป็นศูนย์ หรือ ETL แบบย้อนกลับ

พันธมิตรสนับสนุนความพยายามเหล่านี้โดยการให้ข้อมูลเชิงลึกเกี่ยวกับเทคนิคและเครื่องมือที่ดีที่สุดเพื่อตอบสนองความต้องการด้านการใช้งานและที่ไม่ใช้งานได้ จัดทำดัชนีชี้วัดแบบถ่วงน้ำหนัก ดำเนินการพิสูจน์คุณค่า (POV) ด้วยเครื่องมือที่ชนะเลิศ จากนั้นจึงนำเครื่องมือไปใช้งานสำหรับกรณีการใช้งานเพิ่มเติม 

ด้วย ETL เป็นศูนย์และ ETL แบบย้อนกลับ ทีมข้อมูลจะบรรลุเป้าหมายในการเพิ่มศักยภาพให้กับผู้ใช้และแอปพลิเคชันด้วยข้อมูลที่พวกเขาต้องการทุกที่ทุกเวลาที่ต้องการ ขับเคลื่อนต้นทุนและประสิทธิภาพที่เพิ่มขึ้น ในขณะเดียวกันก็หลีกเลี่ยงปัญหาปวดหัวในการเปลี่ยนแปลง 
 
 

อาร์นับ เซนเป็นมืออาชีพที่มีประสบการณ์และมีอาชีพยาวนานกว่า 16 ปีในอุตสาหกรรมเทคโนโลยีและวิทยาศาสตร์การตัดสินใจ ปัจจุบันเขาดำรงตำแหน่งรองประธานฝ่ายวิศวกรรมข้อมูลที่ Tredence ซึ่งเป็นบริษัทวิเคราะห์ข้อมูลที่โดดเด่น โดยเขาช่วยองค์กรต่างๆ ออกแบบกลยุทธ์ AI-ML/คลาวด์/Big-data ด้วยความเชี่ยวชาญของเขาในการสร้างรายได้จากข้อมูล Arnab ได้ค้นพบศักยภาพที่ซ่อนอยู่ของข้อมูลเพื่อขับเคลื่อนการเปลี่ยนแปลงทางธุรกิจสำหรับลูกค้า B2B และ B2C จากอุตสาหกรรมที่หลากหลาย
 
ความหลงใหลในการสร้างทีมและความสามารถในการปรับขนาดบุคลากร กระบวนการ และชุดทักษะของ Arnab ช่วยให้เขาประสบความสำเร็จในการจัดการพอร์ตการลงทุนมูลค่าหลายล้านดอลลาร์ในธุรกิจแนวดิ่งต่างๆ รวมถึงโทรคมนาคม การค้าปลีก และ BFSI ก่อนหน้านี้เขาเคยดำรงตำแหน่งที่ Mu Sigma และ IGate ซึ่งเขามีบทบาทสำคัญในการแก้ปัญหาของลูกค้าโดยการพัฒนาโซลูชั่นที่เป็นนวัตกรรม
 
ทักษะความเป็นผู้นำที่ยอดเยี่ยมและความรู้ด้านขอบเขตที่ลึกซึ้งของ Arnab ทำให้เขาได้รับตำแหน่งใน Forbes Tech Council

เพิ่มเติมในหัวข้อนี้

ประทับเวลา:

เพิ่มเติมจาก KD นักเก็ต