การลดความซ้ำซ้อนของข้อมูล (Data De-duplication) เป็นเทคโนโลยีการจัดเก็บข้อมูลที่ได้รับความนิยมและแพร่หลาย ซึ่งช่วยเพิ่มประสิทธิภาพการจัดเก็บข้อมูล โดยจะกำจัดข้อมูลที่ซ้ำซ้อนออกจากชุดข้อมูล เหลือไว้เพียงสำเนาเดียว ดังแสดงในรูปด้านล่าง เทคโนโลยีนี้สามารถลดความต้องการพื้นที่จัดเก็บข้อมูลทางกายภาพได้อย่างมาก เพื่อตอบสนองความต้องการจัดเก็บข้อมูลที่เพิ่มขึ้น เทคโนโลยีการลดความซ้ำซ้อนของข้อมูลสามารถนำมาซึ่งประโยชน์ในทางปฏิบัติมากมาย โดยหลักๆ แล้วได้แก่:
| (1) | ตรงตามข้อกำหนด ROI (ผลตอบแทนจากการลงทุน)/TCO (ต้นทุนรวมในการเป็นเจ้าของ) |
| (2) | การเพิ่มขึ้นอย่างรวดเร็วของข้อมูลสามารถควบคุมได้อย่างมีประสิทธิภาพ |
| (3) | เพิ่มพื้นที่จัดเก็บที่มีประสิทธิภาพและปรับปรุงประสิทธิภาพการจัดเก็บให้ดียิ่งขึ้น |
| (4) | ประหยัดค่าใช้จ่ายโดยรวมในการจัดเก็บและบริหารจัดการ |
| (5) | ประหยัดแบนด์วิดท์เครือข่ายสำหรับการส่งข้อมูล; |
| (6) | ประหยัดค่าใช้จ่ายในการดำเนินงานและการบำรุงรักษา เช่น พื้นที่ พลังงาน และระบบทำความเย็น |
เทคโนโลยีการลดข้อมูลซ้ำซ้อน (Dedupe) ถูกนำมาใช้กันอย่างแพร่หลายในระบบสำรองข้อมูลและการจัดเก็บข้อมูล เนื่องจากมีข้อมูลซ้ำกันจำนวนมากหลังจากการสำรองข้อมูลหลายครั้ง ซึ่งเทคโนโลยีนี้เหมาะสมเป็นอย่างยิ่ง ที่จริงแล้ว เทคโนโลยีการลดข้อมูลซ้ำซ้อนสามารถนำไปใช้ได้ในหลายสถานการณ์ รวมถึงข้อมูลออนไลน์ ข้อมูลใกล้เคียงออนไลน์ และระบบจัดเก็บข้อมูลแบบออฟไลน์ สามารถนำไปใช้ในระบบไฟล์ ตัวจัดการวอลุ่ม NAS และ SANs ได้ นอกจากนี้ การลดข้อมูลซ้ำซ้อนยังสามารถใช้สำหรับการกู้คืนข้อมูลจากภัยพิบัติ การส่งและซิงโครไนซ์ข้อมูล และใช้เป็นเทคโนโลยีการบีบอัดข้อมูลสำหรับการจัดแพ็กเกจข้อมูลได้อีกด้วย เทคโนโลยีการลดข้อมูลซ้ำซ้อนสามารถช่วยให้แอปพลิเคชันต่างๆ ลดพื้นที่จัดเก็บข้อมูล ประหยัดแบนด์วิดท์เครือข่าย ปรับปรุงประสิทธิภาพการจัดเก็บ ลดระยะเวลาการสำรองข้อมูล และประหยัดค่าใช้จ่ายได้
การลดความซ้ำซ้อนของข้อมูลมีสองมิติหลัก ได้แก่ อัตราส่วนการลดความซ้ำซ้อนและประสิทธิภาพ ประสิทธิภาพการลดความซ้ำซ้อนขึ้นอยู่กับเทคโนโลยีการใช้งานเฉพาะ ในขณะที่อัตราการลดความซ้ำซ้อนนั้นถูกกำหนดโดยลักษณะของข้อมูลเองและรูปแบบการใช้งาน ดังแสดงในตารางด้านล่าง ปัจจุบันผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูลรายงานอัตราการลดความซ้ำซ้อนตั้งแต่ 20:1 ถึง 500:1
| อัตราการกำจัดข้อมูลซ้ำสูง | อัตราการกำจัดข้อมูลซ้ำต่ำ |
| ข้อมูลที่ผู้ใช้สร้างขึ้น | ข้อมูลจากโลกธรรมชาติ |
| ข้อมูลอัตราการเปลี่ยนแปลงต่ำ | ข้อมูลมีการเปลี่ยนแปลงในอัตราสูง |
| ข้อมูลอ้างอิง, ข้อมูลที่ไม่ได้ใช้งาน | ข้อมูลที่ใช้งานอยู่ |
| แอปพลิเคชันอัตราการเปลี่ยนแปลงข้อมูลต่ำ | แอปพลิเคชันที่มีอัตราการเปลี่ยนแปลงข้อมูลสูง |
| การสำรองข้อมูลแบบเต็ม | การสำรองข้อมูลแบบเพิ่มทีละส่วน |
| การจัดเก็บข้อมูลระยะยาว | การจัดเก็บข้อมูลระยะสั้น |
| แอปพลิเคชันข้อมูลที่หลากหลาย | ขอบเขตการใช้งานข้อมูลขนาดเล็ก |
| การประมวลผลข้อมูลทางธุรกิจอย่างต่อเนื่อง | การประมวลผลข้อมูลทั่วไปทางธุรกิจ |
| การแบ่งส่วนข้อมูลขนาดเล็ก | การแบ่งกลุ่มข้อมูลขนาดใหญ่ |
| ขยายการแบ่งส่วนข้อมูล | การแบ่งส่วนข้อมูลความยาวคงที่ |
| เนื้อหาข้อมูลที่รับรู้ | ไม่ทราบเนื้อหาข้อมูล |
| การลบข้อมูลซ้ำซ้อนตามเวลา | การกำจัดข้อมูลซ้ำซ้อนเชิงพื้นที่ |
จุดดำเนินการของการลบข้อมูลซ้ำซ้อน
ควรพิจารณาปัจจัยต่างๆ เมื่อพัฒนาหรือประยุกต์ใช้เทคโนโลยีการลดความซ้ำซ้อน เนื่องจากปัจจัยเหล่านี้ส่งผลโดยตรงต่อประสิทธิภาพและประสิทธิผลของเทคโนโลยี
| (1) | อะไร | ข้อมูลใดบ้างที่ถูกลดน้ำหนักน้ำหนัก? |
| (2) | เมื่อไร | น้ำหนักส่วนเกินจะถูกกำจัดออกไปเมื่อไหร่? |
| (3) | ที่ไหน | การกำจัดน้ำหนักอยู่ที่ไหน? |
| (4) | ยังไง | วิธีลดน้ำหนัก? |
เทคโนโลยีคีย์ดีดซ้ำ
โดยทั่วไป กระบวนการลดความซ้ำซ้อนของข้อมูลในระบบจัดเก็บข้อมูลมีดังนี้: ขั้นแรก ไฟล์ข้อมูลจะถูกแบ่งออกเป็นชุดข้อมูล สำหรับแต่ละบล็อกข้อมูลจะคำนวณลายนิ้วมือ จากนั้นใช้แฮชของลายนิ้วมือในการค้นหาคำหลัก หากพบการจับคู่ จะระบุบล็อกข้อมูลที่ซ้ำกัน โดยจะจัดเก็บเฉพาะหมายเลขดัชนีของบล็อกข้อมูลเท่านั้น มิฉะนั้น หมายความว่าบล็อกข้อมูลนั้นเป็นชิ้นส่วนใหม่ของไฟล์ จึงทำการจัดเก็บบล็อกข้อมูลและสร้างข้อมูลเมตาที่เกี่ยวข้อง ดังนั้น ไฟล์ทางกายภาพในระบบจัดเก็บข้อมูลจึงสอดคล้องกับการแสดงเชิงตรรกะของชุดข้อมูลเมตา FP เมื่ออ่านไฟล์ ขั้นแรกจะอ่านไฟล์เชิงตรรกะก่อน จากนั้นตามลำดับ FP จะดึงบล็อกข้อมูลที่ตรงกันจากระบบจัดเก็บข้อมูลและกู้คืนสำเนาของไฟล์ทางกายภาพ จากกระบวนการข้างต้นจะเห็นได้ว่าเทคโนโลยีหลักของการลดความซ้ำซ้อน ได้แก่ การแบ่งส่วนบล็อกข้อมูล การคำนวณลายนิ้วมือของบล็อกข้อมูล และการดึงบล็อกข้อมูล
(1) การแบ่งบล็อกข้อมูลไฟล์
(2) การคำนวณลายนิ้วมือบล็อกข้อมูล
(3) การเรียกบล็อกข้อมูล
หากต้องการค้นหารุ่นที่แนะนำเหล่านี้เพื่อเริ่มต้นการลดความซ้ำซ้อนของแพ็กเก็ตเครือข่ายของคุณ:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ บวก 4*40GE/100GE QSFP28 ความเร็วสูงสุด 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 และ 48*10GE/25GE SFP28 ความเร็วสูงสุด 1.8Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ และ 2*40GE QSFP ความเร็วสูงสุด 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, ความเร็วสูงสุด 480Gbps, ฟังก์ชั่น Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, ความเร็วสูงสุด 480Gbps
อุปกรณ์ตัวกลางส่งแพ็กเก็ตเครือข่าย (NPB) Mylinking™ รุ่น ML-NPB-2410P24*10GE SFP+, ความเร็วสูงสุด 240Gbps, ฟังก์ชัน DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ บวก 4*40GE/100GE QSFP28 ความเร็วสูงสุด 880Gbps
วันที่โพสต์: 18 ตุลาคม 2565
