การกำจัดข้อมูลซ้ำซ้อนเป็นเทคโนโลยีการจัดเก็บข้อมูลที่นิยมใช้กันมากซึ่งช่วยเพิ่มประสิทธิภาพความจุในการจัดเก็บข้อมูล โดยจะกำจัดข้อมูลซ้ำซ้อนด้วยการลบข้อมูลซ้ำซ้อนออกจากชุดข้อมูล ทำให้เหลือสำเนาเพียงชุดเดียว ดังที่แสดงในภาพด้านล่าง เทคโนโลยีนี้สามารถลดความต้องการพื้นที่จัดเก็บข้อมูลจริงลงได้อย่างมากเพื่อตอบสนองความต้องการในการจัดเก็บข้อมูลที่เพิ่มขึ้น เทคโนโลยีการกำจัดข้อมูลซ้ำซ้อนสามารถนำมาซึ่งประโยชน์ในทางปฏิบัติมากมาย โดยส่วนใหญ่ได้แก่ด้านต่างๆ ดังต่อไปนี้:
| (1) | ตอบสนองข้อกำหนด ROI (ผลตอบแทนจากการลงทุน) / TCO (ต้นทุนรวมในการเป็นเจ้าของ) |
| (2) | การเติบโตอย่างรวดเร็วของข้อมูลสามารถควบคุมได้อย่างมีประสิทธิภาพ |
| (3) | เพิ่มพื้นที่จัดเก็บที่มีประสิทธิภาพและปรับปรุงประสิทธิภาพในการจัดเก็บ; |
| (4) | ประหยัดต้นทุนการจัดเก็บและต้นทุนการบริหารจัดการรวม; |
| (5) | บันทึกแบนด์วิธเครือข่ายในการส่งข้อมูล; |
| (6) | ประหยัดค่าใช้จ่ายในการดำเนินงานและการบำรุงรักษา เช่น พื้นที่ แหล่งจ่ายไฟ และการทำความเย็น |
เทคโนโลยี Dedupe ถูกใช้กันอย่างแพร่หลายในระบบสำรองข้อมูลและการเก็บถาวรข้อมูล เนื่องจากมีข้อมูลซ้ำซ้อนจำนวนมากหลังจากสำรองข้อมูลหลายครั้ง ซึ่งเหมาะสำหรับเทคโนโลยีนี้มาก ในความเป็นจริง เทคโนโลยี Dedupe สามารถใช้ได้ในหลายสถานการณ์ รวมถึงข้อมูลออนไลน์ ข้อมูลระยะใกล้ และระบบจัดเก็บข้อมูลออฟไลน์ สามารถนำไปใช้ในระบบไฟล์ ผู้จัดการวอลุ่ม NAS และ Sans ได้ นอกจากนี้ เทคโนโลยี Dedupe ยังใช้สำหรับการกู้คืนข้อมูลในกรณีภัยพิบัติ การส่งและการซิงโครไนซ์ข้อมูล เนื่องจากเทคโนโลยีการบีบอัดข้อมูลสามารถใช้สำหรับการแพ็คเกจข้อมูลได้ เทคโนโลยี Dedupe ช่วยให้แอปพลิเคชันต่างๆ ลดพื้นที่จัดเก็บข้อมูล ประหยัดแบนด์วิดท์เครือข่าย ปรับปรุงประสิทธิภาพพื้นที่จัดเก็บข้อมูล ลดระยะเวลาการสำรองข้อมูล และประหยัดต้นทุน
การกำจัดข้อมูลซ้ำซ้อนมีสองมิติหลัก: อัตราส่วนการกำจัดข้อมูลซ้ำซ้อนและประสิทธิภาพ ประสิทธิภาพของการกำจัดข้อมูลซ้ำซ้อนขึ้นอยู่กับเทคโนโลยีการใช้งานเฉพาะ ในขณะที่อัตราการกำจัดข้อมูลซ้ำซ้อนนั้นจะถูกกำหนดโดยคุณลักษณะของข้อมูลนั้นเองและรูปแบบแอปพลิเคชัน ดังที่แสดงในตารางด้านล่าง ปัจจุบันผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูลรายงานอัตราการกำจัดข้อมูลซ้ำซ้อนตั้งแต่ 20:1 ถึง 500:1
| อัตราการขจัดข้อมูลซ้ำซ้อนสูง | อัตราการกำจัดข้อมูลซ้ำซ้อนต่ำ |
| ข้อมูลที่ถูกสร้างโดยผู้ใช้ | ข้อมูลจากธรรมชาติ |
| อัตราการเปลี่ยนแปลงข้อมูลต่ำ | อัตราการเปลี่ยนแปลงข้อมูลสูง |
| ข้อมูลอ้างอิง ข้อมูลที่ไม่ได้ใช้งาน | ข้อมูลที่ใช้งาน |
| แอปพลิเคชั่นที่มีอัตราการเปลี่ยนแปลงข้อมูลต่ำ | แอปพลิเคชั่นที่มีอัตราการเปลี่ยนแปลงข้อมูลสูง |
| สำรองข้อมูลทั้งหมด | การสำรองข้อมูลแบบเพิ่มหน่วย |
| การจัดเก็บข้อมูลระยะยาว | การเก็บข้อมูลระยะสั้น |
| แอปพลิเคชั่นข้อมูลหลากหลาย | แอปพลิเคชั่นข้อมูลมีขอบเขตเล็ก |
| การประมวลผลข้อมูลทางธุรกิจอย่างต่อเนื่อง | การประมวลผลข้อมูลทางธุรกิจทั่วไป |
| การแบ่งส่วนข้อมูลขนาดเล็ก | การแบ่งส่วนข้อมูลขนาดใหญ่ |
| การแบ่งส่วนข้อมูลแบบยาว | การแบ่งส่วนข้อมูลความยาวคงที่ |
| เนื้อหาข้อมูลที่รับรู้ | เนื้อหาข้อมูลไม่ทราบ |
| การขจัดข้อมูลซ้ำซ้อนตามเวลา | การกำจัดข้อมูลซ้ำซ้อนในเชิงพื้นที่ |
จุดการนำข้อมูลซ้ำซ้อนไปใช้งาน
มีปัจจัยต่างๆ มากมายที่ควรพิจารณาเมื่อพัฒนาหรือใช้เทคโนโลยี Dedupe เนื่องจากปัจจัยเหล่านี้ส่งผลโดยตรงต่อประสิทธิภาพการทำงานและประสิทธิผล
| (1) | อะไร | ข้อมูลใดบ้างที่ได้รับการลดน้ำหนัก? |
| (2) | เมื่อไร | น้ำหนักจะลดเมื่อไหร่? |
| (3) | ที่ไหน | การกำจัดน้ำหนักอยู่ไหน? |
| (4) | ยังไง | จะลดน้ำหนักอย่างไร? |
เทคโนโลยีคีย์การลบข้อมูลซ้ำซ้อน
กระบวนการกำจัดข้อมูลซ้ำซ้อนของระบบจัดเก็บข้อมูลโดยทั่วไปมีดังนี้ ก่อนอื่นไฟล์ข้อมูลจะถูกแบ่งออกเป็นชุดข้อมูล สำหรับบล็อกข้อมูลแต่ละบล็อกจะคำนวณลายนิ้วมือ จากนั้นจึงค้นหาคีย์เวิร์ดแฮชลายนิ้วมือตามการจับคู่ซึ่งระบุข้อมูลสำหรับบล็อกข้อมูลที่ซ้ำกัน เก็บเฉพาะหมายเลขดัชนีบล็อกข้อมูล มิฉะนั้น จะหมายความว่าบล็อกข้อมูลเป็นชิ้นเดียวของบล็อกข้อมูลใหม่ จัดเก็บบล็อกข้อมูลและสร้างข้อมูลเมตาที่เกี่ยวข้อง ดังนั้น ไฟล์ทางกายภาพในระบบจัดเก็บข้อมูลจึงสอดคล้องกับการแสดงเชิงตรรกะของชุดข้อมูลเมตาของ FP เมื่ออ่านไฟล์ ให้อ่านไฟล์เชิงตรรกะก่อน จากนั้นตามลำดับ FP นำบล็อกข้อมูลที่สอดคล้องกันออกจากระบบจัดเก็บข้อมูล แล้วเรียกคืนสำเนาของไฟล์ทางกายภาพ จากกระบวนการข้างต้น จะเห็นได้ว่าเทคโนโลยีหลักของการกำจัดข้อมูลซ้ำซ้อนนั้นประกอบด้วยการแบ่งส่วนบล็อกข้อมูลไฟล์ การคำนวณลายนิ้วมือบล็อกข้อมูล และการดึงบล็อกข้อมูลเป็นหลัก
(1) การแบ่งส่วนบล็อกข้อมูลไฟล์
(2) การคำนวณลายนิ้วมือบล็อกข้อมูล
(3) การดึงข้อมูลแบบบล็อก
หากต้องการค้นหาโมเดลที่แนะนำเหล่านี้เพื่อเริ่มการทำสำเนาแพ็คเก็ตเครือข่ายของคุณ:
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ บวก 4*40GE/100GE QSFP28 สูงสุด 880Gbps
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 บวก 48*10GE/25GE SFP28 สูงสุด 1.8Tbps
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ บวก 2*40GE QSFP สูงสุด 560Gbps
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, สูงสุด 480Gbps, ฟังก์ชั่นเพิ่มเติม
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-481048*10GE SFP+ สูงสุด 480Gbps
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, สูงสุด 240Gbps, ฟังก์ชัน DPI
โบรกเกอร์แพ็กเก็ตเครือข่าย Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ บวก 4*40GE/100GE QSFP28 สูงสุด 880Gbps
เวลาโพสต์: 18 ต.ค. 2565
