วิธีแก้ปัญหา “ไมโครเบิร์สต์” ในสถานการณ์การใช้งานแอปพลิเคชันจับปริมาณการรับส่งข้อมูลเครือข่ายบายพาส

ในสถานการณ์การใช้งาน NPB ทั่วไป ปัญหาที่สร้างความยุ่งยากมากที่สุดสำหรับผู้ดูแลระบบคือการสูญหายของแพ็กเก็ตที่เกิดจากความแออัดของแพ็กเก็ตที่จำลองและเครือข่าย NPB การสูญหายของแพ็กเก็ตใน NPB อาจทำให้เกิดอาการทั่วไปดังต่อไปนี้ในเครื่องมือวิเคราะห์แบ็กเอนด์:

- ระบบจะส่งสัญญาณเตือนเมื่อตัวบ่งชี้การตรวจสอบประสิทธิภาพบริการ APM ลดลง และอัตราความสำเร็จในการทำธุรกรรมลดลง

- สัญญาณเตือนความผิดปกติของตัวบ่งชี้การตรวจสอบประสิทธิภาพเครือข่าย NPM ถูกสร้างขึ้น

- ระบบตรวจสอบความปลอดภัยไม่สามารถตรวจจับการโจมตีเครือข่ายได้เนื่องจากการละเว้นเหตุการณ์

- เหตุการณ์ตรวจสอบพฤติกรรมการให้บริการที่ผิดพลาด ซึ่งสร้างขึ้นโดยระบบตรวจสอบบริการ

-

ในฐานะที่เป็นระบบจับและกระจายข้อมูลแบบรวมศูนย์สำหรับการตรวจสอบบายพาส ความสำคัญของ NPB นั้นชัดเจนในตัวเอง ในขณะเดียวกัน วิธีการประมวลผลข้อมูลแพ็กเก็ตของมันก็แตกต่างจากสวิตช์เครือข่ายแบบเรียลไทม์ทั่วไป และเทคโนโลยีการควบคุมความแออัดของเครือข่ายบริการแบบเรียลไทม์หลายแห่งก็ไม่สามารถนำมาใช้กับ NPB ได้ แล้วเราจะแก้ปัญหาการสูญหายของแพ็กเก็ตใน NPB ได้อย่างไร เริ่มจากการวิเคราะห์สาเหตุที่แท้จริงของการสูญหายของแพ็กเก็ตกัน!

การวิเคราะห์สาเหตุหลักของปัญหาการสูญเสียแพ็กเก็ตในระบบ NPB/TAP

อันดับแรก เราจะวิเคราะห์เส้นทางการจราจรจริงและความสัมพันธ์ของการจับคู่ระหว่างระบบกับขาเข้าและขาออกของเครือข่าย NPB ระดับ 1 หรือระดับล่างสุด ไม่ว่า NPB จะมีโครงสร้างเครือข่ายแบบใดก็ตาม ในฐานะระบบรวบรวมข้อมูล จะมีความสัมพันธ์แบบหลายต่อหลายในการรับและส่งข้อมูลระหว่าง "การเข้าถึง" และ "การส่งออก" ของระบบทั้งหมด

ไมโครเบิร์สต์ 1

จากนั้นเราจะมาดูโมเดลธุรกิจของ NPB จากมุมมองของชิป ASIC บนอุปกรณ์เดียว:

ไมโครเบิร์สต์ 2

คุณสมบัติที่ 1: "ปริมาณการรับส่งข้อมูล" และ "อัตราอินเทอร์เฟซทางกายภาพ" ของอินเทอร์เฟซขาเข้าและขาออกไม่สมมาตร ส่งผลให้เกิดไมโครเบิร์สต์จำนวนมากอย่างหลีกเลี่ยงไม่ได้ ในสถานการณ์การรวมปริมาณการรับส่งข้อมูลแบบหลายต่อหนึ่งหรือหลายต่อหลายโดยทั่วไป อัตราทางกายภาพของอินเทอร์เฟซขาออกมักจะน้อยกว่าอัตราทางกายภาพรวมของอินเทอร์เฟซขาเข้า ตัวอย่างเช่น ช่องรับสัญญาณ 10G จำนวน 10 ช่อง และช่องส่งสัญญาณ 10G จำนวน 1 ช่อง ในสถานการณ์การใช้งานแบบหลายระดับ สามารถมอง NPBBS ทั้งหมดเป็นส่วนรวมได้

คุณสมบัติที่ 2ทรัพยากรแคชของชิป ASIC มีจำกัดมาก ในปัจจุบัน ชิป ASIC ที่ใช้กันทั่วไปจะมีแคชเพียง 3-10 เมกะไบต์ ในขณะที่ชิปที่มีความจุ 3.2 เทราไบต์ต่อวินาทีจะมีแคชเพียง 20-50 เมกะไบต์ ซึ่งรวมถึงชิปจากผู้ผลิตหลายราย เช่น BroadCom, Barefoot, CTC, Marvell เป็นต้น

คุณสมบัติที่ 3กลไกการควบคุมการไหลของข้อมูลแบบ PFC ทั่วไปไม่สามารถใช้ได้กับบริการ NPB หัวใจสำคัญของกลไกการควบคุมการไหลของข้อมูลแบบ PFC คือการทำให้เกิดการป้อนกลับเพื่อลดปริมาณการรับส่งข้อมูลแบบ end-to-end และลดการส่งแพ็กเก็ตไปยังโปรโตคอลสแต็กของปลายทางการสื่อสารเพื่อบรรเทาปัญหาความแออัด อย่างไรก็ตาม แหล่งที่มาของแพ็กเก็ตในบริการ NPB เป็นแพ็กเก็ตแบบมิเรอร์ ดังนั้นกลยุทธ์การจัดการความแออัดจึงทำได้เพียงทิ้งหรือแคชเท่านั้น

ต่อไปนี้คือลักษณะของไมโครเบิร์สต์ทั่วไปบนกราฟแสดงอัตราการไหล:

ไมโครเบิร์สต์ 3

ยกตัวอย่างเช่น อินเทอร์เฟซ 10G ในแผนภาพการวิเคราะห์แนวโน้มปริมาณการรับส่งข้อมูลระดับที่สอง อัตราการรับส่งข้อมูลจะคงที่อยู่ที่ประมาณ 3Gbps เป็นเวลานาน แต่ในแผนภาพการวิเคราะห์แนวโน้มระดับไมโครมิลลิวินาที ปริมาณการรับส่งข้อมูลที่พุ่งสูงขึ้น (MicroBurst) นั้นสูงเกินอัตราทางกายภาพของอินเทอร์เฟซ 10G ไปมากแล้ว

เทคนิคสำคัญในการลดผลกระทบจากไมโครเบิร์สต์ของ NPB

ลดผลกระทบจากความไม่ตรงกันของอัตราการเชื่อมต่อทางกายภาพที่ไม่สมมาตร- ในการออกแบบเครือข่าย ควรลดอัตราการรับส่งข้อมูลที่ไม่สมมาตรของอินเทอร์เฟซทางกายภาพให้มากที่สุดเท่าที่จะเป็นไปได้ วิธีทั่วไปคือการใช้ลิงก์อัปโหลดที่มีอัตราสูงกว่า และหลีกเลี่ยงอัตราการรับส่งข้อมูลที่ไม่สมมาตรของอินเทอร์เฟซทางกายภาพ (เช่น การคัดลอกข้อมูล 1 Gbit/s และ 10 Gbit/s พร้อมกัน)

ปรับปรุงนโยบายการจัดการแคชของบริการ NPB ให้เหมาะสม- นโยบายการจัดการแคชทั่วไปที่ใช้กับบริการสวิตช์ไม่สามารถนำมาใช้กับบริการส่งต่อของบริการ NPB ได้ ควรนำนโยบายการจัดการแคชแบบรับประกันคงที่ + การแบ่งปันแบบไดนามิกมาใช้โดยอิงตามคุณลักษณะของบริการ NPB เพื่อลดผลกระทบของไมโครเบิร์สต์ NPB ภายใต้ข้อจำกัดของสภาพแวดล้อมฮาร์ดแวร์ชิปในปัจจุบัน

ดำเนินการจัดการจราจรแบบจำแนกประเภท- ดำเนินการจัดการการจัดลำดับความสำคัญของบริการด้านวิศวกรรมจราจรโดยอิงตามการจัดประเภทจราจร ตรวจสอบคุณภาพบริการของคิวลำดับความสำคัญต่างๆ โดยพิจารณาจากแบนด์วิดท์ของคิวแต่ละประเภท และตรวจสอบให้แน่ใจว่าแพ็กเก็ตข้อมูลบริการที่สำคัญต่อผู้ใช้สามารถส่งต่อได้โดยไม่สูญหาย

โซลูชันระบบที่เหมาะสมจะช่วยเพิ่มประสิทธิภาพการแคชแพ็กเก็ตและความสามารถในการจัดการปริมาณการรับส่งข้อมูล- ผสานรวมโซลูชันผ่านวิธีการทางเทคนิคต่างๆ เพื่อขยายขีดความสามารถในการแคชแพ็กเก็ตของชิป ASIC โดยการปรับรูปร่างการไหลในตำแหน่งต่างๆ ทำให้ไมโครเบิร์สต์กลายเป็นเส้นโค้งการไหลแบบสม่ำเสมอในระดับไมโครหลังจากปรับรูปร่างแล้ว

โซลูชันการจัดการปริมาณการรับส่งข้อมูลแบบไมโครเบิร์สต์ Mylinking™

แผนการที่ 1 - กลยุทธ์การจัดการแคชที่ปรับให้เหมาะสมกับเครือข่าย + การจัดการลำดับความสำคัญของคุณภาพบริการแบบจำแนกประเภททั่วทั้งเครือข่าย

กลยุทธ์การจัดการแคชที่ได้รับการปรับให้เหมาะสมสำหรับเครือข่ายทั้งหมด

ผลิตภัณฑ์รวบรวมทราฟฟิก Mylinking™ พัฒนาขึ้นจากความเข้าใจอย่างลึกซึ้งในลักษณะเฉพาะของบริการ NPB และสถานการณ์ทางธุรกิจจริงของลูกค้าจำนวนมาก โดยใช้กลยุทธ์การจัดการแคช NPB แบบ "การรับประกันแบบคงที่ + การแบ่งปันแบบไดนามิก" สำหรับเครือข่ายทั้งหมด ซึ่งส่งผลดีต่อการจัดการแคชทราฟฟิกในกรณีที่มีอินเทอร์เฟซอินพุตและเอาต์พุตแบบไม่สมมาตรจำนวนมาก และสามารถรองรับไมโครเบิร์สต์ได้สูงสุดเมื่อแคชของชิป ASIC ในปัจจุบันมีขนาดคงที่

เทคโนโลยีการประมวลผลแบบไมโครเบิร์สต์ - การจัดการโดยยึดหลักลำดับความสำคัญทางธุรกิจ

ไมโครเบิร์สต์ 4

เมื่อติดตั้งหน่วยดักจับการรับส่งข้อมูลแบบอิสระ ก็สามารถจัดลำดับความสำคัญได้ตามความสำคัญของเครื่องมือวิเคราะห์แบ็กเอนด์หรือความสำคัญของข้อมูลบริการเอง ตัวอย่างเช่น ในบรรดาเครื่องมือวิเคราะห์หลายๆ ตัว APM/BPC มีความสำคัญมากกว่าเครื่องมือวิเคราะห์ความปลอดภัย/การตรวจสอบความปลอดภัย เนื่องจากเกี่ยวข้องกับการตรวจสอบและวิเคราะห์ข้อมูลตัวชี้วัดต่างๆ ของระบบธุรกิจที่สำคัญ ดังนั้น ในสถานการณ์นี้ ข้อมูลที่ APM/BPC ต้องการสามารถกำหนดให้มีความสำคัญสูง ข้อมูลที่เครื่องมือตรวจสอบความปลอดภัย/การวิเคราะห์ความปลอดภัยต้องการสามารถกำหนดให้มีความสำคัญปานกลาง และข้อมูลที่เครื่องมือวิเคราะห์อื่นๆ ต้องการสามารถกำหนดให้มีความสำคัญต่ำ เมื่อแพ็กเก็ตข้อมูลที่รวบรวมได้เข้าสู่พอร์ตอินพุต ลำดับความสำคัญจะถูกกำหนดตามความสำคัญของแพ็กเก็ต แพ็กเก็ตที่มีลำดับความสำคัญสูงกว่าจะถูกส่งต่อหลังจากแพ็กเก็ตที่มีลำดับความสำคัญสูงกว่าถูกส่งต่อแล้ว และแพ็กเก็ตที่มีลำดับความสำคัญอื่นๆ จะถูกส่งต่อหลังจากแพ็กเก็ตที่มีลำดับความสำคัญสูงกว่าถูกส่งต่อแล้ว หากแพ็กเก็ตที่มีลำดับความสำคัญสูงกว่ายังคงเข้ามาเรื่อยๆ แพ็กเก็ตที่มีลำดับความสำคัญสูงกว่าจะถูกส่งต่อก่อน หากข้อมูลขาเข้ามีปริมาณเกินขีดความสามารถในการส่งต่อของพอร์ตขาออกเป็นเวลานาน ข้อมูลส่วนเกินจะถูกจัดเก็บไว้ในแคชของอุปกรณ์ หากแคชเต็ม อุปกรณ์จะทำการทิ้งแพ็กเก็ตที่มีลำดับต่ำกว่าก่อน กลไกการจัดการแบบจัดลำดับความสำคัญนี้ช่วยให้เครื่องมือวิเคราะห์หลักสามารถเข้าถึงข้อมูลการรับส่งข้อมูลต้นฉบับที่จำเป็นสำหรับการวิเคราะห์ได้อย่างมีประสิทธิภาพแบบเรียลไทม์

เทคโนโลยีการประมวลผลไมโครเบิร์สต์ - กลไกการรับประกันการจำแนกประเภทคุณภาพบริการเครือข่ายทั้งหมด

ไมโครเบิร์สต์ 5

ดังแสดงในรูปข้างต้น เทคโนโลยีการจำแนกประเภทการรับส่งข้อมูลถูกนำมาใช้เพื่อแยกแยะบริการต่างๆ บนอุปกรณ์ทั้งหมดในเลเยอร์การเข้าถึง เลเยอร์การรวม/แกนหลัก และเลเยอร์เอาต์พุต และลำดับความสำคัญของแพ็กเก็ตที่ถูกจับได้จะถูกกำหนดใหม่ ตัวควบคุม SDN จะส่งนโยบายลำดับความสำคัญของการรับส่งข้อมูลแบบรวมศูนย์และนำไปใช้กับอุปกรณ์ส่งต่อ อุปกรณ์ทั้งหมดที่เข้าร่วมในเครือข่ายจะถูกแมปไปยังคิวลำดับความสำคัญที่แตกต่างกันตามลำดับความสำคัญที่แพ็กเก็ตบรรจุอยู่ ด้วยวิธีนี้ แพ็กเก็ตที่มีปริมาณการรับส่งข้อมูลน้อยและมีลำดับความสำคัญสูงสามารถบรรลุการสูญหายของแพ็กเก็ตเป็นศูนย์ได้อย่างมีประสิทธิภาพ แก้ปัญหาการสูญหายของแพ็กเก็ตในการตรวจสอบ APM และบริการตรวจสอบการรับส่งข้อมูลแบบบายพาสสำหรับการตรวจสอบบริการพิเศษได้อย่างมีประสิทธิภาพ

วิธีแก้ปัญหาที่ 2 - แคชระบบขยายขนาดระดับ GB + กลไกการควบคุมปริมาณการรับส่งข้อมูล
แคชระบบระดับ GB แบบขยาย
เมื่ออุปกรณ์หน่วยรับส่งข้อมูลของเรามีขีดความสามารถในการประมวลผลขั้นสูง มันสามารถจัดสรรพื้นที่ในหน่วยความจำ (RAM) จำนวนหนึ่งให้กับอุปกรณ์เพื่อใช้เป็นบัฟเฟอร์ส่วนกลาง ซึ่งช่วยเพิ่มความจุของบัฟเฟอร์ของอุปกรณ์ได้อย่างมาก สำหรับอุปกรณ์รับส่งข้อมูลเพียงตัวเดียว สามารถจัดสรรพื้นที่แคชได้อย่างน้อยระดับ GB เทคโนโลยีนี้ทำให้ความจุของบัฟเฟอร์ของอุปกรณ์หน่วยรับส่งข้อมูลของเราสูงกว่าอุปกรณ์รับส่งข้อมูลแบบดั้งเดิมหลายร้อยเท่า ภายใต้อัตราการส่งต่อข้อมูลเดียวกัน ระยะเวลาการส่งข้อมูลแบบไมโครเบิร์สต์สูงสุดของอุปกรณ์หน่วยรับส่งข้อมูลของเราจะยาวนานขึ้น ระดับมิลลิวินาทีที่อุปกรณ์รับส่งข้อมูลแบบดั้งเดิมรองรับได้ถูกยกระดับขึ้นเป็นระดับมิลลิวินาที และเวลาไมโครเบิร์สต์ที่สามารถทนได้เพิ่มขึ้นหลายพันเท่า

ความสามารถในการจัดการปริมาณการจราจรแบบหลายคิว

เทคโนโลยีการประมวลผลไมโครเบิร์สต์ - โซลูชันที่ใช้การแคชบัฟเฟอร์ขนาดใหญ่ + การควบคุมปริมาณการรับส่งข้อมูล

ไมโครเบิร์สต์ 6

ด้วยความจุบัฟเฟอร์ขนาดใหญ่พิเศษ ข้อมูลการรับส่งข้อมูลที่เกิดจากไมโครเบิร์สต์จะถูกแคชไว้ และเทคโนโลยีการปรับแต่งการรับส่งข้อมูลจะถูกนำมาใช้ในอินเทอร์เฟซขาออกเพื่อให้การส่งแพ็กเก็ตไปยังเครื่องมือวิเคราะห์เป็นไปอย่างราบรื่น การประยุกต์ใช้เทคโนโลยีนี้ช่วยแก้ปัญหาการสูญหายของแพ็กเก็ตที่เกิดจากไมโครเบิร์สต์ได้อย่างมีประสิทธิภาพ


วันที่เผยแพร่: 27 กุมภาพันธ์ 2024