مقدمه: بررسی نیاز مبرم مدل‌های آموزش هوش مصنوعی به شبکه‌های بدون افت بسته (Lossless) و رقابت سرنوشت‌ساز اترنت نوین با استاندارد سنتی InfiniBand.
در عصر حاضر، توسعه و آموزش مدل‌های زبانی بزرگ (LLMs) و سیستم‌های هوش مصنوعی مولد با صدها میلیارد یا تریلیون‌ها پارامتر، نیازمند توان پردازشی عظیمی است که تنها از طریق خوشه‌های محاسباتی توزیع‌شده متشکل از ده‌ها هزار پردازنده گرافیکی (GPU) قابل تامین است. در این معماری‌های عظیم و به هم پیوسته، شبکه دیگر صرفاً یک مسیر انتقال داده ساده تلقی نمی‌شود، بلکه به عنوان ستون فقرات سیستم عمل کرده و زمان‌بندی، همگام‌سازی و کارایی کل خوشه پردازشی را به طور مستقیم تعیین می‌کند.
بارهای کاری هوش مصنوعی دارای ویژگی‌های ساختاری و رفتاری منحصر‌به‌فردی هستند؛ ترافیک ناشی از این پردازش‌ها به‌شدت همگام (Synchronous) بوده و دارای ماهیت انفجاری (Bursty) است. در طول فازهای عملیاتی مانند AllReduce، ارتباطات همه‌به‌همه (All-to-All) شکل می‌گیرد که در آن هزاران نود به صورت همزمان اقدام به ارسال حجم عظیمی از داده‌ها به یکدیگر می‌کنند. در چنین سناریویی، حتی افت یک بسته داده (Packet Drop) یا بروز تاخیرهای نامتعارف در یک مسیر (Tail Latency) می‌تواند کل عملیات پردازش موازی را به دلیل وابستگی متقابل محاسبات دچار وقفه کرده و میلیاردها دلار سرمایه‌گذاری سخت‌افزاری را با افت شدید بهره‌وری مواجه سازد.
برای بیش از دو دهه، استاندارد InfiniBand به عنوان پادشاه بلامنازع و استاندارد طلایی شبکه‌های محاسبات با کارایی بالا (HPC) و هوش مصنوعی شناخته می‌شد، زیرا با ارائه معماری شبکه‌ای کاملاً بدون افت بسته (Lossless) و تاخیر در حد چند نانوثانیه، نیازمندی‌های سخت‌گیرانه این حوزه را به بهترین شکل ممکن پاسخ می‌داد. با این حال، مقیاس‌پذیری زیرساخت‌های هوش مصنوعی به فراتر از ۱۰۰ هزار نود، انحصارگرایی اکوسیستم InfiniBand و هزینه‌های سرسام‌آور استقرار آن، غول‌های فناوری و ارائه‌دهندگان خدمات ابری را بر آن داشت تا به دنبال جایگزینی باز، انعطاف‌پذیر و اقتصادی‌تر باشند.
در این تقاطع تاریخی، اترنت، استانداردی که دهه‌ها بر دیتاسنترهای سنتی تسلط داشت، مورد بازطراحی بنیادین قرار گرفت. ائتلاف شبکه اترنت فوق‌سریع (Ultra Ethernet Consortium – UEC) با معرفی مجموعه‌ای از پروتکل‌های نوین در لایه‌های مختلف شبکه، به دنبال غلبه بر محدودیت‌های ساختاری پروتکل‌های پیشین مانند RoCEv2 است. هدف نهایی این ائتلاف، ارائه شبکه‌ای با قابلیت مقیاس‌پذیری میلیونی، تحمل‌پذیری بالا در برابر خطای مسیر و کارایی کاملاً هم‌تراز با InfiniBand بر بستر سخت‌افزارهای چندفروشنده‌ای (Multi-Vendor) است. این رقابت استراتژیک، فراتر از یک نبرد تکنولوژیک، در واقع تقابلی سرنوشت‌ساز برای شکستن انحصار در زیرساخت‌های محاسباتی آینده به شمار می‌رود.
آنچه میخوانید:
معماری سنتی InfiniBand و گلوگاه‌های مقیاس‌پذیری
مزایای تاریخی تاخیر پایین (Low Latency) در پردازش‌های HPC
استاندارد InfiniBand از پایه و اساس مهندسی خود برای پاسخگویی به نیازهای پردازشی بسیار متمرکز و به شدت وابسته در سیستم‌های محاسبات با کارایی بالا (HPC) طراحی شده است. یکی از ارکان اصلی موفقیت معماری شبکه InfiniBand، پشتیبانی بومی و عمیق از دسترسی مستقیم به حافظه راه دور (RDMA) است. این قابلیت به کارت‌های شبکه (RNIC) اجازه می‌دهد تا داده‌ها را مستقیماً از حافظه یک سیستم خوانده و در حافظه سیستم دیگر بنویسند.
بدون آنکه نیازی به درگیر کردن پردازنده مرکزی (CPU) یا عبور از پشته‌های نرم‌افزاری پیچیده سیستم‌عامل مانند پروتکل‌های سنتی TCP/IP باشد. این مکانیزم سخت‌افزاری به InfiniBand اجازه می‌دهد تا به تاخیرهای بسیار پایین (عموماً کمتر از ۲ میکروثانیه) و پهنای باند کاملاً خطی دست یابد که برای پردازش‌های بلادرنگ در خوشه‌های متراکم حیاتی است.
یکی دیگر از کلیدی‌ترین مزایای InfiniBand که آن را از شبکه‌های اترنت متمایز می‌سازد، بهره‌گیری از مکانیزم کنترل جریان مبتنی بر اعتبار در لایه پیوند (Credit-Based Flow Control یا CBFC) است. در این مکانیزم، فرستنده تنها زمانی اقدام به ارسال یک بسته داده می‌کند که از طریق دریافت اعتبارات (Credits) از وجود فضای خالی کافی در بافر سوئیچ گیرنده یا کارت شبکه مقصد اطمینان کامل حاصل کرده باشد. این رویکرد پیشگیرانه و سخت‌گیرانه، تضمین می‌کند که هیچ بسته‌ای به دلیل سرریز شدن بافر در طول مسیر از بین نرود (تضمین شبکه بدون افت بسته یا Zero Packet Loss).
در محیط‌های HPC و هوش مصنوعی که محاسبات به شدت به هم وابسته هستند و بروز خطای شبکه می‌تواند منجر به توقف کامل فرآیند یادگیری ماشین شود، این ویژگی یک مزیت بی‌بدیل محسوب می‌شود. با این حال، حفظ وضعیت این اعتبارات برای هر مسیر و مدیریت اتصالات مبتنی بر جفت‌صف (Queue Pairs) در زمانی که ابعاد خوشه‌ها به ده‌ها هزار نود می‌رسد، به یک چالش جدی مقیاس‌پذیری تبدیل شده و باعث می‌شود کارت‌های شبکه با بحران کمبود حافظه درون‌تراشه‌ای مواجه شوند.
تامین ارتباطات پرسرعت برای نسل جدید شتاب‌دهنده‌های گرافیکی در خوشه‌های عظیم
با ظهور مدل‌های زبانی تریلیون‌پارامتری و نیاز به پردازش موازی در مقیاس‌های بی‌سابقه، نیاز به پهنای باند داخلی میان پردازنده‌های گرافیکی درون یک رک محاسباتی به شکل تصاعدی افزایش یافته است. سیستم‌های نوین و پیشرفته مانند معماری پلتفرم NVIDIA Rubin برای رفع این عطش سیری‌ناپذیر به داده، به شبکه‌های داخلی بسیار قدرتمندی مجهز شده‌اند. در معماری‌های متمرکز در مقیاس رک (Rack-Scale) مانند سیستم NVIDIA Vera Rubin NVL72، از ۷۲ پردازنده گرافیکی قدرتمند استفاده می‌شود که به واسطه نسل ششم فناوری ارتباطی NVLink و استفاده از تراشه‌های تخصصی NVSwitch به صورت همه‌به‌همه (All-to-All) به یکدیگر متصل شده‌اند.
این معماری منسجم، پهنای باند خیره‌کننده ۳٫۶ ترابایت بر ثانیه (TB/s) را به صورت دوطرفه برای هر پردازنده گرافیکی فراهم می‌کند و ظرفیت کلی شبکه داخل رک را به عدد شگفت‌انگیز ۲۶۰ ترابایت بر ثانیه می‌رساند که نسبت به نسل‌های پیشین افزایش چشمگیری داشته و گلوگاه‌های ارتباطی میان-تراشه‌ای را به طور کامل از بین می‌برد.
با این وجود، توانایی‌های شبکه‌های درون‌رک مانند NVLink دارای محدودیت‌های فیزیکی در زمینه مسافت و مقیاس‌پذیری خارجی هستند. زمانی که معماری نیازمند ارتباط بین صدها رک در یک دیتاسنتر وسیع (Scale-Out) برای تشکیل خوشه‌های چند هزارتایی باشد، سیستم باید به شبکه‌های خارجی و زیرساخت‌های وسیع‌تر متوسل شود. شرکت انویدیا برای مدیریت این سطح کلان از ارتباطات شبکه، سوئیچ‌های پیشرفته InfiniBand Quantum-3 (مانند مدل‌های X800) را معرفی کرده است که پهنای باند عظیم ۸۰۰ گیگابیت بر ثانیه را به ازای هر پورت فراهم می‌کنند و تاخیر آن‌ها در انتقال داده میان نودهای مختلف به شدت بهینه‌سازی شده است.
این سوئیچ‌ها با بهره‌گیری از فناوری محاسبات درون‌شبکه‌ای (In-Network Computing) از طریق پروتکل‌هایی نظیر SHARP، قادرند بخشی از بار محاسباتی مربوط به عملیات‌های تجمیعی را از دوش GPUها برداشته و در واحدهای منطقی خود سوئیچ انجام دهند که این امر به کاهش زمان تاخیر تا سطح کمتر از ۳ میکروثانیه برای عملیات‌های AllReduce کمک شایانی می‌کند. علیرغم این دستاوردهای شگرف مهندسی و عملکرد بی‌نظیر، هزینه فوق‌العاده بالای سرمایه‌ای، مصرف انرژی مفرط تجهیزات و از همه مهم‌تر وابستگی کامل و استراتژیک به یک تامین‌کننده سخت‌افزاری انحصاری، شرکت‌های بزرگ توسعه‌دهنده کلاد را بر آن داشته است تا با سرمایه‌گذاری بر روی پروتکل‌های باز، به سمت یافتن جایگزینی مقیاس‌پذیرتر برای آینده حرکت کنند.
کالبدشکافی معماری Ultra Ethernet Consortium (UEC)
پروتکل‌های انتقال نوین برای غلبه بر محدودیت‌های RoCEv2
تلاش‌های اولیه صنعت برای انتقال قابلیت‌ها و مزایای عملکردی RDMA به بستر ارزان‌تر، منعطف‌تر و در دسترس‌تر اترنت، منجر به پیدایش پروتکل RoCE (RDMA over Converged Ethernet) گردید. نسخه اول این پروتکل محدود به لایه دوم شبکه بود، اما نسخه دوم آن (RoCEv2) با کپسوله کردن بسته‌های ساختاریافته InfiniBand درون سرآیندهای استاندارد UDP/IP، قابلیت مسیریابی (Routing) در لایه سوم را به اترنت آورد و استقرار آن را در محیط‌های ابری ممکن ساخت.
با این حال، RoCEv2 همچنان به طور ضمنی وارث محدودیت‌ها و مفروضات معماری سنتی InfiniBand بود. از آنجا که پروتکل RoCEv2 ذاتا برای کار در شبکه‌هایی کاملاً بدون افت بسته طراحی شده است، به شدت به مکانیزم کنترل جریان اولویت‌دار یا Priority Flow Control (PFC) در زیرساخت اترنت وابسته است.
در مکانیزم PFC، در صورت پر شدن بافرهای یک سوئیچ، پیام توقف (PAUSE) به پورت فرستنده بالادستی ارسال می‌شود تا ارسال داده را متوقف کند. در شبکه‌های بسیار متراکم و شلوغ آموزش هوش مصنوعی که ترافیک ماهیتی انفجاری دارد، این امر می‌تواند منجر به پدیده‌های به شدت مخربی نظیر «مسدود شدن سر خط» (Head-of-Line Blocking)، گسترش طوفان‌های توقف (PFC Pause Storms) در سراسر شبکه، و در نهایت بروز بن‌بست‌های شبکه‌ای (Deadlocks) شود که کارایی کل خوشه محاسباتی را فلج می‌سازد.
علاوه بر این آسیب‌پذیری ساختاری، پروتکل RoCEv2 برای انتقال داده از مفهوم پایه‌ای «جفت‌صف» (Queue Pairs یا QP) استفاده می‌کند که نیازمند برقراری اتصال پیشاپیش (Connection-Oriented) بین مبدأ و مقصد است. این اتصالات نیازمند حفظ دقیق وضعیت (State) در حافظه‌های کش هر دو سمت شبکه هستند. با افزایش تعداد نودها در خوشه‌های مدرن به ده‌ها یا صدها هزار دستگاه برای مدل‌های بزرگ هوش مصنوعی، حافظه مورد نیاز برای نگهداری وضعیت این صف‌ها در کارت‌های شبکه (NIC) به شکل تصاعدی و غیرقابل کنترلی افزایش یافته و باعث بروز افت شدید عملکرد و افزایش تاخیر می‌شود.
در پاسخ به این چالش‌های بنیادین، ائتلاف UEC در مشخصات نسخه ۱٫۰.۳ خود (منتشر شده در جولای ۲۰۲۶)، پروتکل حمل کاملاً جدید و بهینه‌سازی‌شده‌ای به نام Ultra Ethernet Transport (UET) را معرفی کرد که به طور خاص برای غلبه بر این محدودیت‌ها طراحی شده است. پروتکل UET یک معماری بدون اتصال (Connectionless) ارائه می‌دهد که نیاز به نگهداری وضعیت‌های سنگین و ایستا در کارت‌های شبکه را از بین می‌برد. UET
مفهومی نوین و کارآمد به نام زمینه‌های تحویل بسته یا Packet Delivery Contexts (PDCs) را جایگزین ساختار قدیمی QPها کرده است. موجودیت‌های PDC بسیار سبک و گذرا هستند و بدون نیاز به فرآیند دست‌دهی (Handshake) طولانی‌مدت، همزمان با ارسال اولین بسته داده در لایه انتقال ایجاد شده و بلافاصله پس از پایان تراکنش پاک می‌شوند. این ویژگی کلیدی به UET اجازه می‌دهد تا بدون مصرف بی‌رویه و اتمام حافظه درون‌تراشه‌ای کارت شبکه، ارتباطات پیچیده همه‌به‌همه را در شبکه‌هایی با میلیون‌ها نقطه پایانی (Endpoint) به شکل روانی مدیریت کند.
پروتکل UET همچنین برای ایجاد انعطاف‌پذیری و تطابق دقیق با نیازهای متنوع بارهای کاری مختلف، چهار حالت مجزای انتقال داده را تعریف کرده است که هر یک سطح متفاوتی از ضمانت‌ها را ارائه می‌دهند:
| حالت انتقال UET | ضمانت ترتیب (Order) | ضمانت تحویل (Reliable) | پیچیدگی بازیابی و کاربرد اصلی |
| Reliable Unordered Delivery (RUD) | خیر | بله | کاهش‌یافته؛ ایده‌آل برای اسپری کردن بسته‌ها در پردازش‌های سنگین AI |
| Reliable Ordered Delivery (ROD) | بله | بله | مشابه RoCEv2؛ نیازمند نگهداری وضعیت برای برنامه‌های قدیمی نیازمند به ترتیب دقیق |
| Reliable Unordered Delivery for Idempotent (RUDI) | خیر | بله | حداقل پیچیدگی؛ مناسب برای عملیات‌های نوشتن مستقیم (RDMA Writes) با بازیابی ساده |
| Unreliable Unordered Delivery (UUD) | خیر | خیر | فاقد بازیابی؛ بهینه‌شده برای ترافیک‌های سنجش شبکه (Telemetry) و عملیات‌های احتمالی |
چگونه اترنت برای بارهای کاری هوش مصنوعی و ترافیک‌های Burst بهینه‌سازی می‌شود
الگوی ترافیکی تولید شده توسط بارهای کاری هوش مصنوعی با ترافیک‌های مرسوم در شبکه‌های وب، استریمینگ و پایگاه‌داده تفاوت‌های بنیادین دارد. در طول فازهای حساس همگام‌سازی وزن‌ها (Weight Synchronization) در فرآیند آموزش مدل‌های توزیع‌شده یادگیری عمیق، ده‌ها هزار کارت گرافیک به طور همزمان و ناگهانی اقدام به ارسال حجم عظیمی از داده‌ها به یکدیگر می‌کنند. این انفجارهای ترافیکی ناگهانی (Burst Traffic) باعث بروز پدیده Incast می‌شود که در آن چندین جریان داده حجیم و همزمان به سمت یک پورت واحد سوئیچ یا یک سرور گیرنده خاص سرازیر شده و بافرهای فیزیکی آن را در کسری از میلی‌ثانیه به حالت سرریز درمی‌آورند.
پروتکل UET برای مدیریت علمی و عملی این شرایط بحرانی، پارادایم شبکه‌های کاملاً بدون افت بسته (Lossless) را که مستعد قفل‌شدگی بافرها و توقف‌های زنجیره‌ای هستند کنار گذاشته و یک رویکرد نوین تحمل‌پذیر خطا (Lossy-Friendly) را به عنوان استراتژی اصلی اتخاذ کرده است. در این معماری جدید، شبکه انعطاف‌پذیر است و در صورت پر شدن شدید بافرها، به جای توقف کامل جریان‌های داده با استفاده از PFC، بسته‌ها را به شکل هوشمندانه‌ای مدیریت می‌کند که در ادامه به مکانیزم‌های آن پرداخته خواهد شد.
همچنین، برای جلوگیری از بروز تاخیرهای کلان ناشی از تایم‌اوت‌های لایه انتقال، بهینه‌سازی‌های عمیقی در لایه پیوند مانند تلاش مجدد لایه پیوند (Link Layer Retry یا LLR) توسعه یافته است. این مکانیزم تضمین می‌کند که خطاهای فیزیکی متداول در کابل‌ها و لینک‌های فرکانس بالا، به سرعت و در همان لایه فیزیکی تشخیص داده شده و ترمیم شوند، تا مانع از گسترش خطا به لایه‌های بالاتر و افت عملکرد برنامه‌های توزیع‌شده گردند.
مشخصات UEC این ویژگی‌ها را در قالب پروفایل‌های مشخصی مانند پروفایل پایه هوش مصنوعی (AI Base)، پروفایل کامل (AI Full) و پروفایل پردازش سنگین (HPC) طبقه‌بندی کرده است تا تولیدکنندگان سخت‌افزار بتوانند سطح پیچیدگی پیاده‌سازی خود را مدیریت کنند. با تلفیق این مجموعه‌مکانیزم‌های پیشرفته، شبکه‌های( 400G ، 800G) که ذاتاً پهنای باند وسیعی دارند، به جایگاه مجراهای هوشمندی ارتقا می‌یابند که نه تنها حجم عظیم داده‌ها، بلکه رفتار به شدت تهاجمی و انفجاری ترافیک‌های همگام‌سازی هوش مصنوعی را بدون ایجاد قطعی‌های زنجیره‌ای در شبکه مهار و هدایت می‌کنند.
مکانیزم‌های کنترل ازدحام (Congestion Control) و Multipathing
توزیع هوشمند بسته‌های داده (Packet Spraying) در سوئیچ‌های Leaf و Spine
یکی از مهم‌ترین و انقلابی‌ترین نوآوری‌های معماری UEC، تغییر پارادایم اساسی از استراتژی مسیریابی مبتنی بر جریان (Flow-Based Routing) به استراتژی پویا و خردنگر مسیریابی مبتنی بر بسته (Packet-Level Multipathing) است. در شبکه‌های سنتی اترنت و پروتکل‌های مستقر مانند RoCEv2، توزیع ترافیک روی لینک‌های چندگانه در توپولوژی‌های دیتاسنتری عمدتاً از طریق الگوریتم Equal-Cost Multi-Path (ECMP) انجام می‌شود. در روش ECMP، سوئیچ‌های شبکه با اعمال یک تابع هش ریاضی بر روی مشخصات سرآیند بسته‌ها (5-Tuple Hash شامل آدرس‌ها و پورت‌های مبدأ و مقصد)، یک مسیر فیزیکی کاملاً ثابت را برای تمام بسته‌های متعلق به یک «جریان شبکه» اختصاص می‌دهند تا از رسیدن به ترتیب بسته‌ها اطمینان حاصل کنند.
مشکل بحرانی این رویکرد آنجاست که در ترافیک‌های هوش مصنوعی، جریان‌های داده بسیار طولانی و به شدت حجیم هستند که اصطلاحاً به آن‌ها جریان‌های فیل (Elephant Flows) گفته می‌شود. اگر هش محاسباتی دو جریان حجیم تصادفاً با یکدیگر برخورد کند (Hash Collision)، هر دو جریان سنگین روی یک لینک فیزیکی واحد در سوئیچ قرار می‌گیرند و منجر به اشباع سریع آن لینک می‌شوند، در حالی که در همان زمان، لینک‌های موازی دیگر در معماری سلسله‌مراتبی شبکه (Fat-Tree) کاملاً بیکار و خالی از ترافیک مانده‌اند.
برای حل قطعی این معضل بهره‌وری، پروتکل UET از روش توزیع و پراکندگی هوشمند بسته‌ها یا اصطلاحاً «Packet Spraying» بهره می‌برد. در این متدولوژی نوین، کارت شبکه فرستنده (NIC) به هر بسته داده مجزا، یک مقدار آنتروپی ۳۲-بیتی متمایز (Entropy Value یا EV) اختصاص می‌دهد که در سرآیند بسته کپسوله می‌شود. سوئیچ‌های Leaf و Spine در سراسر زیرساخت شبکه، با استخراج و تحلیل این مقادیر آنتروپی متغیر به جای تکیه بر 5-Tuple سنتی، بسته‌های متوالی متعلق به یک پیام واحد را روی تمامی مسیرهای فیزیکی و منطقی موجود در شبکه (نظیر مسیرهای تعیین‌شده توسط SRv6 uSID) پخش می‌کنند.
این تکنیک خلاقانه باعث می‌شود تا ترافیک به جای تمرکز بر روی یک مسیر، به صورت کاملاً متوازن و همگن روی تمام لینک‌های شبکه توزیع شود و در نتیجه بهره‌وری از ظرفیت فیزیکی شبکه به نزدیکی مرز تئوریک ۱۰۰٪ ارتقا یابد. بدیهی است که از آنجایی که بسته‌ها از مسیرهای مختلفی با تاخیرهای متفاوت عبور می‌کنند، ممکن است خارج از ترتیب (Out-of-Order) به مقصد برسند. UET
با بهره‌گیری از حالت انتقال پیش‌فرض خود یعنی RUD، این بسته‌های نامنظم را با کمال میل می‌پذیرد و وظیفه پیچیده بازچینی (Reassembly) و مرتب‌سازی نهایی آن‌ها را پیش از تحویل، به سخت‌افزار قدرتمند کارت شبکه گیرنده محول می‌کند تا لایه برنامه‌های کاربردی و معماری حافظه GPUها هرگز متوجه این بی‌نظمی در بستر انتقال نشوند.
در کنار توزیع هوشمندانه بسته‌ها، پروتکل UET به مکانیزم‌های بسیار پیشرفته‌ای برای کنترل ازدحام مجهز شده است که به طور مشخص از دو رویکرد مکمل تشکیل یافته است: کنترل ازدحام فرستنده‌محور مبتنی بر سیگنال شبکه (NSCC) و کنترل ازدحام گیرنده‌محور مبتنی بر اعتبار (RCCC) که می‌توانند به صورت همزمان نیز عمل کنند. قلب تپنده مدیریت شبکه در UET الگوریتم NSCC (ملهم از الگوریتم SMaRTT) است که از دو سیگنال مجزا و دارای بازه زمانی متفاوت برای ارزیابی دقیق سلامت و وضعیت ترافیک شبکه استفاده می‌کند:
- نشانگر پیشرو (Leading Indicator): سوئیچ‌ها در مسیر با استفاده از قابلیت اطلاع‌رسانی صریح ازدحام (Explicit Congestion Notification یا ECN)، به محض آنکه حجم صف در بافرها از آستانه مشخصی عبور کرد، یک تک‌بیت هشدار روی بسته‌های عبوری علامت‌گذاری می‌کنند. این سیگنال از منظر طراحی مانند یک «دستگاه هشدار دود» عمل می‌کند؛ واکنشی بسیار سریع دارد و بروز مشکل در یک مسیر خاص را بلافاصله گزارش می‌دهد، اما اطلاعاتی در مورد شدت دقیق تراکم ارائه نمی‌کند.
- نشانگر تاخیری (Trailing Indicator): این سیگنال بر اساس اندازه‌گیری دقیق تاخیر رفت‌وبرگشت بسته‌ها (RTT) و محاسبه میزان تاخیر ایجاد شده در صف‌بندی (Queueing Delay) عمل می‌کند. این شاخص رفتاری شبیه به یک «دماسنج» دارد؛ اگرچه با تاخیر به تغییرات واکنش نشان می‌دهد، اما به طور پیوسته شدت واقعی و دامنه تراکم را در سطح کل شبکه به تصویر می‌کشد.
ترکیب هوشمندانه این دو سیگنال متمایز، به کارت شبکه اجازه می‌دهد تا چهار حالت رفتاری بسیار دقیق را در تنظیم پنجره ازدحام (Congestion Window) اتخاذ کند. به عنوان مثال، در حالتی که تاخیر شبکه پایین است اما هشدار ECN دریافت می‌شود (حالت Steer-Only)، کارت شبکه هوشمند فرستنده متوجه می‌شود که تنها یک مسیر فیزیکی خاص در میان مسیرهای چندگانه دچار تراکم موضعی شده است و کل زیرساخت مشکلی ندارد.
بنابراین، به جای واکنش نشان دادن از طریق کاهش ناگهانی و کورکورانه سرعت کل جریان داده، نرخ ارسال را ثابت نگه داشته و صرفاً از طریق تغییر مقادیر آنتروپی (EV)، از آن پس بسته‌ها را از مسیرهای جایگزین و خلوت‌تر عبور می‌دهد. این رویکرد در ترکیب با کاهش مضاعف (Multiplicative Decrease) در هنگام تراکم شدید شبکه، از افت ناگهانی پهنای باند و نوسانات شدیدی که در پروتکل‌های قدیمی رایج بود، به طور کامل جلوگیری می‌کند.
علاوه بر مدیریت نرم‌افزاری نرخ ارسال، معماری UEC برای مواقع بحرانی که بافر یک سوئیچ در آستانه سرریز شدن است، مکانیزم سخت‌افزاری جدیدی به نام «برش بسته» (Packet Trimming) را معرفی کرده است. در شبکه‌های سنتی، در صورت پر شدن بافر، سوئیچ کل بسته داده را به سادگی دور می‌اندازد (Drop) و سیستم فرستنده باید منتظر اتمام تایمرهای طولانی (Timeout) بماند تا متوجه از دست رفتن داده شود. اما در UET، سوئیچ به جای دور انداختن کامل، بدنه اصلی و حجیم بسته (Payload) را حذف کرده و تنها هدر سبک آن را به همراه یک کد وضعیت خاص در بخش کلاس ترافیک (DSCP) به مسیر خود تا مقصد ادامه می‌دهد.
گیرنده با دریافت این هدر متوجه می‌شود که دقیقاً کدام بسته در کدام مسیر شبکه دچار مشکل شده است و بلافاصله یک پیام عدم تایید (NACK) سریع به سمت فرستنده صادر می‌کند. این مکانیزم به کارت شبکه فرستنده اجازه می‌دهد تا بدون اتلاف وقت، تنها همان بسته از دست رفته را به سرعت بازپخش کند (Selective Retransmission) که این امر تاثیر شگرفی در کاهش زمان تاخیر نهایی و حفظ بهره‌وری سیستم دارد.
نقش پردازشگرهای شبکه در تخلیه بار ترافیک (Offloading)
انتقال وظایف مسیریابی هوشمند و پردازش پکت‌ها به کارت‌های سخت‌افزاری
دستیابی به مقیاس‌پذیری میلیونی، اسپری کردن و بازچینی میلیون‌ها بسته داده در ثانیه، و پردازش بلادرنگ سیگنال‌های ECN و بسته‌های برش‌خورده (Trimmed Packets) در پروتکل‌هایی نظیر UET، نیازمند توان پردازشی و محاسباتی فوق‌العاده بالایی در نقاط پایانی شبکه است. اگر این وظایف سنگین پردازشی به عهده پردازنده مرکزی سرور (Host CPU) یا حتی خود پردازنده‌های گرافیکی گذاشته شود.
چرخه‌های محاسباتی بسیار گران‌قیمتی که باید منحصراً صرف آموزش مدل‌های هوش مصنوعی شوند، به ناچار درگیر پردازش سرآیندهای شبکه، محاسبه هش‌ها و مرتب‌سازی بسته‌ها خواهند شد که این امر باعث افت فاحش عملکرد سیستم می‌گردد. برای رفع این گلوگاه گلویدی، معماری دیتاسنترهای مدرن هوش مصنوعی به سرعت به سمت استفاده از کارت‌های شبکه هوشمند (SmartNICs) و واحدهای پردازش داده متمرکز (DPUs) حرکت کرده است.
تراشه‌های پیشرفته DPU با ادغام موتورهای شتاب‌دهنده سخت‌افزاری خاص‌منظوره (ASIC-based)، پردازنده‌های چند‌هسته‌ای و موتورهای شتاب‌دهنده پروتکل (Protocol Accelerators)، وظایف سنگین شبکه را به طور کامل از روی دوش پردازنده‌های اصلی سرور برمی‌دارند (Offloading). در شبکه‌های سازگار با استاندارد UEC، کارت شبکه گیرنده وظیفه دارد تا جریانی از بسته‌ها را که به صورت توزیع‌شده از مسیرهای مختلف و کاملاً خارج از ترتیب (Out-of-Order) دریافت شده‌اند،
به طور پیوسته در بافرهای محلی مجدداً مرتب‌سازی کرده و مستقیماً و به صورت دسترسی مستقیم (RDMA/Direct Data Placement) در بلوک‌های حافظه GPU قرار دهد. این عملیات پیچیده بازچینی و تولید مقادیر ۳۲ بیتی آنتروپی، نیازمند سیلیکون‌های اختصاصی شبکه و حافظه‌های پرسرعت یکپارچه بر روی خود برد DPU است تا تاخیری به جریان داده تحمیل نشود.
علاوه بر عملیات پایه شبکه، در محیط‌های آموزش هوش مصنوعی که ذخیره‌سازی چک‌پوینت‌های بسیار حجیم مدل در فواصل زمانی کوتاه به منظور جلوگیری از از دست رفتن پیشرفت آموزش الزامی است، پروتکل‌های ذخیره‌سازی تحت شبکه نقش پررنگی ایفا می‌کنند. تراشه‌های DPU در این زمینه با پشتیبانی سخت‌افزاری از پروتکل‌هایی مانند NVMe over Fabrics (NVMe-oF)، می‌توانند عملیات خاتمه‌دهی پروتکل و مسیریابی را در خود کارت شبکه انجام دهند. یک DPU می‌تواند به عنوان نقطه آغازگر (Initiator) یا سیستم هدف (Target) در پروتکل NVMe-oF عمل کرده و ترافیک عظیم لایه ذخیره‌سازی (Block Storage) را با حداقل تاخیر ممکن به مقاصد خود هدایت کند، بدون آنکه CPU نیازی به تخصیص چرخه پردازشی برای این نقل‌وانتقالات داشته باشد.
از دیگر وظایف کلیدی که به طور کامل به این شتاب‌دهنده‌های شبکه منتقل می‌شود می‌توان به پردازش رمزنگاری درجا در سطح سیم (مانند شتاب‌دهی سخت‌افزاری IPsec و استانداردهای نوین PSP Offload برای تامین امنیت شبکه‌های درون‌خوشه‌ای)، فشرده‌سازی بی‌درنگ داده‌ها، پردازش رمزگذاری تصحیح خطا (Erasure Coding) و اعمال سیاست‌های امنیتی و فایروال‌های مبتنی بر میکروسگمنتیشن در دیتاسنترهای چند‌مستاجره اشاره کرد. با به‌کارگیری DPUها در زیرساخت، شبکه و استوریج به موجودیت‌هایی کاملاً مستقل، امن، پربازده و نرم‌افزارمحور تبدیل می‌شوند که هیچ بار پردازشی اضافه‌ای به سرورهای گران‌قیمت لایه هوش مصنوعی تحمیل نمی‌کنند. -> [لینک داخلی به مقاله ۳ آینده: نقش DPUها و SmartNICها در استوریج]
بررسی موردی: استقرار خوشه‌های AI با ده‌ها هزار GPU
غلبه بر چالش‌های کابل‌کشی و مدیریت توپولوژی‌های Fat-Tree
طراحی و استقرار فیزیکی یک خوشه یکپارچه هوش مصنوعی در ابعاد تجاری (Scale-Out) که بیش از ۱۰۰ هزار شتاب‌دهنده گرافیکی را برای آموزش یک مدل واحد در خود جای دهد، فراتر از نرم‌افزار، یک چالش عظیم و کم‌نظیر در مهندسی زیرساخت سخت‌افزاری است. شبکه‌های مقیاس‌پذیر اترنت و سیستم‌های توزیع‌شده InfiniBand معمولاً برای اتصال فیزیکی این تعداد عظیم از نودهای محاسباتی از توپولوژی‌های سلسله‌مراتبی و غیرمسدودکننده (Non-blocking) مانند ساختار Fat-Tree (Clos) بهره می‌برند.
در این توپولوژی شبکه‌ای، لایه‌های مختلف سوئیچ‌ها (شامل لایه‌های Leaf، Spine و در ابعاد بزرگتر Super-Spine) در قالب معماری چند-صفحه‌ای (Multi-plane) به گونه‌ای پیکربندی می‌شوند که پهنای باند مقطعی (Bisectional Bandwidth) در بالاترین حد خود حفظ شده و هیچ گلوگاه ارتباطی سیستماتیکی میان دو نود تصادفی در هیچ نقطه‌ای از کل دیتاسنتر وجود نداشته باشد.
با این حال، پهنای باند خروجی هر پردازنده گرافیکی در معماری‌های نسل جدید به ارقام نجومی ارتقا یافته است؛ به طوری که هر گره محاسباتی در سیستم‌هایی مانند سیستم‌های سازگار با تراشه‌های آینده، نیازمند ارتباط با پورت‌های سوییچی با ظرفیت ۸۰۰ گیگابیت بر ثانیه یا حتی ۱٫۶ ترابیت بر ثانیه است. مدیریت کابل‌کشی برای استقرار ده‌ها هزار پورت ۱٫۶ ترابیتی با استفاده از کابل‌های سنتی مسی (مانند DAC یا اتصال‌دهنده‌های فعال AEC) عملاً غیرممکن است، زیرا فرکانس‌های سیگنالینگ بالا باعث محدودیت شدید طول این کابل‌ها شده و طول موثر آن‌ها را غالباً به کمتر از ۲ تا ۳ متر کاهش می‌دهد که برای اتصال بین رک‌های مختلف در دیتاسنتر به هیچ وجه کافی نیست.
از این رو، کل صنعت به سرعت به سمت استفاده از فرستنده‌گیرنده‌های نوری با ظرفیت فوق‌سریع ۱٫۶ ترابیت بر ثانیه (مانند فرم‌فاکتورهای حجیم‌تر OSFP224) تغییر مسیر داده است. این ماژول‌های پیشرفته، داده‌ها را با استفاده از روش مدولاسیون سیگنالینگ PAM4 با سرعت سرسام‌آور ۲۰۰ گیگابیت بر ثانیه به ازای هر مسیر (Lane) انتقال می‌دهند.
برای مقابله با مشکل اساسی تاخیر فیزیکی و مصرف توان به شدت بالای ماژول‌های نوری قابل اتصال (Pluggable Optics)، مفاهیم سخت‌افزاری کاملاً جدیدی نظیر بسته‌بندی یکپارچه تجهیزات نوری (Co-Packaged Optics یا CPO) توسط شرکت‌های سازنده تراشه به میدان معرفی شده‌اند. در تکنولوژی CPO، موتورهای تبدیل سیگنال نوری به جای قرارگیری در لبه شاسی، به طور مستقیم بر روی زیرلایه پردازشی (Substrate) تراشه سوئیچ اترنت مونتاژ و بسته‌بندی می‌شوند.
این رویکرد انقلابی نه تنها مصرف انرژی شبکه را در سطح پورت به میزان چشمگیری کاهش داده و به کمتر از ۵ پیکوژول بر هر بیت (pJ/bit) می‌رساند، بلکه تاخیر فیزیکی ناشی از تبدیل سیگنال الکتریکی به نوری و بالعکس را به سطح شگفت‌انگیز ۵ تا ۱۰ نانوثانیه کاهش می‌دهد؛ رکوردی که رقابتی بسیار جدی و شانه به شانه با تاخیر ذاتی شبکه‌های بسته InfiniBand ایجاد می‌کند.
در سطح سوئیچینگ نیز، نسل جدید تراشه‌های لایه اترنت و InfiniBand رقابت تنگاتنگی را برای پشتیبانی از این حجم ترافیک شکل داده‌اند. برای مقایسه، مشخصات نسل جدید تراشه‌های شبکه دیتاسنتری که پایه و اساس سخت‌افزاری شبکه‌های نسل بعدی را تشکیل می‌دهند در جدول زیر بررسی شده است:
| مدل تراشه / فناوری پایه | ظرفیت سوئیچینگ (Tbps) | ظرفیت ارسال (Bpps) | حافظه بافر (MB) | متوسط تاخیر فیزیکی پورت (ns) |
| NVIDIA Quantum-3 (InfiniBand) | 51.2 | 20.3 | 165 | <700 |
| Broadcom Tomahawk 5 (Ethernet / UEC) | 51.2 | 20.3 | 114 | <850 |
| Broadcom Tomahawk 6 (Ethernet / UEC) | 102.4 | 37.6 | 267 | 850 (در مدل‌های CPO کمتر) |
استفاده از چنین سخت‌افزارهای غول‌پیکری در یک توپولوژی Fat-Tree مبتنی بر پروتکل UEC، همراه با قابلیت توزیع هوشمند ترافیک (Packet Spraying)، به معماران و مهندسان شبکه دیتاسنتر این اطمینان کامل را می‌دهد که کابل‌های گران‌قیمت نوری متصل به لایه‌های Spine و Super-Spine همواره به صورت کاملاً متوازن و بهینه زیر بار ترافیکی قرار دارند. در این معماری، هیچ اتصالی به دلیل برخورد تصادفی هش‌های لایه انتقال در الگوریتم‌های سنتی ECMP بلااستفاده یا مسدود باقی نمی‌ماند و بازده بازگشت سرمایه سخت‌افزاری به حداکثر ممکن می‌رسد.
تحلیل اقتصادی (TCO) و چشم‌انداز انحصارشکنی
مقایسه هزینه‌های پورت-به-پورت و لایسنس‌های نرم‌افزاری انحصاری
یکی از مهم‌ترین عوامل تسریع‌کننده در توسعه استاندارد باز Ultra Ethernet و استقبال بی‌نظیر شرکت‌ها از آن، ابعاد عمیق اقتصادی و پیامدهای استراتژیک آن برای ارائه‌دهندگان کلان خدمات ابری (Hyperscalers) و اپراتورهای مستقل دیتاسنترها است. استاندارد شبکه‌ای InfiniBand، علیرغم کارایی بالا و سابقه درخشان در حوزه محاسبات سنگین، به دلیل ماهیت بسته و انحصاری خود که در حال حاضر از نظر سخت‌افزاری و نرم‌افزاری تقریباً به طور کامل توسط شرکت انویدیا طراحی و کنترل می‌شود، خطرات تجاری و زنجیره تامین عمده‌ای را برای خریداران کلان به همراه دارد. این انحصار مطلق به معنای تحمیل هزینه‌های سرمایه‌ای (Capex) بسیار بالا به ازای هر پورت شبکه فعال است.
مشتریان در اکوسیستم InfiniBand غالباً ملزم به خرید پکیج کاملی از تجهیزات شامل سوئیچ‌های Quantum، کارت‌های شبکه ConnectX اختصاصی، کابل‌های مسی یا نوری تایید شده و حتی پرداخت هزینه‌های گزاف برای لایسنس‌های نرم‌افزاری پلتفرم‌های مانیتورینگ و ارکستراسیون (مانند NVIDIA Mission Control) از یک تامین‌کننده واحد هستند. علاوه بر هزینه‌های گزاف و مستقیم سخت‌افزاری، نیروی کار متخصصی که توانایی فنی برای مدیریت، عیب‌یابی در سطح پروتکل و تنظیم دقیق (Fine-Tuning) شبکه‌های پیچیده InfiniBand را داشته باشد، در بازار کار فناوری بسیار محدود و گران‌قیمت است که این موضوع هزینه‌های عملیاتی و نگهداری (Opex) زیرساخت را نیز به طور سرسام‌آوری افزایش می‌دهد.
در نقطه مقابل این رویکرد انحصاری، معماری Ultra Ethernet مستقیماً بر پایه اکوسیستم باز، گسترده و باسابقه استاندارد اترنت بنا شده است. ائتلاف قدرتمند UEC متشکل از بزرگترین بازیگران و رقبای صنعت نیمه‌هادی و تجهیزات شبکه از جمله Broadcom ،AMD ،Arista ،Cisco ،Intel و غول‌های خدمات ابری مانند Meta و Microsoft است. این تنوع سازندگان، رقابت نفس‌گیری را در بازار تجهیزات فیزیکی لایه شبکه—از سوئیچ‌های مبتنی بر تراشه‌های متنوع نسل جدید گرفته تا تولیدکنندگان فرستنده‌گیرنده‌های نوری و کارت‌های پردازشگر شبکه—به شدت افزایش داده است. این رقابت آزاد اقتصادی به طور طبیعی منجر به شکسته شدن حباب قیمت‌ها و کاهش سریع هزینه‌ها به ازای هر پورت شبکه با ظرفیت بالا در سال‌های آینده خواهد شد.
از منظر لایه‌های نرم‌افزاری و یکپارچه‌سازی، مشخصات فنی UEC به گونه‌ای طراحی شده است که با رابط‌های برنامه‌نویسی استاندارد و منبع‌باز موجود در اکوسیستم HPC نظیر رابط‌های کتابخانه libfabric و زیرساخت‌های MPI به طور یکپارچه و سازگار عمل کند. این سازگاری بومی، نیاز به خرید لایسنس‌های نرم‌افزاری انحصاری و گران‌قیمت برای ایجاد ارتباطات، مسیریابی و کنترل ترافیک توزیع‌شده را از بین برده و دسترسی به زیرساخت با کارایی بالا را دموکراتیزه می‌کند.
علاوه بر این، از نظر پیاده‌سازی فیزیکی، دیتاسنترهایی که از قبل سرمایه‌گذاری هنگفتی روی زیرساخت‌های اترنت کلاسیک و شبکه‌های مبتنی بر RoCEv2 انجام داده‌اند، در یک بن‌بست فناوری قرار نمی‌گیرند. این مراکز می‌توانند بدون نیاز به جایگزینی یک‌باره، پرهزینه و مخاطره‌آمیز تمامی سوئیچ‌های فیزیکی شبکه، سرورها و تجهیزات مجهز به کارت‌های شبکه UET را در کنار سیستم‌های قدیمی نصب کرده و به صورت تدریجی (موسوم به Brownfield Deployment) شبکه خود را ارتقا دهند. به طور خلاصه، مقایسه راهبردی نشان می‌دهد:
| فاکتورهای اقتصادی زیرساخت | رویکرد اکوسیستم InfiniBand | رویکرد اکوسیستم Ultra Ethernet (UEC) |
| هزینه‌های سخت‌افزاری (Capex) | بسیار بالا؛ انحصار خرید کل تجهیزات از مبدأ به مقصد از یک تامین‌کننده | رقابتی؛ قابلیت ترکیب سوئیچ، کابل و NIC از فروشندگان مختلف |
| هزینه‌های نرم‌افزاری (Opex) | نیازمند لایسنس‌های پلتفرمی اختصاصی و سیستم‌های مدیریتی انحصاری | یکپارچگی با APIهای باز و رایج (مانند libfabric) و مدیریت استاندارد اترنت |
| استراتژی ارتقا شبکه | غالباً نیازمند ایجاد کلاسترهای جدید و ایزوله (Greenfield) | پشتیبانی کامل از ارتقای تدریجی در کنار معماری‌های RoCEv2 (Brownfield) |
این انعطاف‌پذیری فوق‌العاده در ترکیب سخت‌افزاری و ارتقای تدریجی باعث می‌شود کل هزینه مالکیت (Total Cost of Ownership یا TCO) در طول چرخه حیات خوشه‌های عظیم هوش مصنوعی، در سناریوی استفاده از استاندارد باز UEC به مراتب منطقی‌تر، کمتر و با ریسک تجاری پایین‌تری نسبت به توسعه خوشه‌های مشابه و هم‌تراز بر بستر کاملاً بسته InfiniBand باشد.
نتیجه‌گیری: پیش‌بینی تسلط معماری باز UEC در دیتاسنترهای چند-مستاجره (Multi-Tenant) تا سال ۲۰۲۷
تکامل سریع زیرساخت‌های شبکه‌ای برای همگامی با رشد نمایی، بی‌وقفه و شگفت‌انگیز نیازهای محاسباتی در پردازش‌های هوش مصنوعی مولد، صنعت فناوری اطلاعات را در یک نقطه عطف و دگردیسی تاریخی قرار داده است. اگرچه استاندارد باسابقه InfiniBand با معماری منسجم و تضمین سخت‌افزاری عدم افت بسته‌ها (Lossless Network)، استاندارد طلایی و بی‌رقیب دهه‌های گذشته در عرصه ابررایانه‌ها بوده است، اما محدودیت‌های ذاتی آن در حفظ مقیاس‌پذیری نرم‌افزاری در خوشه‌های متشکل از صدها هزار نود و وابستگی اقتصادی شدید به یک زنجیره تامین انحصاری، آینده آن را به عنوان تنها گزینه برای دیتاسنترهای کلان ابری با چالشی عمیق مواجه کرده است.
انتشار مشخصات جامع و باز Ultra Ethernet نسخه ۱٫۰ و به‌روزرسانی‌های پس از آن، نشان‌دهنده یک تغییر پارادایم اساسی در نحوه نگرش به انتقال داده در مقیاس هیپراسکِیل است. ترکیب هنرمندانه و مهندسی‌شده قابلیت‌های پیشرفته در این پروتکل—مانند تغییر مسیر از الگوریتم‌های سنتی مبتنی بر جریان به توزیع پکت‌ها در سطح خرد (Packet Spraying مبتنی بر تولید آنتروپی متغیر در کارت شبکه)، توسعه استراتژی کنترل ازدحام چندوجهی و انطباق‌پذیر (ترکیب سیگنال‌های بلادرنگ ECN و بررسی تاخیر فیزیکی صف برای واکنشی دقیق و تفکیک‌شده)،
به‌کارگیری مکانیزم هوشمند برش بسته‌های سرریز شده (Packet Trimming) به جای حذف کامل و مخرب آن‌ها، و نهایتاً مدیریت بهینه‌تر و موقتی انتقال داده از طریق ایجاد زمینه‌های تحویل سبک (PDCs) به جای حفظ اتصالات سنگین سنتی—باعث شده است تا پروتکل اترنت بتواند برای اولین بار در تاریخ حیات خود، عملکردی کاملاً هم‌تراز با شبکه‌های بسته InfiniBand ارائه دهد و در مقیاس‌های استقراری بسیار وسیع‌تر، حتی عملکردی بهتر از شبکه‌های سنتی Lossless به نمایش بگذارد.
پیش‌بینی تحلیل‌گران صنعت شبکه بر این است که با آغاز تولید انبوه و ورود گسترده سیلیکون‌های سازگار با استانداردهای UEC—نظیر نسل جدید کارت‌های شبکه هوشمند و تراشه‌های سوئیچینگ با ظرفیت‌های خیره‌کننده ۱02.4 ترابیت بر ثانیه مانند خانواده Tomahawk 6—به بازار سخت‌افزار، تا اواخر سال ۲۰۲۶ و اوایل سال ۲۰۲۷ شاهد یک تغییر رویکرد گسترده و مهاجرت سازمان‌ها خواهیم بود.
در این بازه زمانی، پیش‌بینی می‌شود معماری باز و انعطاف‌پذیر اترنت نوین بر ساختار شبکه‌های خوشه‌های ده‌ها هزار پردازنده‌ای تسلط یابد. این انتقال بزرگ، نویدبخش ظهور نسل جدیدی از دیتاسنترهای چند-مستاجره (Multi-Tenant) ابری است که در آن کارایی خام در سطح پردازش ابررایانه‌ای، با اقتصاد مقیاس‌پذیر، رقابتی و به شدت انعطاف‌پذیر شبکه‌های اترنت گره خورده و زمینه را برای توسعه مدل‌های هوش مصنوعی با ابعادی که تا پیش از این غیرقابل تصور بود، فراهم می‌سازد.
