افزایش بیسابقه و تصاعدی توان پردازشی در دیتاسنترهای مدرن، مرزهای فیزیک ترمودینامیک و مهندسی حرارت را به چالشهای بنیادین کشیده است. با گسترش روزافزون مدلهای زبانی بزرگ (LLMs)، یادگیری عمیق، هوش مصنوعی مولد و محاسبات با کارایی بالا (HPC)، زیرساختهای فناوری اطلاعات شاهد یک گذار پارادایمی از رکهای پردازشی متداول به سیستمهای محاسباتی فوقمتراکم هستند. این تحول عظیم، افزایش نمایی چگالی توان (Power Density) را به همراه داشته است؛
به گونهای که سیستمهای خنککننده گازی (هوا-خنک) که برای بیش از چند دهه استاندارد بلامنازع و پایه طراحی دیتاسنترها به شمار میرفتند، اکنون در برابر حجم عظیم حرارت تولید شده کارایی خود را به طور کامل از دست دادهاند. صنعت زیرساخت با یک دیوار حرارتی مواجه شده است که عبور از آن بدون تغییر کامل استراتژیهای دفع گرما غیرممکن است. در این گزارش تحلیلی، ضمن بررسی محدودیتهای فیزیکی سیالات گازی و معماری درونی سرورها، به تحلیل عمیق و همهجانبه فناوریهای نوین نظیر خنککننده مایع مستقیم (Direct Liquid Cooling) و سیستمهای غوطهوری (Immersion Cooling) پرداخته میشود تا مسیر آینده معماری حرارتی در دیتاسنترهای مقیاسپذیر ترسیم گردد.
آنچه میخوانید:
مفاهیم پایه در مدیریت حرارت دیتاسنتر (TDP و چگالی رک)
درک دقیق چالشهای حرارتی معاصر در دیتاسنترها، در گرو تحلیل سیستماتیک دو مفهوم بنیادین است: توان طراحی حرارتی (Thermal Design Power – TDP) قطعات سیلیکونی و چگالی توان کل رک (Rack Power Density). در یک دهه گذشته، به دلیل پایان یافتن مقیاسپذیری دنارد (Dennard Scaling) و تلاش برای حفظ قانون مور، مصرف انرژی پردازندههای مرکزی (CPU) و پردازندههای گرافیکی (GPU) رشدی تصاعدی و خیرهکننده را تجربه کرده است.
به عنوان مثال، در حالی که پردازندههای سرور سنتی به طور معمول بین ۱۵۰ تا ۲۵۰ وات انرژی مصرف میکردند، نسلهای نوین شتابدهندههای هوش مصنوعی نظیر تراشه NVIDIA B200 به تنهایی دارای TDP معادل ۱۰۰۰ وات به ازای هر دای (Die) هستند. به طور مشابه، شتابدهنده محاسباتی AMD MI300 با توان حرارتی حدود ۷۵۰ وات، نشاندهنده تثبیت یک استاندارد جدید و بسیار پرمصرف در اکوسیستم سختافزاری است.
این افزایش بیسابقه در مصرف توان در سطح تراشه، مستقیماً به افزایش تصاعدی چگالی رک ترجمه میشود. یک رک استاندارد دیتاسنتر سازمانی در گذشته تنها باری بین ۱۰ تا ۲۰ کیلووات تولید میکرد و سیستمهای تهویه مطبوع اتاق کامپیوتر (CRAC) مبتنی بر تزریق هوای سرد در کف کاذب برای مدیریت آن کاملاً کفایت میکردند. اما امروزه، معماریهای مقیاسرک (Rack-Scale) نظیر سیستم NVIDIA GB200 NVL72 که شامل ۷۲ پردازنده گرافیکی Blackwell و ۳۶ پردازنده مرکزی Grace است، بار حرارتی یک رک منفرد را به ۱۲۰ تا ۱۴۰ کیلووات رساندهاند. در چنین سطحی از تراکم، تامین توان از طریق شینههای ۴۸ ولت جریان مستقیم (DC) صورت میگیرد که جریان عظیمی معادل ۲۵۰۰ آمپر را در سطح رک توزیع میکند.
از منظر بهرهوری انرژی کلی یا شاخص PUE (Power Usage Effectiveness)، تحولات بنیادینی در حال وقوع است. دیتاسنترهای مجهز به خنککنندههای گازی در بهترین حالت بهینه (نظیر تأسیسات گوگل یا دیتاسنترهای مستقر در مناطق سردسیر قطبی با سیستم Free Cooling) توانستهاند PUE را به حدود ۱٫۰۸ تا ۱٫۱۰ برسانند.
با این حال، حفظ این شاخص در برابر چگالیهای بالای ۴۰ کیلووات با جریان هوا عملاً غیرممکن است. تجربیات میدانی شرکت متا (Meta) نشان میدهد که انتقال از سیستمهای پیشرفته هوایی به زیرساختهای خنککننده مایع مستقیم برای خوشههای GPU، نهتنها چگالی محاسباتی را سه برابر افزایش داده، بلکه شاخص PUE را از ۱٫۲۸ به ۱٫۰۹ کاهش داده است. جدول زیر تفاوتهای کلیدی معماری نسل قبل را با نسل جدید هوش مصنوعی از منظر حرارتی و محاسباتی نشان میدهد:
| مشخصه فنی | سیستم نسل قبل (NVIDIA DGX H100) | سیستم مقیاسرک نوین (GB200 NVL72) |
| تعداد و نوع پردازنده گرافیکی | ۳۲ عدد H100 (در ۴ نود مجزا) | ۷۲ عدد B200 (در یک ساختار یکپارچه) |
| توان حرارتی (TDP) هر GPU | ۷۰۰ وات | ۱۰۰۰ وات |
| توان مصرفی کل رک | حدود ۴۰ کیلووات | حدود ۱۲۰ کیلووات |
| الزام خنککننده سیستم | هوا-خنک یا مایع (اختیاری) | خنککننده مایع اجباری (DLC) |
| پهنای باند حافظه (HBM) | ۲۶٫۸ ترابایت بر ثانیه | ۵۷۶ ترابایت بر ثانیه (تجمعی رک) |
| عملکرد پردازشی بر توان (FP8) | ۱٫۶ پتافلاپس بر کیلووات | ۵٫۴ پتافلاپس بر کیلووات |
این ارقام به وضوح نشان میدهند که اگرچه مصرف توان کلی رک بیش از سه برابر شده است، اما کارایی محاسباتی به ازای هر وات مصرفی رشد بسیار بالاتری را تجربه کرده است که این امر تنها با مدیریت دقیق حرارتی میسر میشود.
محدودیتهای فیزیکی در طراحی شاسیها و جریان هوا
ظرفیت انتقال و دفع حرارت در هر سیستم خنککننده، مستقیماً و به صورت تابعی خطی به خواص ترموفیزیکی سیال عامل آن سیستم وابسته است. بزرگترین محدودیت فیزیکی سیستمهای سنتی در دیتاسنترها، در تفاوت فاحش ویژگیهای ترمودینامیکی هوا در مقایسه با مایعات (به ویژه آب) نهفته است. آب در شرایط استاندارد محیطی، به ازای هر واحد حجم، قادر است ۳۳۰۰ برابر بیشتر از هوا انرژی حرارتی را در خود ذخیره و منتقل کند. ظرفیت گرمایی ویژه آب در حدود 4.186 KJ/kg.K است؛ این مفهوم ترمودینامیکی بدان معناست که تنها یک گالن آب به صورت فیزیکی میتواند معادل ۳۰۰۰ فوت مکعب هوا، حرارت را جذب نماید.
بررسی دقیق معادلات دفع حرارت نشان میدهد که خنکسازی با هوا در چگالی دقیقاً ۴۱٫۳ کیلووات بر رک با یک مرز مطلق و “شکست فیزیکی” مواجه میشود. برای انتقال ایمن یک کیلووات حرارت با استفاده از هوا، به جریان هوایی معادل ۱۰۰ فوت مکعب در دقیقه (CFM) با اختلاف دمای مجاز ۱۰ درجه فارنهایت نیاز است. حال اگر این معادله خطی را برای یک رک ۴۰ کیلوواتی مقیاسبندی کنیم، به عدد هولناک ۴۰۰۰ CFM جریان هوا در راهروهای سرد (Cold Aisles) میرسیم.
این حجم از جابجایی هوا سرعت بادی معادل یک طوفان رده ۲ (Category 2 Hurricane) ایجاد میکند. از منظر عملیاتی، تامین چنین جریانی نهتنها نیازمند مصرف ۲۵ کیلووات توان الکتریکی صرفاً برای چرخش فنهای دور بالا است، بلکه نویز آکوستیکی معادل ۹۵ دسیبل تولید میکند. این سطح از آلودگی صوتی، علاوه بر ایجاد خطر برای شنوایی کارکنان، ارتعاشات مخربی در فرکانسهای خاص تولید میکند که عملکرد خواندن/نوشتن در دیسکهای سخت مکانیکی (HDD) را با اختلالات فاجعهباری روبرو میسازد.
از منظر ضریب انتقال حرارت همرفتی (Convective Heat Transfer Coefficient)، هوا سیالی به شدت ناکارآمد است. در سیستمهای هوا-خنک، این ضریب بسته به سرعت جریان هوا، تنها بین ۲۵ تا ۲۵۰ وات بر متر مربع-کلوین (W/m^2\cdot K) متغیر است. در نقطه مقابل، انتقال حرارت همرفتی مایعات با سطوح جامد میتواند به سادگی به محدوده ۳۰۰۰ تا ۱۵۰۰۰ W/m^2\cdot K برسد که نمایانگر یک بهبود ۶۰ برابری در راندمان است. این ضریب بالا اجازه میدهد مبدلهای حرارتی بسیار کوچکتر و متراکمتری طراحی شوند. فراتر از آن، در حالت تماس مستقیم صفحه خنککننده با تراشه (Cold Plates)، این ضریب از مرز ۵۰,۰۰۰ W/m^2\cdot K عبور کرده و به صورت مجانبی به محدودیتهای فیزیکی انتقال حرارت رسانشی نزدیک میشود.
علاوه بر ظرفیت گرمایی محدود، متغیرهای محیطی نظیر ارتفاع از سطح دریا و میزان رطوبت نیز بر چالشهای هوا میافزایند. در دیتاسنترهای واقع در ارتفاعات بالا (مانند شهر دنور با ارتفاع حدود یک مایل)، چگالی هوا ۱۷ درصد کاهش مییابد. این رقیق شدن هوا به آن معناست که فنها باید با سرعت و حجم بسیار بیشتری کار کنند تا همان تعداد مولکول هوا را از روی هیتسینکها عبور دهند. همچنین ترکیب رطوبت بالا با هوای بسیار سرد میتواند ریسک تقطیر و شبنمزدگی بر روی قطعات حساس الکترونیکی را به همراه داشته باشد. در مقابل، حلقههای بسته مایع کاملاً مستقل از شرایط اقلیمی عمل میکنند.
از سوی دیگر، چیدمان داخلی سرورها نیز نقش مقاومت حرارتی و آیرودینامیکی را ایفا میکند. تراکم فزاینده قطعات سیلیکونی، هیتسینکهای حجیم با پرههای متراکم و کابلکشیهای داخلی، امپدانس بالایی در برابر جریان عبوری هوا ایجاد میکنند که به افت فشار (Pressure Drop) شدید در طول شاسی منجر میشود. طراحی فرمفاکتورهای قدیمی تجهیزات، این انسداد را تشدید میکند.
برای غلبه بر بخشی از این موانع فیزیکی، به ویژه در لایه تجهیزات ذخیرهسازی، صنعت دیتاسنتر از فرمفاکتورهای قدیمی نظیر U.2 و M.2 فاصله گرفته و به سمت استانداردهای نوینی نظیر EDSFF (Enterprise and Datacenter Standard Form Factor) تحت نظارت SNIA و OCP در حال حرکت است. فرمفاکتورهای M.2 علیرغم ابعاد کوچک، فاقد قابلیت تعویض در حین کار (Hot-plug) هستند و ظرفیت نصب هیتسینکهای بزرگ را ندارند. در سمت مقابل، درایوهای ۲٫۵ اینچی U.2 نیز به دلیل عرض زیاد خود، سد بزرگی در برابر عبور هوای تازه از پنل جلویی به سمت پردازندههای نصب شده در انتهای شاسی سرورهای 1U ایجاد میکنند.
استاندارد EDSFF، که شامل خانواده گستردهای از فرمفاکتورهای مهندسیشده نظیر E1.S (کوتاه)، E1.L (بلند)، E3.S و E3.L است، با تمرکز مستقیم بر بهینهسازی مسیرهای آیرودینامیکی و مدیریت پیشرفته حرارتی توسعه یافته است. درایوهای E1.S با طراحی باریک خود (عرض ۳۱٫۵ تا ۳۳٫۷۵ میلیمتر) و در ضخامتهای متنوع از ۵٫۹ میلیمتر تا ۲۵ میلیمتر تولید میشوند. ضخامتهای بالاتر نظیر ۱۵ و ۲۵ میلیمتر مجهز به هیتسینکهای نامتقارن هستند که اجازه میدهند توان مصرفی درایو تا ۲۵ وات افزایش یابد، در حالی که درایوهای سری E3 توانایی مدیریت شار حرارتی تا ۴۰ وات (و در برخی نسخههای 2T تا ۷۰ وات) را دارا میباشند.
این توان بالا برای پشتیبانی از تراشههای NAND متراکم و کنترلرهای فوقسریع PCIe Gen5 و به زودی Gen6 کاملاً حیاتی است. نصب عمودی درایوهای EDSFF در رکهای 1U مقاومت هوا را به حداقل رسانده و مسیرهای تونلمانندی برای عبور جریان خنککننده ایجاد میکند. (تطابق فرمفاکتورهای ذخیرهسازی با الزامات حرارتی نوین) -> [لینک داخلی به مقاله ۱۰ موجود: استاندارد EDSFF در دیتاسنتر]
تحلیل جامع Direct Liquid Cooling (DLC)
هنگامی که بار حرارتی از سقف فیزیکی ۴۰ کیلووات فراتر میرود، فناوری خنککننده مایع مستقیم (Direct Liquid Cooling) یا Direct-to-Chip از یک انتخاب لوکس به یک الزام قطعی زیرساختی تبدیل میشود. در این معماری، سیال خنککننده (آب دیونیزه یا ترکیبات گلیکول) توسط پمپها مستقیماً به قلب سرور هدایت میشود. هیتسینکهای پرهدار هوایی جای خود را به صفحات خنککننده ظریف (Cold Plates) میدهند که از طریق مواد رابط حرارتی (TIM) مستقیماً روی بستهبندی پردازندههای حساس نصب میشوند.
تحلیل ترموهیدرولیکی صفحات خنککننده نشان میدهد که مهندسی میکریکانالهای (Microchannels) مسی نقش محوری در موفقیت سیستمهای DLC دارد. برای مدیریت توانهای بیش از ۱۰۰۰ وات در تراشههای مدرن نظیر NVIDIA B200، جریان سیال در داخل این صفحات باید با دقت ریاضی طراحی شود تا مقاومت حرارتی به حداقل و ضریب انتقال حرارت به حداکثر برسد. با استفاده از تکنیکهای پیشرفته سیالاتی نظیر جریان شکافته (Split-Flow) یا برخورد جت (Jet Impingement)، مایع خنککننده از مرکز صفحه به صورت عمودی به سطح داغ کوبیده شده و سپس در کانالهای بسیار باریک به سمت لبهها منشعب میشود.
مطالعات نشان میدهد که این شبکههای میکریکانالی قادرند ضریب انتقال حرارت همرفتی را به بیش از ۹۰,۰۰۰ $W/m^2\cdot K$ برسانند و شار حرارتی متمرکزی معادل ۲۰۰ تا ۲۵۰ وات بر سانتیمتر مربع ($W/cm^2$) را بدون رسیدن به نقطه جوش دفع کنند. معماری Split-Flow نهتنها یکنواختی توزیع دما (Temperature Uniformity) را در سراسر مساحت سیلیکون بهبود میبخشد، بلکه با کوتاه کردن مسیر حرکت سیال در کانالهای باریک، افت فشار (Pressure Drop) کل سیستم را به نحو چشمگیری کاهش میدهد که این امر برای جلوگیری از نشت و حفظ سلامت اتصالات ضروری است.
پیادهسازی شبکههای خنککننده در مقیاس رکهای ابرمتراکم، چالشهای توزیع سیال را وارد فاز جدیدی میکند. به عنوان نمونه، رک GB200 NVL72 با توان ۱۲۰ کیلووات نیازمند حجم عظیمی از گردش سیال است. مشخصات فنی این سیستم نشان میدهد که برای تثبیت دما، به دبی جریانی بیش از ۷۰۰ تا ۸۰۰ لیتر بر دقیقه (LPM) در سطح رک نیاز است.
تلرانس حرارتی تراشههای B200 به قدری محدود است که بودجه حرارتی سیال (اختلاف دمای ورود و خروج به صفحه سرد) باید به شدت در بازه ۱۰ درجه سانتیگراد حفظ شود تا دمای پیوند سیلیکون (Junction Temperature) همواره زیر آستانه بحرانی ۸۵ درجه سانتیگراد تضمین گردد. بر اساس رهنمودهای بنیاد Open Compute Project (OCP)، طراحان مایعخنک سیستم، نسبت دبی به توان را بر روی ثابت 1.5 بهینهسازی میکنند تا این تعادل دمایی تحت فشار پردازشی صد درصدی حفظ شود.
یکی از ظریفترین و در عین حال حیاتیترین چالشها در سیستمهای DLC، مدیریت انرژی الکتریکی مصرفی توسط پمپهای موجود در واحدهای توزیع مایع خنککننده (Coolant Distribution Units – CDU) است. قوانین فیزیک سیالات، به ویژه قانون تشابه پمپها (Affinity Law)، دیکته میکند که توان مصرفی پمپ با توان سوم دبی جریان نسبت مستقیم دارد. اگر CDU به صورت دائم با دبی ثابت (طراحی شده برای بار حرارتی حداکثری ۱۰۰٪) کار کند، در زمانهایی که بار پردازشی سرورها کاهش مییابد (که در دیتاسنترها پدیدهای رایج است)، حجم عظیمی از انرژی به هدر میرود.
استفاده از پمپهای مبتنی بر درایو فرکانس متغیر (VFD) و سیستمهای هوشمند که دبی سیال را به صورت پویا با بار حرارتی لحظهای تراشهها تنظیم میکنند، میتواند مصرف انرژی پمپها را تا بیش از ۶۰ درصد در زمانهای کمباری کاهش دهد. این کنترل پویا، نهتنها بهرهوری تاسیسات را بهینه میکند، بلکه ظرفیت الکتریکی آزاد شده را میتواند به تامین توان محاسباتی سرورهای جدید اختصاص دهد.
از منظر بهرهوری محیطی، سیستمهای مایع مستقیم تطابق بینظیری با استانداردهای نوین ASHRAE دارند. بر اساس طبقهبندیهای تجهیزات مایع در ASHRAE، کلاسهای جدیدی نظیر W17، W27، W32، W40، W45 و W+ برای دمای آب ورودی به تاسیسات (Facility Water Supply – FWS) تعریف شدهاند. کلاس W32 به معنای استفاده از آب با دمای ۳۲ درجه سانتیگراد و کلاس W45 به معنای دمای ۴۵ درجه است.
توانایی سیستمهای DLC در کارکرد با آبهای گرم (نظیر کلاسهای W32 و W45) به دیتاسنترها اجازه میدهد تا در اکثر اقلیمهای کره زمین، نیاز به چیلرهای تراکمی پرمصرف را به طور کامل حذف کنند. در این حالت، دیتاسنتر صرفاً با استفاده از برجهای خنککننده خشک (Dry Coolers) و روش خنککاری آزاد (Free Cooling) حرارت را به جو دفع میکند که موجب کاهش چشمگیر شاخص PUE و صرفهجویی میلیونها دلار در هزینههای سرمایهای (CAPEX) و عملیاتی (OPEX) میگردد.
فناوری Immersion Cooling (خنککننده غوطهوری): آینده دیتاسنترهای AI
با عبور چگالی توان رکها از مرز ۱۰۰ کیلووات و نزدیک شدن به افقهای ۱۵۰ کیلوواتی، فناوری خنککننده غوطهوری (Immersion Cooling) رویکردی رادیکال، مخرب (به معنای دگرگونکننده صنعت) و بهشدت کارآمد برای معماری فیزیکی دیتاسنترها ارائه میدهد. در این ساختار، رویکرد انتقال حرارت نقطهای کنار گذاشته شده و کل قطعات سختافزاری سرور به صورت کامل درون یک مخزن پر از سیال دیالکتریک (عایق جریان الکتریکی) غوطهور میشوند.
این امر به معنای حذف کامل فنهای سرور، هیتسینکهای فلزی پیچیده و پمپهای توزیع نقطهای سرد است. غوطهوری کامل علاوه بر کاهش چشمگیر مصرف انرژی، مزایای جانبی بینظیری نظیر قطع ارتباط اکسیژن با مدارات (جلوگیری از اکسیداسیون)، حذف خطرات رطوبت، جلوگیری از ورود ذرات معلق (Dust) و یکنواختی مطلق دمایی در تمامی اجزای شاسی را به همراه دارد. فناوری غوطهوری بر اساس رفتار سیال در برابر حرارت به دو دسته اصلی تکفاز (Single-Phase) و دو-فاز (Two-Phase) تقسیمبندی میشود. جدول زیر مقایسهای جامع بین این دو رویکرد ارائه میدهد:
| شاخصه ارزیابی | غوطهوری تکفاز (Single-Phase Immersion) | غوطهوری دوفاز (Two-Phase Immersion) |
| مکانیزم اصلی انتقال حرارت | همرفت حرارتی (طبیعی در مخزن و اجباری با پمپ مبدل)، بدون تغییر فاز فیزیکی | جوشش هستهای (Nucleate Boiling) روی سطوح داغ و استفاده از گرمای نهان تبخیر |
| دفع شار حرارتی | مناسب برای رکهای تا حدود ۱۰۰ کیلووات | خارقالعاده، قابلیت دفع شارهای متمرکز بیش از ۲۵۰ وات بر سانتیمتر مربع ($W/cm^2$) |
| دمای اشباع / نقطه جوش سیال | بالا (معمولاً تبخیر نمیشوند)، دارای نقطه اشتعال (Flash Point) بالاتر از ۱۵۰ درجه | بسیار پایین و مهندسی شده (بین ۵۰ تا ۶۰ درجه سانتیگراد) |
| نوع سیالات رایج صنعتی | هیدروکربنهای مصنوعی (مثل PAO و GTL)، روغنهای معدنی تصفیه شده و استرهای طبیعی | سیالات فلوئوروکربنی مهندسیشده (Fluorocarbons) |
| استقامت عایق الکتریکی | بسیار بالا (ولتاژ شکست دیالکتریک > 45 kV بر اساس تست استاندارد ASTM D877) | بالا، اما بخارات تولید شده نیازمند فضای مهروموم برای حفظ خواص عایقی هستند |
| ملاحظات محیط زیستی و قانونگذاری | زیستتخریبپذیر به درجات مختلف، فاقد ترکیبات ممنوعه PFAS، بدون سمیت خطرناک | چالشهای جدی؛ به دلیل وجود PFAS، مشمول ممنوعیتهای جهانی و توقف تولید شدهاند |
| پیچیدگی سازهای و نگهداری | طراحی مخزن روباز مجاز است، نگهداری آسان و دسترسی سریع به بردهای سختافزاری | نیازمند مخازن کاملاً هرمتیک (مهروموم)، دارای کویلهای چگالنده بخار در سقف مخزن |
غوطهوری تکفاز (Single-Phase):
در سیستمهای تکفاز، سیال دیالکتریک در تمامی مراحل جذب و دفع حرارت در حالت مایع باقی میماند. با گرم شدن قطعات، سیال مجاور آنها به دلیل کاهش چگالی به سمت بالا حرکت کرده (همرفت طبیعی) و سپس حرارت توسط پمپهای مخزن به یک مبدل حرارتی خارجی (CDU) منتقل شده و خنک میشود. از منظر علم مواد، هیدروکربنهای مصنوعی که با تکنولوژی تبدیل گاز به مایع (Gas-to-Liquid – GTL) تولید میشوند، عملکردی خیرهکننده در این حوزه از خود نشان دادهاند. به عنوان مثال، سیال Shell Immersion Cooling Fluid S3 X که بر پایه فناوری GTL توسعه یافته است، فاقد گوگرد، نیتروژن و آروماتیکها بوده و ویسکوزیته بسیار پایینی را با مقاومت در برابر اکسیداسیون ترکیب کرده است.
ارزیابی آکادمیک و صنعتی این سیالات بر اساس مجموعهای از شاخصهای شایستگی فیزیکی (Figures of Merit – FOM) انجام میپذیرد. شاخص FOM1 توانایی سیال را در انتقال حرارت از طریق همرفت طبیعی میسنجد (جایی که سیالاتی با گرانروی سینماتیک پایین بهترین عملکرد را دارند)، و شاخص FOM2 کارایی آن را در حالت همرفت اجباری (پمپاژ شده) بررسی میکند. شاخص FOM3 نیز ارتباط مستقیمی با افت فشار سیال دارد که برای محاسبه توان پمپها حیاتی است.
از نظر ایمنی و قابلیت اطمینان الکتریکی، سیال باید تحت استانداردهای سختگیرانهای نظیر ASTM D877 (اندازهگیری ولتاژ شکست دیالکتریک) آزمایش شود. سیالات مرغوب مبتنی بر GTL توانایی تحمل ولتاژهای فراتر از ۴۵ تا ۵۵ کیلوولت (kV) را در یک شکاف استاندارد ۲٫۵۴ میلیمتری بدون قوس الکتریکی از خود نشان میدهند. اجرای سیستم تکفاز با این سیالات میتواند مصرف انرژی زیرساخت سرمایش را تا ۴۸ درصد کاهش داده، فضای فیزیکی مورد نیاز را کاهش داده و شاخص PUE را به عدد بینظیر ۱٫۰۳ تنزل دهد.
غوطهوری دوفاز (Two-Phase):
در رویکرد پیشرفتهتر دوفاز، از سیالات فلوئوروکربنی مهندسیشده استفاده میشود که نقطه جوش آنها عمداً در بازه دمایی پایین (حدود ۵۰ درجه سانتیگراد) تنظیم شده است. فرآیند حرارتی در اینجا کاملاً متفاوت است. با تماس سیال با قطعه داغ (نظیر سطح یک GPU)، پدیده جوشش هستهای رخ میدهد. سیال فوراً تبخیر شده و بخار حاصله، حجم عظیمی از انرژی را به صورت گرمای نهان تبخیر به خود جذب میکند. این مکانیزم ترمودینامیکی بسیار کارآمد است و به راحتی میتواند شارهای حرارتی عظیم تا ۲۵۰ W/cm^2 را مهار کند. بخار صعود کرده به فضای بالای مخزن، به کویلهای چگالنده (Condenser) برخورد کرده، گرمای خود را به آب تاسیسات پس میدهد و دوباره به شکل قطرات مایع بر روی تجهیزات میبارد.
با وجود برتری بلامنازع در انتقال حرارت، فناوری دوفاز با یک بحران زیستمحیطی فلجکننده مواجه شده است. تمامی سیالات فلوئوروکربنی مورد استفاده در این روش حاوی ترکیبات ماندگار پرفلوئوروآلکیل و پلیفلوئوروآلکیل (PFAS) هستند. به دلیل خطرات زیستمحیطی و اثرات تجمعی این “مواد شیمیایی ابدی” (Forever Chemicals)، نهادهای رگولاتوری جهانی فشارهای شدیدی برای توقف استفاده از آنها اعمال کردهاند. اعلام خروج غول شیمیایی 3M از بازار تولید مایعات پرکاربرد Novec تا پایان سال ۲۰۲۵، شوک بزرگی به این شاخه وارد کرده و باعث شده است بسیاری از طراحان دیتاسنترها با تجدید نظر در استراتژیهای خود، به سمت فناوریهای غوطهوری تکفاز متمایل شوند.
تاثیر استانداردهای جدید گذرگاهها بر تولید حرارت
در معماری سنتی دیتاسنترها، معادلات انتقال حرارت تقریباً منحصراً حول مدیریت حرارت متمرکز در پردازندههای مرکزی (CPU)، گرافیکی (GPU) و ماژولهای حافظه صورتبندی میشد. با این حال، با ظهور خوشههای غولپیکر پردازش موازی و نیاز بیامان الگوریتمهای هوش مصنوعی (نظیر آموزش مدلهای Mixture-of-Experts) به پهنای باند و سرعت ارتباطات ماشین-به-ماشین، زیرساختهای ارتباطی و استانداردهای گذرگاه مادربرد نظیر PCI Express (PCIe) به منابع غیرمنتظره و خطرناکی از تولید حرارت تبدیل شدهاند.
تکامل استاندارد PCIe به نسل ششم (PCIe Gen 6.0) نمایانگر یک جهش عظیم در مهندسی انتقال داده است. این استاندارد برای دستیابی به پهنای باند بیسابقه 64 GT/s (گیگاترانسفر بر ثانیه) به ازای هر مسیر، ناگزیر به رها کردن تکنیک کدگذاری دیجیتال سنتی NRZ (Non-Return-to-Zero) و روی آوردن به تکنیک پیچیده مدولاسیون دامنه پالس چهار سطحی (PAM4) شده است. در سیگنالینگ PAM4، به جای ارسال یک بیت در هر چرخه با استفاده از دو سطح ولتاژ متمایز (بالا و پایین)، اطلاعات از طریق چهار سطح ولتاژ دامنه ارسال میشوند که اجازه میدهد در هر واحد نماد (Symbol)، دو بیت داده (۰۰، ۰۱، ۱۰، ۱۱) گنجانده شود.
اگرچه این معماری نرخ انتقال داده را در فرکانس ثابت دو برابر میکند، تبعات ترمودینامیکی و سیگنالینگ آن در سطح فیزیکی بردهای مدار چاپی (PCB) ویرانگر است. فشردهسازی چهار سطح ولتاژ در همان دامنه الکتریکی بسیار کوچک قبلی، به این معناست که ارتفاع «چشم سیگنال» (Eye Diagram) در اسیلوسکوپها به شدت بسته شده و حاشیه نویز (Noise Margin) سیستم به یک سوم مقادیر نسلهای قبلی کاهش مییابد.
در این فرکانسهای رادیویی فوقبالا، تضعیف فرکانس (Insertion Loss)، تداخل الکترومغناطیسی (Crosstalk) و بازتاب سیگنال باعث تخریب شدید یکپارچگی سیگنال (Signal Integrity) میشوند. برای جبران این افت کیفیت فیزیکی، استاندارد PCIe 6.0 پیادهسازی مکانیزم ریاضی تصحیح خطای پیشرو (Forward Error Correction – FEC) را الزامی کرده است. مکانیزم FEC، اگرچه نرخ خطای بیت (BER) خام و وحشتناک PAM4 را ترمیم میکند، اما سربار پردازشی قابل توجهی به همراه دارد.
برای حفظ قدرت سیگنال در فواصل بیش از چند سانتیمتر روی مادربرد، استفاده از قطعات فعال تکرارکننده و بازسازیکننده سیگنال به نام Retimerها الزامی شده است. این قطعات که شامل مدارهای پیچیده بازیابی ساعت و داده (CDR) و پردازشگرهای سیگنال دیجیتال (DSP) برای اعمال اکولایزرها هستند، انرژی الکتریکی بالایی مصرف کرده و گرمای نقطهای شدیدی تولید میکنند.
در رکهایی نظیر GB200 که دارای سوئیچهای متراکم NVSwitch 4.0 با پیچیدهترین معماری PCB (دارای ۳۲ تا ۴۰ لایه مسی) هستند، تجمع دهها تراشه Retimer و فرستندهگیرندههای نوری، بار حرارتی متمرکزی را پدید میآورد. در صورت عدم دفع سریع این حرارت، نوسانات دمایی منجر به افزایش نویز حرارتی (Thermal Noise) شده و نرخ خطای بیت را از آستانه تحمل FEC فراتر میبرد که نتیجه آن قطعی لینک و افت فاجعهبار پهنای باند شبکه ارتباطی خوشههای AI خواهد بود. (چالشهای کنترل دما در قطعات با پهنای باند بسیار بالا) -> [لینک داخلی به مقاله ۱۳ جدید: حرارت و توان در PCIe Gen 6]
همین دینامیک حرارتی جدید موجب شده است تا در معماریهای نوین DLC، شبکههای خنککننده مایع دیگر محدود به CPU و GPU نباشند، بلکه با انشعابات میکروسکوپی بر روی تراشههای شبکه، Retimerها و کنترلرهای PCIe نیز کشیده شوند. در رویکردی جایگزین و برای کاهش ریشهای این مصرف توان و حرارت در کابلهای ارتباطی، صنعت در حال آزمایش فناوریهای اپتیکال نظیر Linear Drive Pluggable Optics (LPO) است. این فناوری با حذف کامل تراشه پرمصرف DSP از ماژولهای نوری و واگذاری جبران سیگنال به مدارات ASIC در سوئیچ، مصرف انرژی، تأخیر شبکه و دفعات تبدیل الکترونیکی را بهطور قابلتوجهی کاهش داده و از بحران حرارتی در لبه تجهیزات شبکه میکاهد.
نتیجهگیری
تحلیل همهجانبهی محدودیتهای ترمودینامیکی در برابر پیشرفتهای بیوقفه معماریهای سیلیکونی و استانداردهای ارتباطی، یک واقعیت غیرقابل انکار را برای معماران دیتاسنتر عیان میسازد: عصر تسلط انحصاری و سنتی هوای فشرده در خنکسازی دیتاسنترهای مقیاسپذیر به پایان رسیده است. انتخاب استراتژی خنککننده در زیرساختهای امروزی دیگر صرفاً یک تصمیم حاشیهای مبتنی بر امکانات تاسیساتی نیست، بلکه پیششرطی قطعی و الزامی برای آزادسازی پتانسیل عملکردی خوشههای محاسباتی هوش مصنوعی به شمار میرود.
بر اساس تحلیل فیزیکی بارهای کاری و چگالی توان رکها، رویکردهای استراتژیک زیر برای مهندسی و مدیریت حرارت زیرساختها توصیه میگردد:
۱. رکهای با چگالی پایین (زیر ۳۰ کیلووات): برای بارهای کاری سنتی سازمانی و وبسرورها، خنکسازی با هوا همچنان توجیه اقتصادی و فنی دارد. با این حال، شرط حیاتی برای حفظ راندمان در این محدوده، اجرای دقیق سیاستهای مدیریت راهروهای گرم/سرد (Hot/Cold Aisle Containment) و مهاجرت سریع به سمت فرمفاکتورهای ذخیرهسازی بهینه نظیر استانداردهای EDSFF E1.S و E3.S است. این فرمفاکتورها با بهبود آیرودینامیک شاسی، مسیرهای تنفسی سرور را باز کرده و نیاز به توان اضافی فنها را مهار میکنند.
۲. رکهای با چگالی متوسط رو به بالا (۳۰ تا ۵۰ کیلووات): در این بازه، محدودیتهای ذاتی ظرفیت گرمایی هوا به وضوح نمایان میشود. توصیه میشود دیتاسنترهایی که در حال ارتقاء تدریجی هستند، از رویکردی ترکیبی (Hybrid) بهره ببرند. ترکیب خنککنندههای گازی تقویتشده با مبدلهای حرارتی درب عقب (Rear-Door Heat Exchangers)، ظرفیت جذب حرارت موضعی را افزایش داده و با کمترین تغییرات ساختاری در سالنها، پایداری حرارتی قطعات تراکمیافته را تضمین میکند.
۳. رکهای با چگالی بالا (۵۰ تا ۱۰۰ کیلووات): برای خوشههایی که به پردازندههای پرقدرت و شبکههای گذرگاهی با پهنای باند عظیم (نظیر معماریهای مبتنی بر PCIe Gen 6 با سیگنالینگ PAM4) مجهز هستند، اتکا به خنککننده مایع مستقیم (DLC) کاملاً الزامی است. پیادهسازی مهندسیشده صفحات خنککننده میکروکانالی با تکنیک Split-Flow، در کنار واحدهای توزیع مایع (CDU) مجهز به پمپهای دور متغیر هوشمند، نهتنها چالش توزیع یکنواخت دما در سطح تراشهها را حل میکند، بلکه با انتقال حرارت در بازه دمایی ASHRAE W45، امکان استفاده از سیستمهای خنککننده آزاد (Free Cooling) و دستیابی به PUE رویایی زیر ۱٫۱ را فراهم میسازد.
۴. رکهای فوقمتراکم و افق محاسباتی آینده (فراتر از ۱۰۰ کیلووات): برای سیستمهای پردازش موازی یکپارچه در مقیاس رک (نظیر معماری ۱۲۰ کیلوواتی GB200 NVL72) که نیازمند پایداری مطلق حرارتی برای هماهنگسازی هزاران تراشه، حافظه HBM و کنترلرهای Retimer هستند، استراتژی بلندمدت باید به سمت فناوری خنککننده غوطهوری (Immersion Cooling) تغییر یابد. با توجه به موانع زیستمحیطی سیالات دوفاز حاوی PFAS، غوطهوری تکفاز با استفاده از هیدروکربنهای مصنوعی تصفیهشده (نظیر سیالات مبتنی بر GTL با ولتاژ شکست بالا) امنترین، اقتصادیترین و پایدارترین گزینه برای معماری آینده است. این فناوری با حذف کامل گلوگاههای فیزیکی انتقال حرارت، تضمینکننده عملکرد بدون وقفه، پایدار و مقیاسپذیر دیتاسنترهای عصر هوش مصنوعی خواهد بود.
رکهای فوقمتراکم و افق محاسباتی آینده (فراتر از ۱۰۰ کیلووات): برای سیستمهای پردازش موازی یکپارچه در مقیاس رک (نظیر معماری ۱۲۰ کیلوواتی GB200 NVL72) که نیازمند پایداری مطلق حرارتی برای هماهنگسازی هزاران تراشه، حافظه HBM و کنترلرهای Retimer هستند، استراتژی بلندمدت باید به سمت فناوری خنککننده غوطهوری (Immersion Cooling) تغییر یابد. با توجه به موانع زیستمحیطی سیالات دوفاز حاوی PFAS، غوطهوری تکفاز با استفاده از هیدروکربنهای مصنوعی تصفیهشده (نظیر سیالات مبتنی بر GTL با ولتاژ شکست بالا) امنترین، اقتصادیترین و پایدارترین گزینه برای معماری آینده است. این فناوری با حذف کامل گلوگاههای فیزیکی انتقال حرارت، تضمینکننده عملکرد بدون وقفه، پایدار و مقیاسپذیر دیتاسنترهای عصر هوش مصنوعی خواهد بود.