توسعه و استقرار سیستم‌های هوش مصنوعی مدرن، به‌ویژه مدل‌های زبانی بزرگ (LLMs) و سیستم‌های هوش مصنوعی مولد، بر پایه دو فاز کاملاً متمایز بنا شده است: آموزش (Training) و استنتاج یا اجرا (Inference). اگرچه در سال‌های گذشته، پردازنده‌های گرافیکی (GPUs) همه‌منظوره برای هر دو فاز مورد استفاده قرار می‌گرفتند، اما با رسیدن پارامترهای مدل‌ها به مقیاس تریلیون و افزایش تصاعدی تقاضای کاربران، زیرساخت‌های سخت‌افزاری دچار یک انشعاب بنیادین شده‌اند.
فاز آموزش مانند یک ماراتن محاسباتی است که در آن هدف نهایی، بهینه‌سازی توان عملیاتی (Throughput) برای پردازش دسته‌های عظیم داده طی هفته‌ها یا ماه‌هاست. در مقابل، فاز استنتاج مشابه یک دوی سرعت است که در آن، کمترین تاخیر (Latency) ممکن و پاسخ‌دهی بلادرنگ به درخواست‌های کاربران در حد میلی‌ثانیه، اولویت اصلی را تشکیل می‌دهد.
این تفاوت در نیازمندی‌ها، مهندسان سخت‌افزار و معماران دیتاسنتر را بر آن داشته تا استراتژی‌های متفاوتی را برای طراحی تراشه‌ها، توپولوژی شبکه، معماری حافظه و سیستم‌های خنک‌کننده اتخاذ کنند. در حالی که خوشه‌های آموزشی به دنبال دستیابی به بالاترین قدرت محاسباتی خام و پهنای باند شبکه در فضاهای متمرکز هستند، نودهای استنتاجی به سمت معماری‌های حافظه‌محور با توزیع جغرافیایی گسترده در لبه شبکه (Edge) حرکت می‌کنند.
بر اساس پیش‌بینی‌ها، ظرفیت پردازشی استنتاج تا سال ۲۰۳۰ با نرخ رشد مرکب سالانه (CAGR) معادل ۷۹ درصد گسترش خواهد یافت و ۸۰ درصد از کل بار محاسباتی هوش مصنوعی را به خود اختصاص خواهد داد. در این گزارش جامع، به کالبدشکافی دقیق و تحلیلی این دو رویکرد می‌پردازیم و نشان می‌دهیم که چگونه نسل‌های آینده سخت‌افزارها در حال بازتعریف اقتصاد و عملکرد هوش مصنوعی هستند.
آنچه میخوانید:
کالبدشکافی فاز Training: عطش سیری‌ناپذیر برای پهنای باند و حافظه
فاز آموزش مدل‌های هوش مصنوعی نیازمند انجام میلیاردها عملیات ریاضی ممیز شناور برای تنظیم دقیق اوزان (Weights) شبکه عصبی است. این فرآیند که عموماً از طریق الگوریتم‌های پس‌انتشار (Backpropagation) و گرادیان کاهشی (Gradient Descent) انجام می‌شود، به حافظه‌ای با ظرفیت فوق‌العاده بالا برای ذخیره‌سازی وضعیت بهینه‌سازها (Optimizer States)، گرادیان‌ها، و فعال‌سازها (Activations) نیاز دارد. در این فاز، گلوگاه اصلی تنها توان محاسباتی خام نیست، بلکه سرعت انتقال داده‌ها بین حافظه و واحدهای محاسباتی است که به عنوان «دیوار حافظه» (Memory Wall) شناخته می‌شود.
برای غلبه بر این محدودیت، تولیدکنندگان سخت‌افزار به سمت استفاده گسترده از حافظه‌های با پهنای باند بالا (HBM) روی آورده‌اند. با این حال، حتی پیشرفته‌ترین حافظه‌های HBM نیز برای تغذیه مداوم هزاران هسته پردازشی تحت فشار قرار می‌گیرند. در فاز آموزش، سیستم‌ها به گونه‌ای طراحی می‌شوند که با استفاده از تکنیک پردازش دسته‌ای (Batching) بزرگ، بهره‌وری استفاده از حافظه را به حداکثر برسانند. این امر باعث می‌شود که پردازنده‌ها بتوانند یک مجموعه داده بزرگ را به صورت همزمان بارگذاری کرده و عملیات محاسباتی را با راندمان بالایی اعمال کنند.
چالش توزیع وزن‌ها (Weights) در میان هزاران پردازنده گرافیکی
وقتی حجم یک مدل هوش مصنوعی از مرز چند ده میلیارد پارامتر فراتر می‌رود، دیگر نمی‌توان تمام ساختار مدل و اوزان آن را در حافظه یک پردازنده گرافیکی واحد جای داد. در این مقیاس، مهندسان مجبور به استفاده از استراتژی‌های پردازش موازی مانند موازی‌سازی داده (Data Parallelism)، موازی‌سازی تنسور (Tensor Parallelism) و موازی‌سازی خط لوله (Pipeline Parallelism) هستند. اینجاست که چالش اصلی یعنی هماهنگ‌سازی و توزیع وزن‌ها در میان هزاران پردازنده گرافیکی نمایان می‌شود. هرگونه تاخیر در ارتباط بین پردازنده‌ها می‌تواند به توقف کامل فرآیند آموزش منجر شود، زیرا پردازنده‌ها باید برای ادامه محاسبات منتظر دریافت گرادیان‌های به‌روزرسانی‌شده بمانند.
به همین دلیل، زیرساخت ارتباطی (Interconnect) به اندازه خود پردازنده‌ها اهمیت پیدا می‌کند. فناوری‌هایی مانند NVLink انویدیا و سوئیچ‌های InfiniBand برای ایجاد یک پهنای باند ارتباطی عظیم طراحی شده‌اند تا تاخیر در همگام‌سازی وزن‌ها را به حداقل برسانند. در معماری‌های نوین، سرعت ارتباط بین پردازنده‌ها به چندین ترابایت بر ثانیه می‌رسد تا عملیات ارتباطی (مانند All-Reduce) به گلوگاهی برای سیستم تبدیل نشود. کارت‌های شبکه پیشرفته مانند NVIDIA ConnectX-9 با ارائه پهنای باند ۱.۶ ترابیت بر ثانیه به ازای هر پردازنده گرافیکی، در ترکیب با پردازنده‌های داده (DPU) نظیر BlueField-4، وظیفه مدیریت جریان‌های عظیم ترافیک، کاهش مسدود شدن سرخط (Head-of-Line Blocking) و رمزنگاری داده‌های در حال انتقال را بر عهه دارند تا پهنای باند موثر تحت بارگذاری‌های سنگین حفظ شود.
توان محاسباتی در آموزش مدل‌های زبانی بزرگ
آموزش مدل‌های پایه (Foundation Models) نیازمند حجم عظیمی از محاسبات پتافلاپس (PetaFLOPS) در بازه‌های زمانی طولانی است. در این مقیاس، حتی کوچکترین بهینه‌سازی در سطح معماری تراشه می‌تواند به معنای صرفه‌جویی چند میلیون دلاری در هزینه‌های برق و زمان اجاره زیرساخت باشد. توان محاسباتی در این فاز معمولاً با استفاده از واحدهای پردازش ماتریسی (نظیر Tensor Coreها در معماری انویدیا) سنجیده می‌شود که به طور خاص برای ضرب ماتریس‌ها در دقت‌های محاسباتی پایین (مانند FP16 ،BF16 و اخیراً FP8 و FP4) بهینه‌سازی شده‌اند. کاهش دقت محاسباتی در فاز آموزش، همراه با تکنیک‌های فشرده‌سازی تطبیقی (Adaptive Compression) که دقت را به صورت پویا در لایه‌های مختلف ترانسفورمر تنظیم می‌کنند، یکی از مهم‌ترین دستاوردهای مهندسی سخت‌افزار است.
نیاز به پردازش موازی عظیم برای مدل‌های میلیارد پارامتری
برای درک بهتر مقیاس محاسباتی مورد نیاز، بررسی پروژه‌های عملیاتی می‌تواند روشنگر باشد. مدل زبانی Falcon 180B یکی از برجسته‌ترین نمونه‌ها در نیاز به زیرساخت عظیم است. این مدل قدرتمند با داشتن ۱۸۰ میلیارد پارامتر، بر روی مجموعه داده‌ای خارق‌العاده متشکل از ۳.۵ تریلیون توکن آموزش دیده است. آموزش چنین مدل غول‌پیکری نیازمند پردازش موازی در سطحی بی‌سابقه است. بر اساس مستندات منتشر شده، فاز آموزش Falcon 180B به حدود ۷,۰۰۰,۰۰۰ ساعت-پردازنده گرافیکی (GPU Hours) نیاز داشته است که این فرآیند بر روی خوشه‌ای متشکل از ۴۰۹۶ پردازنده گرافیکی قدرتمند NVIDIA A100 40GB در پلتفرم ابری AWS SageMaker و از طریق اینستنس‌های P4d به صورت همزمان اجرا شده است.
مدیریت همزمان ۴۰۹۶ پردازنده به گونه‌ای که همگی با حداکثر توان عملیاتی کار کنند و درگیر تاخیر شبکه یا خطاهای سخت‌افزاری نشوند، یک شاهکار مهندسی است. در این فرآیند، پایداری زیرساخت اهمیتی حیاتی دارد؛ چرا که از کار افتادن تنها یک پردازنده یا سوئیچ شبکه می‌تواند باعث توقف موقت کل چرخه آموزش شود. این مقیاس از نیاز به پردازش، به وضوح نشان می‌دهد که چرا فاز آموزش در انحصار دیتاسنترهای عظیم و ارائه‌دهندگان خدمات ابری (Hyperscalers) قرار گرفته است و چرا معماری‌های آینده نیازمند تغییرات بنیادین در سطح سیلیکون هستند.
تکامل معماری پردازنده‌های گرافیکی انویدیا
در پاسخ به نیازهای روزافزون فاز آموزش و همچنین استنتاج، شرکت انویدیا به عنوان پیشگام بازار شتاب‌دهنده‌های هوش مصنوعی، معماری پردازنده‌های گرافیکی خود را با سرعتی بی‌سابقه تکامل بخشیده است. گذر از معماری Hopper به Blackwell و سپس به نسل آینده، نشان‌دهنده تغییر پارادایم از تمرکز صرف بر قدرت محاسباتی، به تمرکز همزمان بر پهنای باند حافظه، ارتباطات بین‌تراشه‌ای یکپارچه، و بهره‌وری انرژی است. معماری‌های جدید به گونه‌ای طراحی شده‌اند که تمام اجزای سیستم، از پردازنده مرکزی (CPU) گرفته تا واحد پردازش گرافیکی (GPU) و پردازنده‌های شبکه، در قالب یک اکوسیستم منسجم و یکپارچه عمل کنند.
مقایسه نسل‌های جدید شتاب‌دهنده‌ها در دیتاسنتر و معماری Tensor Coreها
نماد بارز این تکامل، معماری نسل آینده انویدیا یعنی پردازنده‌های سری Rubin است که انتظار می‌رود در نیمه دوم سال ۲۰۲۶ وارد بازار شوند. تراشه Rubin (با کد R200) بر پایه لیتوگرافی پیشرفته ۳ نانومتری TSMC (3N FinFET) توسعه یافته و دارای ۳۳۶ میلیارد ترانزیستور است که جهشی چشمگیر نسبت به ۲۰۸ میلیارد ترانزیستور در معماری Blackwell به شمار می‌رود. این معماری، شامل ۲۲۴ پردازنده جریانی (SM) و ۸۹۶ هسته Tensor نسل پنجم با قابلیت پشتیبانی از محاسبات تطبیقی NVFP4 (دقت ۴ بیتی) است که می‌تواند در فاز استنتاج تا ۵۰ پتافلاپس و در فاز آموزش تا ۳۵ پتافلاپس قدرت محاسباتی خام در سطح هر پکیج پردازشی ارائه دهد.
انقلابی‌ترین تغییر در پلتفرم Rubin، یکپارچه‌سازی آن با حافظه‌های نسل ششم یعنی HBM4 است. هر پردازنده Rubin مجهز به ۲۸۸ گیگابایت حافظه HBM4 در ۸ استک مجزا است که پهنای باند خیره‌کننده ۲۲ ترابایت بر ثانیه (TB/s) را فراهم می‌کند. این میزان، تقریباً ۲.۸ برابر بیشتر از معماری Blackwell (با ۸ ترابایت بر ثانیه) است و مستقیماً گلوگاه‌های حافظه را هدف قرار می‌دهد. در کنار GPU، انویدیا پردازنده مرکزی اختصاصی خود موسوم به Vera را معرفی کرده است که بر پایه معماری سفارشی ARM (هسته‌های Olympus) با ۲۲۷ میلیارد ترانزیستور و توانمندی بی‌نظیر در ارکستراسیون داده‌ها طراحی شده است. ارتباط بین Vera CPU و Rubin GPU از طریق پروتکل NVLink-C2C با پهنای باند ۱.۸ ترابایت بر ثانیه صورت می‌گیرد.
| مشخصه معماری | Hopper (H100) | Blackwell (B200) | Rubin (R200) |
| فناوری ساخت (لیتوگرافی) | TSMC 4N | TSMC 4NP | TSMC 3N (3nm) |
| تعداد ترانزیستور | ۸۰ میلیارد | ۲۰۸ میلیارد | ۳۳۶ میلیارد |
| ظرفیت و نوع حافظه | ۸۰ GB HBM3 | ۱۹۲ GB HBM3e | ۲۸۸ GB HBM4 |
| پهنای باند حافظه | ۳.۳۵ TB/s | ۸ TB/s | ۲۲ TB/s |
| توان استنتاج (NVFP4) | – | ~۱۰ PFLOPS | ۵۰ PFLOPS |
| توان آموزش (NVFP4) | – | ~۱۰ PFLOPS | ۳۵ PFLOPS |
| شبکه مقیاس‌پذیر (NVLink) | ۹۰۰ GB/s | ۱.۸ TB/s (نسل ۵) | ۳.۶ TB/s (نسل ۶) |
| توان مصرفی (TDP) | ۷۰۰ W | ۱۰۰۰ – ۱۲۰۰ W | ۱۸۰۰ – ۲۳۰۰ W |
| ارتباط پردازنده (C2C) | – | ۹۰۰ GB/s | ۱.۸ TB/s |
معماری سیستمی نظیر پلتفرم رک-اسکیل NVL144 نشان‌دهنده یکپارچگی استثنایی این قطعات است. در این پلتفرم، ۱۴۴ پردازنده Rubin و ۳۶ پردازنده Vera CPU با استفاده از سوئیچ‌های NVLink 6 تجمیع شده‌اند تا ۳.۶ اگزافلاپس توان پردازشی و ۷۵ ترابایت ظرفیت حافظه سیستم یکپارچه را فراهم کنند. این سطح از تراکم نیازمند خنک‌کننده‌های مایع صددرصدی است و نشان می‌دهد که این غول‌های سیلیکونی به طور کامل برای فاز آموزش و استنتاج مدل‌های چندوجهی بهینه‌سازی شده‌اند.
ظهور تراشه‌های اختصاصی Inference (ASICs و LPUs)
اگرچه پردازنده‌های گرافیکی به لطف معماری موازی خود فرمانروای بلامنازع فاز آموزش هستند، اما استفاده از آن‌ها برای فاز استنتاج همواره بهینه‌ترین گزینه نیست. فرآیند تولید متن در مدل‌های زبانی (Token-by-Token Generation) به طور ذاتی یک فرآیند متوالی و به شدت وابسته به حافظه (Memory-bound) است. در طول این فاز، پردازنده‌های گرافیکی سنتی اغلب دچار اتلاف منابع می‌شوند، زیرا سرعت تولید هر کلمه جدید توسط تاخیر در خواندن وزن‌های مدل از حافظه خارجی HBM محدود می‌شود. این ناکارآمدی ساختاری باعث شده تا فضای بازار برای ظهور تراشه‌های مدار مجتمع با کاربرد خاص (ASIC) و معماری‌های نوین پردازشی باز شود.
چرا برای اجرای مدل‌ها دیگر به GPUهای گران‌قیمت نیاز نداریم؟ (بررسی معماری‌های جایگزین مانند Groq)
در سال‌های اخیر، استارتاپ‌ها و شرکت‌های مهندسی معماری‌های جسورانه‌ای را برای دور زدن محدودیت‌های GPU معرفی کرده‌اند. یکی از پیشگامان این عرصه، شرکت Groq است که معماری نوآورانه واحد پردازش زبان (Language Processing Unit یا LPU) را توسعه داده است. تفاوت بنیادین LPU با GPU در استراتژی مدیریت حافظه نهفته است. در حالی که GPUها برای ذخیره‌سازی وزن‌های مدل به حافظه خارجی DRAM/HBM متکی هستند که ذاتا مستلزم تاخیر در دسترسی است، معماری LPU مبتنی بر رویکرد «SRAM-First» است.
در این معماری، تمام وزن‌های مدل مستقیماً بر روی حافظه استاتیک (SRAM) تعبیه‌شده در خود تراشه ذخیره می‌شود. حافظه SRAM به طور چشمگیری سریع‌تر از HBM عمل می‌کند. در حالی که بهترین حافظه‌های HBM در معماری‌های رایج GPU پهنای باندی در حدود ۸ ترابایت بر ثانیه ارائه می‌دهند، حافظه SRAM درون‌تراشه‌ای در LPU قادر است پهنای باندی بالغ بر ۸۰ ترابایت بر ثانیه و در نسل‌های جدید مانند Groq 3 تا ۱۵۰ ترابایت بر ثانیه فراهم کند. این اختلاف فاحش در سرعت دسترسی به حافظه، گلوگاه تاخیر را از بین برده و به معماری ساده و یکپارچه LPU اجازه می‌دهد به شکلی کاملاً قطعی (Deterministic) و بدون نیاز به مدیریت پیچیده زمان‌بندی هسته‌ها، استنتاج را پیش ببرد.
علاوه بر سرعت فوق‌العاده، تراشه‌های LPU بهره‌وری انرژی بسیار بالاتری دارند. با حذف کش‌های چندلایه و کنترلرهای حافظه پیچیده، تراشه Groq 3 قادر است تا ۳۵ برابر توان عملیاتی استنتاج بیشتری به ازای هر مگاوات انرژی مصرفی نسبت به GPUهای متداول ارائه دهد. این مزیت‌های اقتصادی باعث شده ارائه‌دهندگان سرویس‌های حساس به تاخیر، به جای خرید خوشه‌های گرافیکی پرهزینه، به سمت استفاده از شبکه‌های پردازشی مبتنی بر تراشه‌های اختصاصی استنتاج سوق پیدا کنند.
مقیاس‌پذیری زیرساخت‌های اجرای هوش مصنوعی
با بلوغ مدل‌های هوش مصنوعی و ادغام آن‌ها در محصولات روزمره مصرف‌کنندگان، نحوه استقرار و مقیاس‌پذیری زیرساخت‌های استنتاج به یک چالش حیاتی تبدیل شده است. برخلاف فاز آموزش که در آن منابع پردازشی به صورت پیوسته و با ۱۰۰ درصد ظرفیت برای یک دوره مشخص (معمولاً چندین هفته) اشغال می‌شوند، تقاضا در فاز استنتاج دارای نوسانات شدید و غیرقابل پیش‌بینی است. ترافیک کاربران می‌تواند در ساعات خاصی از روز به اوج برسد و در زمان‌های دیگر به شدت افت کند. نگهداری سرورهای قدرتمند به صورت دائماً روشن (Always-on) با میانگین بهره‌وری ۲۲ تا ۳۶ درصدی در محیط‌های عملیاتی، منجر به اتلاف عظیم منابع مالی و انرژی می‌شود.
تخصیص پویای منابع گرافیکی بر اساس تقاضا در محیط‌های ابری
برای حل چالش مقیاس‌پذیری و نوسان ترافیک، مهندسان زیرساخت در حال گذار به سمت الگوهای ابری نوین مانند معماری بدون‌سرور (Serverless GPU) هستند. این رویکرد به ارائه‌دهندگان زیرساخت اجازه می‌دهد تا مدل‌های سنگین را بر روی خوشه‌های توزیع‌شده‌ای از شتاب‌دهنده‌ها مستقر کرده و منابع را تنها در لحظه ارسال درخواست از سوی کاربر تخصیص دهند. این قابلیت مقیاس‌پذیری تا صفر (Scale-to-Zero) بدان معناست که در صورت عدم وجود درخواست، مدل از حافظه پردازنده تخلیه شده و منابع برای پردازش بار کاری سایر مشتریان (Multi-tenancy) آزاد می‌گردد.
استفاده از فناوری‌هایی نظیر حافظه یکپارچه (مانند ادغام LPDDR5X و HBM4 در معماری Rubin) به سیستم اجازه می‌دهد تا عملیات تخلیه حافظه پنهان (KV-cache offload) و جابجایی وزن‌ها در کسری از ثانیه انجام شود. این تخصیص پویا، کلید اصلی برای کاهش هزینه‌های عملیاتی و افزایش میانگین بهره‌وری (Utilization) در سرویس‌های مبتنی بر استنتاج در مقیاس جهانی است.
تحلیل هزینه‌ها (TCO) و شاخص Performance-per-Watt
مهم‌ترین عامل در تصمیم‌گیری برای طراحی دیتاسنترهای مدرن، تحلیل هزینه کل مالکیت (Total Cost of Ownership یا TCO) است که شامل هزینه‌های سرمایه‌ای اولیه (CapEx) برای خرید سخت‌افزار، و هزینه‌های عملیاتی جاری (OpEx) از جمله برق، خنک‌کننده، نیروی انسانی و نگهداری می‌شود. با پیشرفت توان شتاب‌دهنده‌ها، معادلات TCO به طور کلی دگرگون شده است.
امروزه، هزینه عملیاتی اجرای یک دیتاسنتر ابری مقیاس‌پذیر، بسته به میزان بار کاری و بهره‌وری، بین ۱.۰ تا ۱.۸ میلیون دلار به ازای هر مگاوات (MW) در سال تخمین زده می‌شود. در این میان، بخش عمده‌ای از هزینه‌های جاری (حدود ۴۰ تا ۶۰ درصد) تنها به تامین برق اختصاص دارد. سرمایه‌گذاری استهلاک سخت‌افزار نیز بخش عظیمی از مخارج را تشکیل می‌دهد؛ به طوری که افزایش طول عمر سرورها از ۳ به ۷ سال می‌تواند هزینه‌های سالانه را به طور چشمگیری کاهش دهد.
مقایسه هزینه‌های برق و خنک‌کننده بین خوشه‌های Training و نودهای Inference
اقتصاد تاسیسات آموزش و استنتاج دارای دو مسیر کاملاً متفاوت است. دیتاسنترهای اختصاص‌یافته به آموزش مدل‌های هوش مصنوعی نیازمند اتصال شبکه‌ای مداوم و پایداری مطلق هستند. از آنجا که تاخیر شبکه با کاربر نهایی (Latency) برای این بار کاری اهمیتی ندارد، این دیتاسنترها در قالب مگا-کمپوس‌هایی با مقیاس ۱۰۰ مگاوات تا بالای ۱ گیگاوات و در مناطق دورافتاده روستایی که هزینه برق آن‌ها زیر ۵ سنت به ازای هر کیلووات ساعت است، احداث می‌شوند.
در این تاسیسات، تراکم حرارتی در هر رک به شدت بالاست. معماری نسل‌های آینده مانند NVIDIA Vera Rubin برای تامین انرژی پردازنده‌هایی با TDP بالغ بر ۲۳۰۰ وات، نیازمند تراکم‌های رک تا ۶۰۰ کیلووات هستند. خنک‌سازی این هیولاهای حرارتی تنها با سیستم‌های پیشرفته خنک‌کننده مایع مستقیم (Direct-to-Chip) و غوطه‌وری (Immersion Cooling) ممکن است که پیاده‌سازی آن‌ها در سایت‌های تازه تاسیس (Greenfield) به مراتب ارزان‌تر تمام می‌شود.
در نقطه مقابل، نودهای استنتاجی به دلیل ضرورت پاسخگویی به کاربران در زمان‌هایی کمتر از ۵۰ میلی‌ثانیه، باید در مناطق پرتراکم شهری (Metros) و لبه شبکه احداث شوند. اپراتورهای استنتاج حاضرند برای تامین برق شهری تا سه برابر بیشتر از دیتاسنترهای آموزشی هزینه کنند، زیرا تاخیر مستقیماً بر کیفیت محصول نهایی تاثیر می‌گذارد. تراکم حرارتی این رک‌ها کمتر است (حدود ۱۲ تا ۶۰ کیلووات در هر رک)، اما چالش اصلی، نوسانات شدید بار پردازشی است که نیازمند سیستم‌های خنک‌کننده انعطاف‌پذیر با ظرفیت متغیر است.
| شاخص ارزیابی | زیرساخت آموزش (Training) | زیرساخت استنتاج (Inference) |
| مکان بهینه | مناطق دورافتاده با برق ارزان، فضای باز | مناطق پرتراکم شهری (Metro/Edge) |
| اهمیت تاخیر (Latency) | پایین (انتقال دسته‌ای داده‌ها) | بحرانی (کمتر از ۵۰ میلی‌ثانیه برای پاسخ) |
| مقیاس تاسیسات | ۱۰۰ مگاوات تا بالای ۱ گیگاوات | ۵ تا ۱۰۰ مگاوات (توزیع شده) |
| تراکم قدرت هر رک | ۶۰ تا ۱۶۰ کیلووات (و به زودی تا ۶۰۰ کیلووات) | ۱۲ تا ۶۰ کیلووات |
| فناوری خنک‌کننده | مایع (Direct-to-Chip / Immersion) قطعی | ترکیبی، هوای فشرده متغیر، مایع (در حال تطبیق) |
| نرخ رشد سالانه تا ۲۰۳۰ | ۲۵ درصد (در حال تثبیت) | ۷۹ درصد (در حال انفجار و توسعه) |
| طراحی سازه | سنتی (Traditional Stick-built) در مقیاس عظیم | ماژولار و پیش‌ساخته (Modular) برای استقرار سریع |
اهمیت شاخص بهره‌وری مصرف انرژی (PUE) در این مقیاس، شگفت‌انگیز است. محاسبات نشان می‌دهد که در یک دیتاسنتر ۵ مگاواتی، کاهش PUE از ۱.۵۶ به ۱.۱۸ با استفاده از توزیع کارآمدتر و خنک‌کننده مایع می‌تواند به تنهایی سالانه نزدیک به ۲ میلیون دلار صرفه‌جویی عملیاتی به همراه داشته باشد. علاوه بر این، در حالی که ساخت‌وسازهای سنتی با هزینه‌ای معادل ۱۰ تا ۱۲ میلیون دلار به ازای هر مگاوات برای مگا-کمپوس‌های آموزشی منطقی است، استقرار زیرساخت‌های استنتاجی اغلب با استفاده از دیتاسنترهای ماژولار (با هزینه ۷ تا ۹ میلیون دلار به ازای هر مگاوات) انجام می‌شود که هزینه‌های CapEx را تا ۳۰ درصد کاهش داده و زمان استقرار را بهینه‌سازی می‌کند.
نتیجه‌گیری: استراتژی تفکیک سخت‌افزاری دیتاسنتر به دو زون مجزای آموزش و استنتاج برای بهینه‌سازی بودجه
بررسی عمیق تفاوت‌های معماری و اقتصادی میان دو فاز آموزش و استنتاج نشان می‌دهد که پارادایم ساخت دیتاسنترهای همه‌منظوره دیگر پاسخگوی نیازهای اقتصاد مدرن هوش مصنوعی نیست. پردازنده‌های گرافیکی سنتی و نسل‌های فوق‌پیشرفته‌ای نظیر خانواده NVIDIA Rubin، با قدرت پردازشی خارق‌العاده، ۳۳۶ میلیارد ترانزیستور و پهنای باند بی‌نظیر ۲۲ ترابایت بر ثانیه‌ای حافظه HBM4، سلطان بی‌بدیل توسعه مرزهای دانش و آموزش مدل‌های میلیارد پارامتری در فضاهای دورافتاده با انرژی ارزان هستند.
این زیرساخت‌ها نیازمند اتصال شبکه‌ای وسیع مانند NVLink 6 برای همگام‌سازی وزن‌ها بدون افت عملکرد هستند. اما استفاده از همین سخت‌افزارهای گران‌قیمت با توان مصرفی ۲۳۰۰ واتی در محیط‌های حساس به تاخیر شهری و در مواجهه با فرآیند توالی‌محور تولید توکن، با چالش‌های بهره‌وری انرژی و مالی مواجه می‌شود.
ظهور معماری‌های جایگزین حافظه‌محور مانند LPUها با رویکرد ذخیره‌سازی قطعی وزن‌ها روی حافظه سریع SRAM، مسیر را برای ایجاد دیتاسنترهای اختصاصی استنتاج با راندمان مصرف انرژی و هزینه به مراتب بهتر هموار کرده است. برای ارائه‌دهندگان خدمات ابری و سازمان‌های پیشرو، موفقیت در این عصر مستلزم اتخاذ یک استراتژی دوگانه است: تفکیک فیزیکی و لجستیکی دیتاسنترها به «کارخانه‌های هوش مصنوعی» برای پردازش‌های سنگین آموزشی در مناطقی با فراوانی برق، و «گره‌های استنتاجی ماژولار» مستقر در قلب شبکه‌های شهری برای پاسخ‌دهی بلادرنگ.
این جداسازی هدفمند، با بهره‌گیری از فناوری‌های تخصیص پویای ابری نظیر معماری بدون‌سرور، نه تنها از اتلاف سرمایه‌های عظیم جلوگیری می‌کند، بلکه با بهینه‌سازی شاخص‌های PUE و TCO، پایداری اقتصادی درازمدتی را در چرخه حیات هوش مصنوعی تضمین خواهد کرد. برنده نبرد زیرساخت‌ها، سازمانی خواهد بود که معماری سیلیکون را با جغرافیا و ترمودینامیک به بی‌نقص‌ترین شکل ممکن پیوند زند.
