خلاصه اجرایی و جایگاه در بازار
بازار شتاب‌دهنده‌های هوش مصنوعی مدت‌هاست تحت نیروی گرانشی اکوسیستم نرم‌افزاری انحصاری انویدیا فعالیت کرده است. با این حال، یک همکاری مهندسی نقطه‌عطف میان گوگل، متا و استارتاپ استنتاج RadixArk به‌طور بنیادین پارادایم مقیاس‌پذیری بزرگ (هایپراسککیل) را تغییر داده است. واحدهای پردازش تنسور (TPU) اختصاصی گوگل اکنون به‌طور فعال بارهای کاری هوش مصنوعی در سطح تولید را در زیرساخت مرکز داده متا سرویس‌دهی می‌کنند. این استقرار با کمک نسخه‌های جدید و بومی PyTorch از موتورهای استنتاج SGLang و vLLM—به‌ویژه SGLang-TorchTPU و vLLM-TorchTPU—تسهیل شده است. این موتورها با دور زدن فریم‌ورک انحصاری JAX گوگل، معماری سیلیکونی را از سیلوهای نرم‌افزاری صلب آزاد می‌کنند و به متا اجازه می‌دهند بدون انجام مهاجرت‌های مختل‌کننده پایگاه کد، از سخت‌افزار ASIC سفارشی بهره‌برداری کند.
از نظر تاریخی، ادغام متا با سیلیکون TPU گوگل به دلیل تکه‌تکه بودن نرم‌افزار با مانع مواجه شده بود. در حالی که تیم‌های تحقیقاتی متا بین سال‌های ۲۰۲۰ و ۲۰۲۳ پل‌های اولیه TPU (مانند PyTorch/XLA) را آزمایش کردند، آن قراردادها در نهایت به دلیل اصطکاک در جریان کار و ترجیح شدید صنعت به سازگاری بومی با PyTorch کنار گذاشته شدند. پشته تازه تأسیس TorchTPU مستقیماً این گلوگاه تاریخی را برطرف می‌کند. هم‌زمان، عرضه TorchNeuron توسط آمازون برای سخت‌افزار Trainium بر یک شورش گسترده و همه‌گیر در صنعت هایپراسککیل علیه قفل نرم‌افزاری کودای انویدیا تأکید می‌کند. برای تحلیلگران OPA Specs، این تحول نویدبخش طلوع عصر سیلیکون ناهمگن است که در آن ارکستراسیون نرم‌افزاری استاندارد باز، به همان اندازه عملکرد خام تولید نقطه شناور، پذیرش سخت‌افزار را دیکته می‌کند.
نوآوری‌های کلیدی معماری و فناورانه
پیشرفت مهندسی زیرپایه این ادغام در نحوه ارتباط مستقیم موتورهای استنتاج با معماری TPU اختصاصی گوگل نهفته است. پیش از این، اجرای مدل‌های PyTorch روی TPUها نیازمند لایه‌های ترجمه‌ای بود که تأخیر و سربار عملیاتی ایجاد می‌کردند. تلاش‌های توسعه‌ای مشترک—شامل تیم PyTorch-TPU متا، مهندسان گوگل و RadixArk (تأسیس‌شده توسط خالقان اصلی SGLang)—به یک بک‌اند بهینه‌سازی‌شده منجر شد. این بک‌اند سخت‌افزار TPU را به‌طور بومی در اختیار جریان‌های کاری PyTorch قرار می‌دهد و عملاً نیازی به بازنویسی کد برای استقرار مدل ندارد. پشته نرم‌افزاری مکانیسم‌های TPU Sync را مستقیماً در vLLM و SGLang ادغام می‌کند و شکاف بین فریم‌ورک‌های یادگیری ماشین سطح بالا و واحدهای اجرای ASIC سفارشی سطح پایین را پر می‌کند.
از منظر معماری سیستم‌ها، این جداسازی سخت‌افزار و فریم‌ورک انقلابی است. پادهای Ironwood TPU نسل هفتم گوگل، همراه با هسته‌های بهینه‌سازی‌شده vLLM، کارایی قابل‌توجهی را در هنگام رسیدگی به معماری‌های عظیم ترکیبی از متخصصان (MoE) و متراکم نشان می‌دهند. با توسعه هسته‌های تخصصی برای مدل‌های در مقیاس بزرگ—مانند Kimi K3 با ۲.۸ تریلیون پارامتر از Moonshot AI و انواع Qwen—ائتلاف مهندسی ثابت کرده است که ASICهای سفارشی نه تنها می‌توانند با توان عملیاتی اجرایی تنظیمات سنتی GPU برابری کنند، بلکه در سناریوهای خاص دسته‌ای کوچک و رمزگشایی گمانه‌زنی (speculative decoding) از آن فراتر روند. این امر ثابت می‌کند که طراحی هم‌زمان نرم‌افزار و سخت‌افزار، هنگامی که برای فریم‌ورک‌های جهانی مانند PyTorch باز شود، می‌تواند حصارهای انحصاری فروشندگان را از بین ببرد.
مشخصات تجربی و ماتریس بنچمارک
| معیارهای معماری | TPU نسخه Ironwood گوگل (vLLM-TorchTPU) | مبنای Nvidia GB200 (تنظیمات منتشر شده) | دلتا / مزیت عملکرد |
|---|---|---|---|
| پیکربندی سخت‌افزار | ۱۶ پاد Ironwood TPU | ۱۶ نود Nvidia GB200 | ASIC سفارشی در برابر GPU نسل بعدی |
| فریم‌ورک استنتاج | نسخه بومی vLLM-TorchTPU با رمزگشایی گمانه‌زنی | موتور استاندارد vLLM | زمان‌بندهای بومی PyTorch |
| مدل تست‌شده | Moonshot AI Kimi K3 (پارامتر ۲.۸T) | Moonshot AI Kimi K3 (پارامتر ۲.۸T) | ارزیابی عظیم MoE |
| توان عملیاتی تک کاربره | بیش از ۷۰۰ توکن در ثانیه | ۴۵۲ توکن در ثانیه | حدود ۵۵٪ سرعت تولید اوج بالاتر |
| سرعت هسته دسته کوچک | ۱.۴ تا ۲ برابر توان عملیاتی پایه | پایه (۱.۰ برابر) | بهره‌برداری برتر از تنسور کور / واحد ماتریس |
حرارت، کارایی و ارگونومی دنیای واقعی
راه‌اندازی واحدهای پردازش تنسور در مقیاس هایپراسککیل چالش‌های شدیدی را در زمینه حرارت و چگالی توان ایجاد می‌کند، به‌ویژه با توجه به سرعت‌های تهاجمی کلاک مورد نیاز برای استنتاج مدل زبانی بزرگ در زمان واقعی. معماری Ironwood TPU نسل هفتم گوگل، که در کنار پارادایم‌های خنک‌کننده مایع پیشرفته و مستقیم به سیلیکون در تأسیسات هایپراسککیل مستقر شده است، پایداری حرارتی بالایی را تحت بارهای اوج مداوم حفظ می‌کند. دستاوردهای کارایی حاصل از حذف لایه‌های کامپایل میانی (مانند پل‌های قدیمی JAX به XLA) مستقیماً به کاهش سربار CPU و مصرف برق کمتر در حالت بیکار در سطح رک تبدیل می‌شود. هنگام اجرای بارهای کاری پیچیده چندمشتری، حلقه‌های زمان‌بند بهینه‌سازی‌شده در SGLang-TorchTPU تکه‌تکه شدن حافظه را در زیرسیستم‌های حافظه با پهنای باند بالا (HBM) TPU به حداقل می‌رسانند.
استقرار این سیستم‌ها در محیط تولیدی متا همچنین ارگونومی عملیاتی در حال تغییر را برای مدیران سیستم برجسته می‌کند. شرکت‌های هایپراسککیل دیگر تمایلی به حفظ پشته‌های زیرساختی تکه‌تکه و قفل‌شده توسط فروشنده ندارند که نیازمند خطوط لوله کامپایل سفارشی برای هر خانواده سخت‌افزاری هستند. استانداردسازی پیرامون بک‌اندهای بومی PyTorch به این معنی است که اپراتورهای مراکز داده می‌توانند بارهای کاری را بر اساس دسترسی در زمان واقعی، محدودیت‌های توان و معیارهای هزینه بر اساس هر توکن، به‌طور پویا بین ASICهای سفارشی و GPUها مسیریابی کنند. این انعطاف‌پذیری عملیاتی آسیب‌پذیری‌های زنجیره تامین را کاهش می‌دهد و به خریداران اهرم قابل‌توجهی در مذاکرات چندساله خرید نیمه‌هادی‌ها اعطا می‌کند.
رأی نهایی
ادغام TPUهای گوگل در مراکز داده تولیدی متا از طریق موتورهای استنتاج بومی PyTorch، نقطه عطف قطعی را در چشم‌انداز سخت‌افزار هوش مصنوعی سازمانی نشان می‌دهد. رأی نهایی: یک پیروزی ساختاری عظیم برای فریم‌ورک‌های هوش مصنوعی منبع‌باز و تنوع‌بخشی به سخت‌افزار هایپراسککیل. از طریق از بین بردن سیستماتیک موانع نرم‌افزاری که انحصار کودا را تحمیل می‌کردند، گوگل، متا و تیم‌های توسعه SGLang/vLLM یک طرح قابل‌اجرا برای زیرساخت هوش مصنوعی چندفروشنده ایجاد کرده‌اند. در حالی که انوید