انویدیا از راهکاری برای آماده‌سازی کلاسترهای Kubernetes جهت پشتیبانی از پلتفرم هوش مصنوعی Vera Rubin NVL72 رونمایی کرده است. این راهکار با استفاده از ابزار NVIDIA AI Cluster Runtime، تنظیمات مورد نیاز سخت‌افزار جدید را به دستورالعمل‌های قابل تکرار تبدیل می‌کند و امکان استقرار و اعتبارسنجی زیرساخت را پیش از راه‌اندازی عملیاتی فراهم می‌سازد.
هدف انویدیا این است که ارائه‌دهندگان زیرساخت هوش مصنوعی و اپراتورهای دیتاسنتر بتوانند هم‌زمان با عرضه نسل جدید سخت‌افزار، محیط نرم‌افزاری و مدیریتی خود را نیز برای استفاده از آن آماده کرده باشند.
NVIDIA AI Cluster Runtime چه نقشی در آماده‌سازی Vera Rubin دارد؟
راه‌اندازی یک کلاستر GPU جدید فقط به نصب سخت‌افزار و درایورها محدود نمی‌شود. سیستم‌عامل، کرنل، شبکه، زمان‌بند پردازشی، ابزارهای مدیریت GPU و اجزای مختلف Kubernetes باید با یکدیگر سازگار باشند. حتی ناهماهنگی در یکی از این بخش‌ها می‌تواند مانع اجرای صحیح پردازش‌ها شود یا عملکرد زیرساخت را کاهش دهد.
انویدیا برای ساده‌تر کردن این فرایند از NVIDIA AI Cluster Runtime (AICR) استفاده می‌کند؛ ابزاری که بخشی از پلتفرم NVIDIA DSX AI Factory است.
AICR تنظیمات بهینه و تأییدشده را در قالب Recipeهای قابل استفاده مجدد ذخیره می‌کند. سپس بر اساس این تنظیمات، بسته‌های استقرار می‌سازد و وضعیت کلاستر را از نظر آمادگی، سازگاری و عملکرد بررسی می‌کند.
به این ترتیب، تیم‌های فنی می‌توانند به‌جای تنظیم دستی و تکراری اجزای مختلف، از پیکربندی‌هایی استفاده کنند که روی سخت‌افزار واقعی آزمایش شده‌اند.
چه تغییراتی در زیرساخت Vera Rubin مورد نیاز است؟
Vera Rubin NVL72 نسل جدیدی از معماری رک‌مقیاس انویدیاست که در ادامه معماری MGX توسعه یافته است. با وجود شباهت‌های ساختاری به GB200 NVL72، استفاده از این پلتفرم به به‌روزرسانی چند بخش مهم در زیرساخت نرم‌افزاری نیاز دارد.
مهم‌ترین تغییرات اعلام‌شده عبارت‌اند از:
- درایور GPU: پلتفرم Vera Rubin به شاخه جدیدی از درایورهای انویدیا نیاز دارد. پیکربندی آزمایش‌شده از نسخه R615.23 استفاده می‌کند؛ البته این نسخه حداقل الزام قطعی پشتیبانی رسمی نیست.
- تجهیزات شبکه: در طراحی جدید، کارت‌های ConnectX-7 و پردازنده‌های BlueField-3 جای خود را به ConnectX-9 SuperNIC و BlueField-4 DPU می‌دهند.
- توپولوژی ارتباطی: نحوه اتصال GPUها به کارت‌های شبکه و مسیرهای انتقال داده با نسل قبلی تفاوت دارد. بنابراین تنظیم ارتباطات GPU و شبکه و جایگاه‌دهی NUMA برای پردازش‌های سنگین ورودی و خروجی اهمیت بیشتری پیدا می‌کند.
- مدیریت منابع GPU: نسخه جدید Rubin پروفایل‌های متفاوتی برای فناوری Multi-Instance GPU (MIG) معرفی می‌کند؛ با این حال، Recipeهای فعلی AICR از تخصیص کامل GPU استفاده می‌کنند و تنظیمات MIG را پوشش نمی‌دهند.
این تغییرات نشان می‌دهند که ارتقای سخت‌افزار به Vera Rubin، بدون بررسی سازگاری اجزای نرم‌افزاری و شبکه، لزوماً به راه‌اندازی بدون مشکل کلاستر منجر نمی‌شود.
آزمایش موفق کلاستر Vera Rubin با Kubernetes
انویدیا برای بررسی عملکرد این راهکار، AICR را روی کلاسترهای مرجع Vera Rubin NVL72 آزمایش کرده است. در این آزمایش از نسخه رسمی GPU Operator 26.7.0، درایور DRA نسخه 0.5.0 و درایور R615 استفاده شد.
نتایج نشان داد که پیکربندی‌های مربوط به آموزش مدل و استنتاج هوش مصنوعی، مراحل استقرار و بررسی سازگاری را با موفقیت پشت سر گذاشته‌اند.
در بخش آموزش مدل نیز آزمایش ارتباط چندگرهی با استفاده از کتابخانه NCCL و بستر ارتباطی NVLink انجام شد. این آزمایش در اندازه داده ۱۶ گیگابایت، پهنای باند ۷۴۴.۷۱ گیگابایت بر ثانیه را ثبت کرد.
همچنین، انویدیا اعلام کرده است که فرایند تولید Recipe، ساخت بسته استقرار و اجرای مراحل اولیه اعتبارسنجی روی یک کلاستر فعال، در مجموع حدود پنج دقیقه زمان می‌برد؛ البته اجرای آزمون عملکردی NCCL به زمان جداگانه نیاز دارد.
آیا زیرساخت Vera Rubin از همین حالا آماده استفاده عملیاتی است؟
با وجود نتایج مثبت آزمایش‌ها، انویدیا تأکید کرده که Recipeهای Vera Rubin هنوز در وضعیت Preview قرار دارند. بنابراین این پیکربندی‌ها برای ارزیابی و استفاده اولیه در دسترس هستند و هنوز سطح پشتیبانی و چرخه عمر نسخه‌های نهایی و تأییدشده برای محیط‌های عملیاتی را ندارند.
از طرف دیگر، اعتبارسنجی عملکرد سرویس‌دهی استنتاج نیز هنوز کامل نشده است. انویدیا برای این بخش به نسخه‌های اجرایی سازگار با CUDA 13.4 یا بالاتر و آزمایش آن‌ها روی سخت‌افزار واقعی نیاز دارد.
در نتیجه، انتشار این Recipeها را باید گامی در مسیر آماده‌سازی اکوسیستم نرم‌افزاری Vera Rubin دانست، نه اعلام آمادگی کامل تمام اجزای این پلتفرم برای استفاده تجاری.
اهمیت آماده‌سازی Kubernetes برای نسل جدید GPUها
با افزایش ابعاد کلاسترهای هوش مصنوعی، مدیریت منابع پردازشی و هماهنگی میان سخت‌افزار، شبکه و نرم‌افزار به یکی از چالش‌های اصلی اپراتورهای دیتاسنتر تبدیل شده است. در چنین شرایطی، ابزارهایی مانند AICR می‌توانند فرایند راه‌اندازی زیرساخت‌های جدید را قابل پیش‌بینی‌تر کنند و احتمال بروز خطاهای ناشی از ناسازگاری اجزا را کاهش دهند.
اقدام اخیر انویدیا نشان می‌دهد که آماده‌سازی نسل بعدی زیرساخت‌های GPU فقط به توسعه تراشه‌های قدرتمندتر وابسته نیست؛ بلکه نرم‌افزارهای مدیریت کلاستر، زمان‌بندی پردازش‌ها و ابزارهای اعتبارسنجی نیز باید هم‌زمان با سخت‌افزار پیشرفت کنند.
برای ارائه‌دهندگان سرویس‌های GPU و زیرساخت‌های پردازش هوش مصنوعی، این هماهنگی می‌تواند نقش مهمی در کاهش زمان راه‌اندازی و آماده‌سازی ظرفیت پردازشی نسل جدید داشته باشد.
