انویدیا نسخه 13.5 از ابزار توسعه CUDA را منتشر کرد. این به‌روزرسانی با ارائه پشتیبانی عمومی (General Availability) از معماری جدید Vera Rubin، امکان توسعه و اجرای نرم‌افزارهای مبتنی بر این پلتفرم را در محیط‌های عملیاتی و سازمانی فراهم می‌کند. CUDA 13.5 همچنین قابلیت‌های تازه‌ای برای مدیریت منابع GPU، اجرای پردازش‌های چندگانه، ارتباط میان چند GPU و بهینه‌سازی عملیات هوش مصنوعی ارائه می‌دهد.
پشتیبانی CUDA 13.5 از معماری Vera Rubin به مرحله انتشار عمومی رسید
یکی از مهم‌ترین تغییرات CUDA 13.5، عبور پشتیبانی از معماری Vera Rubin از مرحله دسترسی اولیه توسعه‌دهندگان به مرحله انتشار عمومی یا GA است. در نسخه قبلی، CUDA 13.4 پشتیبانی آزمایشی از این معماری را در اختیار توسعه‌دهندگان قرار داده بود تا بتوانند نرم‌افزارهای خود را برای سخت‌افزارهای مبتنی بر Rubin آماده کنند.
اکنون با انتشار CUDA 13.5، پشتیبانی نرم‌افزاری از Vera Rubin به سطحی رسیده است که برای استفاده در محیط‌های تولیدی و سازمانی آماده محسوب می‌شود. این موضوع به توسعه‌دهندگان و شرکت‌هایی که قصد استقرار زیرساخت‌های مبتنی بر نسل جدید پردازنده‌های انویدیا را دارند، کمک می‌کند تا برنامه‌های خود را با قابلیت‌های این معماری هماهنگ کنند.
مدیریت بهتر منابع GPU با به‌روزرسانی NVIDIA MPS
بخش مهم دیگری از تغییرات CUDA 13.5 به مدیریت منابع پردازنده‌های گرافیکی اختصاص دارد. انویدیا در این نسخه قابلیت‌های NVIDIA Multi-Process Service یا MPS را توسعه داده است تا اجرای هم‌زمان چند پردازش روی یک GPU با کنترل و انعطاف بیشتری انجام شود.
نسخه سوم MPS امکاناتی مانند زمان‌بندی وزن‌دار پردازش‌ها (Weighted Timeslicing)، متعادل‌سازی بار میان بخش‌های مختلف GPU و تخصیص منابع بر اساس گروه‌های پردازشی را اضافه می‌کند.
قابلیت Weighted Timeslicing به مدیران سیستم اجازه می‌دهد مدت‌زمان اختصاص GPU به پردازش‌های مختلف را متناسب با نیاز آن‌ها تنظیم کنند. همچنین با قابلیت SM Partition Load Balancing، پردازش‌ها می‌توانند در صورت وجود ظرفیت آزاد، از منابع بخش‌های دیگر GPU استفاده کنند.
این تغییرات برای محیط‌هایی که چندین کاربر یا سرویس به‌صورت هم‌زمان از منابع GPU استفاده می‌کنند، اهمیت ویژه‌ای دارد؛ زیرا امکان مدیریت دقیق‌تر ظرفیت پردازشی و استفاده مؤثرتر از سخت‌افزار را فراهم می‌کند.
بهبود ارتباط و اجرای پردازش‌ها روی چند GPU با CUDA Tile
CUDA 13.5 قابلیت‌های CUDA Tile را نیز گسترش داده است. یکی از مهم‌ترین تغییرات این بخش، اضافه‌شدن امکان ارتباط مستقیم میان چند GPU درون کرنل‌های CUDA Tile است.
این قابلیت به کرنل‌ها اجازه می‌دهد از طریق زیرساخت‌های NVLink و NVSwitch به حافظه GPUهای دیگر دسترسی داشته باشند و عملیات ارتباطی مانند انتقال داده و کاهش مقادیر (Reduction) را در کنار محاسبات انجام دهند.
در نتیجه، توسعه‌دهندگان می‌توانند برخی مراحل محاسباتی و ارتباطی را در یک کرنل ترکیب کنند. این قابلیت برای بارهای کاری چند GPU، از جمله عملیات ماتریسی و پردازش‌های سنگین هوش مصنوعی، کاربرد دارد.
همچنین پشتیبانی آزمایشی عمومی از ارتباط میان CUDA Tile و کدهای SIMT اضافه شده است. به کمک این قابلیت، کرنل‌های Tile می‌توانند مستقیماً از توابع کتابخانه‌های مبتنی بر SIMT استفاده کنند؛ موضوعی که ترکیب قابلیت‌های مختلف CUDA را در یک مسیر اجرایی ساده‌تر می‌کند.
بهینه‌سازی عملکرد مدل‌های هوش مصنوعی با به‌روزرسانی کتابخانه‌های CUDA
در CUDA 13.5 کتابخانه‌های محاسباتی انویدیا نیز به‌روزرسانی شده‌اند. در نسخه جدید cuBLAS، تنظیمات و کرنل‌های محاسباتی برای اجرای عملیات ماتریسی با فرمت‌های NVFP4 و MXFP8 روی معماری Vera Rubin بهینه شده‌اند.
این بهینه‌سازی‌ها به‌ویژه برای آموزش و اجرای مدل‌های زبانی بزرگ (LLM) و مدل‌های مبتنی بر معماری Mixture of Experts اهمیت دارند. انویدیا اعلام کرده است که این تغییرات می‌توانند توان عملیاتی محاسبات را بدون نیاز به تنظیم جداگانه برای هر شکل ماتریسی افزایش دهند.
از سوی دیگر، نسخه 3.5 کتابخانه CCCL نیز با قابلیت‌هایی مانند APIهای جدید برای تنظیم الگوریتم‌های CUB، انتخاب دسته‌ای Top-K و اجرای برخی عملیات کاهش داده به‌روزرسانی شده است. قابلیت Top-K در فرایندهایی مانند انتخاب توکن‌های مهم هنگام تولید متن توسط مدل‌های زبانی کاربرد دارد و در نسخه جدید با کتابخانه FlashInfer نیز یکپارچه شده است.
گسترش قابلیت‌های CUDA Python و ابزارهای توسعه
در این نسخه، کتابخانه CUDA Python نیز به نسخه 1.2 رسیده است. قابلیت‌هایی مانند انتقال دسته‌ای داده‌ها، اجرای وابسته کرنل‌ها و به‌روزرسانی انعطاف‌پذیرتر CUDA Graphها به توسعه‌دهندگان Python کمک می‌کنند عملیات GPU را با کنترل بیشتری مدیریت کنند.
همچنین پشتیبانی Windows on Arm که در CUDA 13.4 اضافه شده بود، اکنون به NVIDIA DGX Station for Windows گسترش یافته است.
در بخش ابزارهای توسعه نیز نسخه جدید NVIDIA Nsight Perf SDK for AI به‌صورت پیش‌نمایش عمومی ارائه شده است. این ابزار با ثبت اطلاعات عملکرد GPU و CPU در پردازش‌های طولانی‌مدت آموزش و استنتاج، به توسعه‌دهندگان کمک می‌کند مشکلات عملکردی را که ممکن است به‌سادگی قابل بازتولید نباشند، بررسی کنند.
CUDA 13.5 چه اهمیتی برای زیرساخت‌های هوش مصنوعی دارد؟
انتشار CUDA 13.5 را می‌توان گامی مهم در آماده‌سازی اکوسیستم نرم‌افزاری انویدیا برای نسل جدید سخت‌افزارهای پردازشی دانست. پشتیبانی عمومی از Vera Rubin، بهبود مدیریت منابع GPU و توسعه قابلیت‌های ارتباطی میان چند پردازنده گرافیکی، مجموعه‌ای از ابزارهای نرم‌افزاری را در اختیار توسعه‌دهندگان و ارائه‌دهندگان زیرساخت‌های هوش مصنوعی قرار می‌دهد.
اهمیت این تغییرات فقط به سازگاری با یک معماری جدید محدود نمی‌شود؛ بلکه بهینه‌سازی نحوه استفاده از منابع GPU در محیط‌های چندکاربره و خوشه‌های پردازشی نیز می‌تواند در بهره‌وری زیرساخت‌های آموزش و استنتاج مدل‌های هوش مصنوعی نقش داشته باشد.
برای کسب‌وکارهایی که به توان پردازشی GPU نیاز دارند، دسترسی به زیرساخت مناسب در کنار نرم‌افزارهای سازگار و به‌روز اهمیت زیادی دارد. استفاده از سرویس اجاره GPU نیز می‌تواند راهکاری برای دسترسی به منابع پردازشی مورد نیاز پروژه‌های هوش مصنوعی، بدون خرید و نگهداری مستقیم سخت‌افزار باشد.
