شبکه‌ی خوشه‌ی GPU و اثر آن روی رک و کابل‌کشی
در خوشه‌ی GPU، شبکه بخشی از خود محاسبه است. سرورهای GPU داده‌ی آموزش مدل را مدام بین هم جابه‌جا می‌کنند و این ترافیک شبکه‌ی جدا و پرسرعتی لازم دارد که روی تعداد کابل، طول مسیر و چیدمان رک اثر مستقیم دارد.
چهار شبکه در یک خوشه
معماری مرجع DGX SuperPOD انویدیا (نسل H100) چهار شبکه را از هم جدا می‌کند:
- Compute fabric: شبکه‌ی InfiniBand بین GPUهای سرورهای مختلف، با سوئیچ‌های Leaf و Spine.
- Storage fabric: شبکه‌ی جدا برای دسترسی به ذخیره‌ساز؛ سند مرجع حداقل ورودی/خروجی هر نود را بیش از 40 GBps اعلام کرده است.
- In-band management: شبکه‌ی اترنت برای سرویس‌های مدیریتی و دسترسی کاربران.
- Out-of-band management: اترنت جدا برای پورت‌های مدیریتی سرورها، سوئیچ‌ها و PDUهای رک.
طراحی Rail-Optimized
در همین معماری هر گروه 32 نودی یک «واحد مقیاس‌پذیر» (SU) است و شبکه به‌صورت Rail-aligned چیده می‌شود: GPU شماره‌ی k هر سرور به سوئیچ Leaf مخصوص همان ریل وصل است، پس ترافیک هم‌ریل با یک گام به 31 نود دیگر می‌رسد و ترافیک بین ریل‌ها از لایه‌ی Spine عبور می‌کند. نتیجه‌ی فیزیکی: هر سرور GPU ده‌ها کابل پرسرعت دارد که باید منظم به رک‌های شبکه برسند.
اثر روی رک و کابل‌کشی
- رک شبکه در وسط ردیف: قرار دادن سوئیچ‌های Leaf وسط ردیف طول کابل‌ها را کوتاه و یکسان‌تر می‌کند؛ کابل‌های مسی پرسرعت فاصله‌ی محدودی دارند و فاصله‌ی بیشتر فیبر و ترنسیور لازم دارد.
- عرض و مدیریت کابل: رک عرض 80 (مثل F42U100DW80) کنار ریل‌ها فضای عمودی برای دسته‌های کابل دارد؛ سینی کابل بالای رک مسیر بین رک‌ها را مرتب نگه می‌دارد.
- مستندسازی: با صدها اتصال، برچسب دو سر هر کابل و جدول اتصالات ضروری است (مطلب بعدی).
اعداد این مطلب از سند مرجع انویدیا برای یک نسل مشخص است و برای همه‌ی پلتفرم‌های GPU یکسان نیست. توان، وزن و نیاز سرمایش هر سیستم را از سازنده‌ی همان سیستم بگیرید؛ یک رک استاندارد به‌طور خودکار برای هر پلتفرم GPU مناسب نیست.
منابع
- NVIDIA — DGX SuperPOD (DGX H100) reference architecture: network fabrics
- ANSI/TIA-942-C (2024) — Telecommunications Infrastructure Standard for Data Centers
- ANSI/TIA-568 — Commercial Building Telecommunications Cabling
- ANSI/BICSI 002 — Data Center Design and Implementation Best Practices