वर्तमान एआई डेटा केंद्रों को स्केलिंग में दो मुख्य बाधाओं का सामना करना पड़ता है, और पारंपरिक स्केल{0}अप और स्केल{1}आउट मॉडल गीगा{2}स्केल एआई मांगों को पूरा करने के लिए संघर्ष कर रहे हैं:
स्केल-ऊपर की सीमाएँ: एकल सिस्टम या रैक को अपग्रेड करके हासिल किया गया (उदाहरण के लिए, जीपीयू गिनती बढ़ाना या एकल डिवाइस प्रदर्शन को बढ़ाना), लेकिन पानी ठंडा करने जैसे बुनियादी ढांचे से बिजली की सीमा से बाधित। मौजूदा डेटा केंद्रों में बिजली इनपुट और गर्मी अपव्यय के लिए भौतिक सीमाएँ होती हैं, जो प्रति रैक या डेटा सेंटर में गणना घनत्व में अनंत वृद्धि को रोकती हैं।
स्केल-बाहर की सीमाएँ: स्केल क्लस्टरों में रैक और सर्वर जोड़कर विस्तार किया गया, लेकिन एक ही स्थान में भौतिक स्थान द्वारा सीमित किया गया, उपकरण क्षमता पर कठोर सीमाएं लगाई गईं।
इस दुविधा को दूर करने के लिए, NVIDIA वितरित एआई क्लस्टर को एक के रूप में सहयोग करने के लिए भौगोलिक रूप से बिखरे हुए डेटा केंद्रों के बीच नेटवर्क संचार को अनुकूलित करते हुए, "स्केल{0}} के नए आयाम का प्रस्ताव करता है। NVIDIA के संस्थापक और सीईओ जेन्सेन हुआंग ने इस क्रॉस-{2}क्षेत्रीय एआई सुपर फैक्ट्री को एआई औद्योगिक क्रांति के लिए प्रमुख बुनियादी ढांचे के रूप में वर्णित किया है, जिसमें स्पेक्ट्रम {{3}XGS को मुख्य प्रौद्योगिकी सक्षमकर्ता के रूप में वर्णित किया गया है।
स्पेक्ट्रम की मुख्य प्रौद्योगिकियां-XGS
स्पेक्ट्रम-XGS पूरी तरह से नया हार्डवेयर प्लेटफ़ॉर्म नहीं है, बल्कि NVIDIA के मौजूदा स्पेक्ट्रम {{1}X ईथरनेट इकोसिस्टम का विकास है। अपने 2024 के लॉन्च के बाद से, स्पेक्ट्रम{4}X ने स्पेक्ट्रम{10}4 आर्किटेक्चर के SN5600 स्विच और ब्लूफील्ड{11}}3 DPU के माध्यम से पारंपरिक ईथरनेट की तुलना में 1.6 गुना अधिक जेनरेटिव AI नेटवर्क प्रदर्शन प्रदान किया है, जो NVIDIA GPU का उपयोग करने वाले AI डेटा केंद्रों के लिए मुख्यधारा की पसंद बन गया है। स्पेक्ट्रम-एक्सजीएस में सफलता तीन एल्गोरिथम नवाचारों और हार्डवेयर तालमेल में निहित है जो क्रॉस-रीजनल जीपीयू क्लस्टर में संचार विलंबता, भीड़ और सिंक्रनाइज़ेशन चुनौतियों का समाधान करती है।
1.कोर एल्गोरिदम: लंबी दूरी की नेटवर्क विशेषताओं के लिए गतिशील अनुकूलन
स्पेक्ट्रम {{0}
दूरी-अनुकूली भीड़भाड़ नियंत्रण:पारंपरिक ईथरनेट के सभी कनेक्शनों के एक समान उपचार के विपरीत, स्पेक्ट्रम -
सटीक विलंबता प्रबंधन:प्रति {{0}पैकेट फाइन-ग्रेन्ड अनुकूली रूटिंग के माध्यम से, यह पारंपरिक नेटवर्क में पैकेट रीट्रांसमिशन से विलंबता घबराहट को समाप्त करता है। एआई क्लस्टर में जिटर एक गंभीर खतरा है: यदि एक भी जीपीयू देरी के कारण पिछड़ जाता है, तो सभी सहयोगी जीपीयू को इंतजार करना होगा, जिसका सीधा असर समग्र प्रदर्शन पर पड़ेगा।
अंत-से-अंत टेलीमेट्री: जीपीयू से स्विच और क्रॉस{2}डेटा{3}सेंटर लिंक के लिए पूर्ण {{1}लिंक प्रदर्शन डेटा का वास्तविक {0}समय संग्रह एल्गोरिथम समायोजन के लिए मिलीसेकंड {4}स्तरीय फीडबैक प्रदान करता है, जिससे एआई वर्कलोड मांगों के लिए नेटवर्क स्थिति का गतिशील मिलान सुनिश्चित होता है।
2. हार्डवेयर सिनर्जी: स्पेक्ट्रम का लाभ उठाना-एक्स इकोसिस्टम के उच्च{{1}बैंडविड्थ फाउंडेशन
स्पेक्ट्रम-XGS विशिष्ट NVIDIA हार्डवेयर के साथ संयुक्त होने पर इष्टतम प्रदर्शन प्राप्त करता है:
स्पेक्ट्रम-एक्स स्विच: अंतर्निहित नेटवर्क रीढ़ के रूप में, उच्च पोर्ट घनत्व और कम विलंबता अग्रेषण प्रदान करता है।
कनेक्टएक्स-8 सुपरएनआईसी: जीपीयू और स्विच के बीच उच्च गति डेटा ट्रांसफर के लिए 800 जीबी/एस एआई {{1} समर्पित नेटवर्क एडाप्टर।
ब्लैकवेल आर्किटेक्चर हार्डवेयर: जैसे कि B200 GPU और GB10 सुपरचिप्स, अंतिम विलंबता को कम करने के लिए स्पेक्ट्रम {{2}XGS के साथ गहराई से एकीकृत। NVIDIA को NCCL (सामूहिक संचार पुस्तकालय) बेंचमार्क के माध्यम से मान्य किया गया है: स्पेक्ट्रम {{6} उपयोगकर्ता इंटरैक्शन के लिए प्रतिक्रियाशील और अंतराल मुक्त, एआई अनुमान के लिए वास्तविक समय की आवश्यकताओं को पूरा करना।
स्पेक्ट्रम के साथ एआई प्रशिक्षण और अनुमान दक्षता के लिए पूर्ण -स्टैक अनुकूलन-XGS
स्पेक्ट्रम {{0} इस रिलीज़ में, NVIDIA ने सॉफ्टवेयर स्तर के प्रदर्शन संवर्द्धन का भी खुलासा किया जो हार्डवेयर के लिए स्पेक्ट्रम {{4}XGS के साथ तालमेल बिठाता है।
डायनेमो सॉफ्टवेयर अपग्रेड: एआई मॉडल अनुमान प्रदर्शन को 4x तक बढ़ाने के लिए ब्लैकवेल आर्किटेक्चर (उदाहरण के लिए, बी 200 सिस्टम) के लिए अनुकूलित, बड़े मॉडल अनुमान के लिए गणना खपत को काफी कम कर देता है।
सट्टा डिकोडिंग प्रौद्योगिकी: मुख्य एआई मॉडल के अगले आउटपुट टोकन की पहले से भविष्यवाणी करने के लिए एक छोटे ड्राफ्ट मॉडल का उपयोग करता है, मुख्य मॉडल की गणना को कम करता है और अनुमान प्रदर्शन को अतिरिक्त 35% तक बढ़ाता है। यह विशेष रूप से बड़े भाषा मॉडल (एलएलएम) में संवादी अनुमान परिदृश्यों के लिए उपयुक्त है।
NVIDIA के त्वरित कंप्यूटिंग विभाग के निदेशक डेव साल्वेटर ने कहा कि इन अनुकूलन का मुख्य लक्ष्य महत्वाकांक्षी एजेंटिक एआई अनुप्रयोगों को स्केल करना है। चाहे ट्रिलियन पैरामीटर बड़े मॉडलों को प्रशिक्षित करना हो या लाखों एक साथ उपयोगकर्ताओं के लिए एआई अनुमान सेवाओं का समर्थन करना हो, स्पेक्ट्रम - एक्सजीएस और सॉफ्टवेयर पारिस्थितिकी तंत्र का संयोजन पूर्वानुमानित प्रदर्शन प्रदान करता है।
स्पेक्ट्रम के प्रारंभिक अनुप्रयोग और उद्योग पर प्रभाव-XGS
प्रथम उपयोगकर्ता: कोरवेव पायनियर्स क्रॉस-डोमेन एआई सुपर फैक्ट्रीGPU क्लाउड सेवा प्रदाता CoreWeave स्पेक्ट्रम-XGS को अपनाने वाले पहले लोगों में से एक है। कंपनी के सह-संस्थापक और सीटीओ पीटर सालांकी ने कहा कि यह तकनीक उसके ग्राहकों को गीगास्केल एआई क्षमताओं तक पहुंचने में सक्षम बनाएगी, जिससे उद्योगों में प्रगति में तेजी आएगी। उदाहरण के लिए, ओरेकल, सॉफ्टबैंक और ओपनएआई की स्टारगेट पहल जैसी अल्ट्रा{5}}बड़े-स्केल एआई परियोजनाओं का समर्थन करना।
उद्योग के रुझान: एआई नेटवर्क मेनस्ट्रीम के रूप में ईथरनेट इनफिनीबैंड की जगह ले रहा हैहालाँकि InfiniBand ने 2023 में AI बैकएंड नेटवर्क बाजार का लगभग 80% हिस्सा रखा, उद्योग तेजी से ईथरनेट की ओर स्थानांतरित हो रहा है। ईथरनेट पर स्पेक्ट्रम-XGS विकसित करने के लिए NVIDIA की पसंद इस प्रवृत्ति के अनुरूप है:
अनुकूलता और लागत लाभ:ईथरनेट वैश्विक डेटा केंद्रों के लिए सार्वभौमिक मानक है, जो नेटवर्क इंजीनियरों के लिए अधिक परिचित है, और InfiniBand की तुलना में तैनात करना सस्ता है।
बाज़ार पैमाने के अनुमान:डेल'ओरो समूह के आंकड़ों से पता चलता है कि ईथरनेट डेटा सेंटर स्विच बाजार अगले पांच वर्षों में लगभग 80 बिलियन डॉलर तक पहुंच जाएगा।
NVIDIA का अपना विकास: 650 समूह की रिपोर्टें NVIDIA को 2024 डेटा सेंटर स्विच मार्केट में "सबसे तेजी से बढ़ने वाला विक्रेता" बताती हैं, जिसका नेटवर्किंग व्यवसाय राजस्व Q2 2024 (27 अप्रैल को समाप्त) में $5 बिलियन तक पहुंच गया, जो कि साल भर से 56% अधिक है।
स्पेक्ट्रम {{0}XGS का लॉन्च नई प्रतिस्पर्धी गतिशीलता को जगाते हुए AI बुनियादी ढांचे में NVIDIA की पूर्ण {{1}स्टैक एकाधिकार रणनीति का विस्तार करता है:
NVIDIA का पूर्ण-स्टैक लेआउट: जीपीयू (ब्लैकवेल), इंटरकनेक्ट्स (एनवीलिंक/एनवीलिंक स्विच), नेटवर्क (स्पेक्ट्रम - एआई इन्फ्रास्ट्रक्चर के लिए "कंप्यूट{{4}कनेक्ट{{5}सॉफ़्टवेयर" को कवर करने वाला बंद लूप। स्पेक्ट्रम{{7}XGS तीन {{8}स्तरीय स्केलिंग के लिए NVLink के साथ तालमेल बिठाता है: इंट्रा{9}रैक (NVLink), इंट्रा{10}डेटा{11}सेंटर (स्पेक्ट्रम{{12}X), और क्रॉस{13}डेटा{14}सेंटर (स्पेक्ट्रम-XGS).
प्रतिस्पर्धियों की प्रतिक्रियाएँ: ब्रॉडकॉम की पिछली एसयूई तकनीक स्पेक्ट्रम के साथ समान लक्ष्य साझा करती है। इसके अतिरिक्त, अरिस्टा, सिस्को और मार्वेल जैसे विक्रेता एआई समर्पित ईथरनेट स्विच में तेजी ला रहे हैं, जिसमें प्रतिस्पर्धा प्रदर्शन लागत पर पारिस्थितिकी तंत्र संगतता पर ध्यान केंद्रित कर रही है।
स्पेक्ट्रम{{0}XGS का मूल मूल्य एआई डेटा सेंटर स्केलिंग को "एकल{1}साइट बाधाओं" से "क्रॉस{2}}क्षेत्रीय सहयोग" तक आगे बढ़ाने में निहित है। जैसे-जैसे बिजली और भूमि एकल डेटा केंद्रों के लिए कठिन सीमाएं बन जाती हैं, क्रॉस-{4}शहर और क्रॉस-कंट्री एआई सुपर फैक्ट्रियां अगली पीढ़ी के एआई अनुप्रयोगों (उदाहरण के लिए, सामान्य कृत्रिम बुद्धिमत्ता, बड़े पैमाने पर एजेंट क्लस्टर) का समर्थन करने वाले मुख्य रूप बन जाएंगी।
जैसा कि NVIDIA के नेटवर्किंग विभाग के वरिष्ठ उपाध्यक्ष गिलाद शाइनर ने हॉट चिप्स सम्मेलन में पूर्वावलोकन किया: "क्रॉस{0}}डेटा{{1}सेंटर फाइबर ऑप्टिक भौतिक नेटवर्क लंबे समय से मौजूद हैं, लेकिन स्पेक्ट्रम{{2}XGS जैसे सॉफ्टवेयर एल्गोरिदम इन भौतिक बुनियादी ढांचे के वास्तविक प्रदर्शन को अनलॉक करने की कुंजी हैं।"
