تضيف NVIDIA أربعة نماذج Cosmos 3 مفتوحة الأوزان للقيادة ومحاكاة الروبوتات

أعلنت NVIDIA أنها أضافت أربعة نقاط تحقق مفتوحة الأوزان إلى عائلة نماذج Cosmos 3 الخاصة بها، وهي مصممة لتوليد عمليات محاكاة تفاعلية للعالم ومشاهد قيادة متعددة الحساسات ومتعددة الزوايا، وذلك في منشور على Hugging Face.

نقاط التحقق هي Cosmos3-Nano-Transfer-Auto وCosmos3-Nano-Sim-Auto وCosmos3-Nano-Sim-Transfer وCosmos3-Nano-Sim-Bimanual. وقالت NVIDIA إن النماذج الأربعة جميعها أمثلة ما بعد التدريب لنموذج Cosmos 3 Nano بعدد 16 مليار معامل قابل للتدريب، وإنها تستخدم ترخيص OpenMDW1.1 الذي يسمح بالاستخدام التجاري وغير التجاري وفق شروطه.

نماذج القيادة

Transfer-Auto نموذج ثنائي الاتجاه لتوليد بيانات القيادة الاصطناعية دون اتصال، بحسب NVIDIA. ينتج فيديو متزامنًا عبر ما يصل إلى 11 زاوية كاميرا، بما فيها كاميرات العين السمكية، ويدعم التوليد المشترك لـ RGB وLiDAR. ويمكن للمطورين تغيير الطقس والإضاءة ووقت اليوم، بحسب الشركة.

Sim-Auto هو النسخة المتدفقة من Transfer-Auto، دُرِّب بحيث تعتمد كل خطوة على الخطوات السابقة فقط. وقالت NVIDIA إنه ينتج فيديو الكاميرا وبيانات LiDAR في مقاطع قصيرة متتالية بعدد قليل جدًا من تمريرات إزالة الضوضاء، مستفيدًا من الإطارات المولدة سابقًا ومدخلات القيادة الجديدة لدعم عمليات التشغيل التفاعلية الطويلة. ويتطلب الاستخدام ذو الحلقة المغلقة بيئة تشغيل للمحاكاة ومُصيّر World Scenario Map لتحديث عناصر التحكم، بحسب الشركة.

نماذج الروبوتات

يأخذ Sim-Transfer ضوابط مكانية مثل العمق والتجزئة من محاكٍ فيزيائي، إضافة إلى موجه نصي، ويعرض ملاحظات لونية يمكن لسياسة الروبوت استهلاكها. وقالت NVIDIA إن الفيزياء وحالة الحقيقة الأرضية تبقى لدى المحاكي.

يحاكي Sim-Bimanual كيفية تغير البيئة استجابةً لأفعال روبوت ثنائي الذراعين. وقالت NVIDIA إنه يدعم تجسيدات YAM وAgiBot، ويتحكم فيها عبر سياسة أو عصي تحكم يشغلها إنسان، ويولد الملاحظة التالية مباشرة من المشهد وأفعال الروبوت.

كيف تعمل النماذج

يستخدم Cosmos 3 بنية Mixture-of-Transformers الأساسية التي تربط بين شبكات منفصلة لمعالجة النص وتوليد الصور المرئية عبر آلية الانتباه، بحسب NVIDIA. تعمل النماذج على تمثيلات فيديو مضغوطة تسمى التمثيلات الكامنة (latents)، وقالت الشركة إن الأجزاء الأصغر تتيح للعناصر التحكم الجديدة التأثير في التوليد بشكل أكثر تكرارًا.

يصف المنشور أربع مراحل للتدريب: التكيف ثنائي الاتجاه، وفرض المعلم (teacher forcing)، والتقطير المتسق (consistency distillation)، والفرض الذاتي (self-forcing). وقالت NVIDIA إن المرحلة الأخيرة مهمة لأن خطأ تنبؤ صغيرًا بشأن كائن يُغذّى إلى الإطارات اللاحقة كسياق، مما يسمح للأخطاء بالتراكم.

وقالت NVIDIA إن وصفات ما بعد التدريب تبدأ من Cosmos3-Nano أو من أوزان أساسية متوافقة. وبالنسبة إلى Sim-Bimanual، أدرجت متطلبات تشمل Linux وبطاقة رسوميات NVIDIA وDocker وNVIDIA Container Toolkit، وقالت إن الإعداد المنشور اختُبر على GB200 واحدة، وأنها لا تمثل الحد الأدنى من الذاكرة.

أقرت الشركة بأن مشكلات صعبة ما زالت قائمة. وقالت إن العمل المستقبلي يتضمن التحقق من مدى دعم النماذج لتعلم السياسات وتقييمها، ورسم حدودها، وتحسين المجالات الضعيفة.