BAAI RoboBrain Orca: نموذج تمثيل عالمي متعدد الوسائط
يستكشف RoboBrain Orca تحولًا من التنبؤ بالمخرجات المنفصلة إلى نمذجة انتقالات الحالة العالمية. بدلاً من معالجة اللغة والصور والإجراءات كأهداف منفصلة، يحاول تعلم تمثيل عالمي كامن مشترك يمكنه دعم واجهات قراءة متعددة. تشرح المقالة إعداد التعلم الخاص بـ Orca، بما في ذلك الفيديو المستمر، والتعليقات التوضيحية للأحداث، وبيانات VQA. كما تستعرض ثلاثة مخرجات رئيسية للقراءة: التفكير النصي، والتنبؤ بحالة الصورة المستقبلية، وتوليد إجراءات الروبوت. الفكرة الأكثر أهمية ليست أن Orca قد أكمل النمذجة العالمية. بل أن Orca يقدم مسارًا قابلًا للاختبار لبناء وتقييم نموذج عالمي كامن عبر اللغة والرؤية والإجراء. **باختصار: Orca هو محاولة مبكرة لجعل الذكاء الاصطناعي يفهم تغير الحالة قبل أن يولد الكلمات أو الصور أو الإجراءات.**
BAAI RoboBrain Orca: نموذج تمثيل عالمي متعدد الوسائط
مقدمة
يمكن لأنظمة الذكاء الاصطناعي الحديثة بالفعل أداء العديد من الأمور المذهلة. يمكن للنموذج اللغوي الإجابة على الأسئلة وكتابة التعليمات البرمجية. يمكن لنموذج الصور أو الفيديو توليد محتوى بصري واقعي. يمكن للنموذج الروبوتي تعلم الإمساك بالأشياء أو وضعها أو تحريكها.
لكن هذه القدرات غالباً ما تنبع من أهداف تنبؤ منفصلة. يتنبأ النموذج اللغوي بالرمز التالي. يتنبأ نموذج الفيديو بالإطار التالي. تتنبأ سياسة الروبوتات بالإجراء التالي. كل هدف مفيد، لكنه لا يزال يترك سؤالاً أعمق: هل يفهم النموذج كيف يتغير العالم نفسه؟
مشروع RoboBrain Orca من BAAI، المقدم في التقرير الفني "Orca: العالم في عقلك"، يستكشف هذه المشكلة من منظور التمثيل العالمي. لا يُوضع Orca كمجرد دردشة أقوى، أو مولد صور أجمل، أو سياسة تقليد مباشر للروبوتات. فكرته الأساسية أكثر جوهرية: تعلم تمثيلاً كامناً مشتركاً لحالات العالم أولاً، ثم قراءة ذلك التمثيل لاستخلاص فهم لغوي، وتنبؤ صوري، وتوليد أفعال.
خلفية المشروع
يبدأ المقال الأصلي من ملاحظة بسيطة لكنها مهمة: يمكن للذكاء الاصطناعي توليد مخرجات، لكن توليد المخرجات ليس هو نفسه فهم العالم.
على سبيل المثال:
- إذا انقلب كوب، هل يمكن للنموذج استنتاج أن الماء قد ينسكب؟
- إذا فشلت محاولة إمساك الروبوت الأولى، هل يعلم النموذج أن الجسم لا يزال في المشهد؟
- إذا انتقل فيديو طهي من غسل الخضار إلى تقطيعها، هل يفهم النموذج هذا كتقدم في الأحداث وليس مجرد تغيير بصري؟
- بعد حدوث فعل، هل يمكن للنموذج تتبع كيف تغيرت الأشياء والعلاقات وتقدم المهمة؟
تشير هذه الأسئلة إلى هدف أوسع. يجب ألا يتنبأ النموذج العالمي المفيد بمخرج خارجي فقط. بل يجب أن يبني تمثيلاً داخلياً لحالة العالم وانتقال الحالة.
تصف صفحة مشروع Orca وتقريره الفني هذا التحول من التنبؤ بـ X التالي إلى التنبؤ بالحالة التالية. بدلاً من التنبؤ بشكل منفصل بالرمز التالي أو الإطار التالي أو الفعل التالي، يحاول Orca تعلم كيف تتطور حالة العالم تحت الديناميكيات الطبيعية والظروف الحدثية والنوايا المهمة.
صفحة المشروع: https://orca-wm.github.io
التقرير الفني: https://arxiv.org/abs/2606.30534
استجابة المجتمع البحثي
بعد الإصدار، جذب Orca انتباه المجتمعات البحثية المهتمة بالنماذج العالمية والتمثيل متعدد الوسائط والذكاء المتجسد. تركز النقاش أقل على ما إذا كان Orca يمكنه توليد مخرجات جذابة بصرياً، وأكثر على محاولته ربط النصوص والصور والفيديو والفعل كإسقاطات مختلفة لنفس العالم الأساسي.
كما ظهرت الورقة على منصة Hugging Face Papers، حيث تلقت اهتمامًا ملحوظًا من المجتمع. وهذا أمر مهم لأن نماذج العالم يُقيَّم بشكل متزايد ليس فقط من حيث جودة المخرجات، بل أيضًا من حيث قدرة تمثيلاتها المتعلمة على الانتقال عبر المهام.
من التنبؤ بـ "X التالي" إلى التنبؤ بالحالة التالية
على مدى السنوات القليلة الماضية، يمكن وصف العديد من الاختراقات في الذكاء الاصطناعي بأنها أشكال من "التنبؤ بـ X التالي".
تتنبأ نماذج اللغة بالرمز التالي، مما يمنحها قدرات الكتابة والاستدلال والحوار والبرمجة. تتنبأ نماذج الفيديو أو تولّد الإطارات المستقبلية، مما يساعدها على إنتاج حركة أكثر تماسكًا. غالبًا ما تتنبأ النماذج المجسَّدة بالإجراء التالي، مما يسمح للروبوتات بأداء مهام التلاعب.
يرى Orca أن هذا ليس كافيًا للوكلاء الذين يجب أن يعملوا في العالم الحقيقي. اللغة والصور والإجراءات ليست سوى واجهات مختلفة للعالم. الهدف الأعمق هو حالة العالم نفسها.
في إطار Orca، يعني التنبؤ بالحالة التالية تعلم تمثيل داخلي للحالة يمكنه دعم التحولات المتسقة فيزيائيًا ودلاليًا. هذه الحالة ليست مطابقة لجملة أو صورة أو مسار إجراء. إنها أقرب إلى تمثيل كامن مضغوط للعالم.
بمجرد تعلم هذا التمثيل، يمكن لوحدات القراءة المختلفة استخدامه بطرق مختلفة:
- يمكن لوحدة قراءة لغوية شرح الحالة أو التفكير فيها.
- يمكن لوحدة قراءة صورية التنبؤ بحالة بصرية مستقبلية معقولة.
- يمكن لوحدة قراءة إجرائية مساعدة الروبوت في اختيار ما يجب فعله بعد ذلك.
لهذا السبب يستخدم المشروع عبارة "العالم في عقلك". لا يُعامل العالم كرموز وإطارات وتسميات إجراءات منفصلة. بل يُنمذج كفضاء كامن يمكن قراءته عبر وسائط متعددة.
ما الذي يحاول RoboBrain Orca تعليمه للنموذج أولاً؟
إذا قورن الروبوت بطفل، فإن العديد من الأساليب الحالية تشبه إرسال الطفل مباشرة إلى طاولة العمل ومطالبته بتكرار مهمة محددة حتى يصبح جيدًا فيها.
يتبع Orca ترتيبًا مختلفًا. قبل تعليم الروبوت بالضبط كيف يتصرف، يحاول إعطاء النموذج تعليمًا عامًا حول تغييرات العالم.
ويشمل ذلك انتظامات أساسية مثل:
- يمكن للأشياء أن تسقط؛
- يمكن للسوائل أن تتدفق؛
- الإطباق لا يعني الاختفاء؛
- يمكن للتماس أن يغير مواضع الأشياء؛
- الأحداث لها ترتيب زمني؛
- يتغير تقدم المهمة مع تغير البيئة.
الدافع واضح ومباشر. إذا تعلم النموذج أولاً كيف تتغير حالات العالم، فسيحتاج إلى كمية أقل
قد تكون بيانات الإجراءات كافية لربط هذا التمثيل بالتحكم في الروبوت. وهذا يمكن أن يقلل تكلفة التدريب ويحسن التعميم.
وضعا التعلم وثلاث إشارات تدريبية
يستخدم أوركا وضعين تعليميين متكاملين: التعلم اللاواعي والتعلم الواعي.
يلتقط التعلم اللاواعي التحولات الطبيعية الكثيفة من الملاحظات المستمرة. يشاهد النموذج كيف تتطور المشاهد والأشياء والانسدادات والاتصال والحركة دون الحاجة إلى تسميات الإجراءات أو تعليمات المهام الصريحة.
يضيف التعلم الواعي بنية دلالية. يستخدم أوصاف الأحداث واللغة والإشراف من نوع (VQA) حتى يتمكن النموذج من ربط التغييرات البصرية بالمفاهيم البشرية والتعليمات والمعنى السببي.
معًا، تدعم هذه الأوضاع التعليمية ثلاثة أنواع رئيسية من الإشارات.
1. الفيديو المستمر لانتقالات الحالة الطبيعية
الإشارة الأولى هي الفيديو المستمر من العالم الحقيقي. وهذا يمنح النموذج خبرة كثيفة بالتغيرات الطبيعية للحالة، مثل حركة الأشياء وتطور المشاهد وتأثيرات التلامس والانسداد.
لا يتطلب هذا النوع من التعلم أن يعرف النموذج هدف المهمة مسبقًا. إنه أقرب إلى الملاحظة السلبية: يتعلم النموذج كيف يتغير العالم بمشاهدة العالم وهو يتغير.
2. بيانات الأحداث لانتقالات الحالة الدلالية
الإشارة الثانية هي التنظيم على مستوى الأحداث. العمليات في العالم الحقيقي ليست مجرد إطارات منعزلة. يصفها الناس بشكل طبيعي كأحداث: غسل الخضار قبل تقطيعها، فتح الصنبور قبل أن يغير الماء حالة الطعام، أو تحريك اليد قبل أن يتغير موضع شيء ما.
يساعد الإشراف على الأحداث أوركا على تعلم انتقالات الحالة ذات المعنى في ظل ظروف دلالية محددة.
3. الإشراف اللغوي ومن نوع (VQA) للاستدلال والتعبير
الإشارة الثالثة هي الفهم القائم على اللغة. اللغة ليست الهدف النهائي لأوركا، لكنها واجهة مهمة بين حالات العالم والقصد البشري.
يساعد الإشراف من نوع (VQA) في مواءمة الحالات البصرية وبنية الأحداث واللغة الطبيعية. بعبارة أخرى، لا ينبغي للنموذج أن يلاحظ فقط أن شيئًا ما قد تغير، بل يجب عليه أيضًا وصف سبب أهمية هذا التغيير والتفكير فيه.
حجم بيانات تعلم العالم
لدعم تعلم حالات العالم، يستخدم أوركا مخزون بيانات تعلم عالمي واسع النطاق. تصف المقالة الأصلية والصفحة الرسمية للمشروع الموارد التالية.
| نوع المورد | الحجم | الدور في التعلم |
|---|---|---|
| فيديو مستمر | حوالي 125 ألف ساعة | ملاحظة كثيفة لانتقالات الحالة الطبيعية |
| تعليقات الأحداث | حوالي 160 مليون حدث | إشراف دلالي لـ |
انتقالات الحالة ذات المعنى |
| أمثلة VQA | حوالي 11.5 مليون مثال | محاذاة اللغة وفهم الحالة المشروطة بالسؤال |
تغطي مصادر البيانات هذه التفاعل الذاتي المركز، والتلاعب الخارجي، وفيديوهات تنفيذ الروبوتات، والمشاهد الديناميكية الطبيعية، والانتقالات على مستوى الأحداث، والإجابة العامة على الأسئلة البصرية.
النقطة المهمة هي أن Orca لا يُدرَّب فقط على مسارات الروبوتات أو على الإجابة على الأسئلة البصرية فقط. بل يحاول تعلم فضاء عالمي كامن أوسع من أنواع متعددة من الإشارات الواقعية.
سلوك التوسع: هل يمكن للعالم الكامن أن يستمر في التحسن؟
التمثيل العالمي يكون مفيدًا فقط إذا كان يمكن اختباره وتحسينه. لذلك تطرح تجارب Orca سؤالين أساسيين.
- هل يوسع نموذج التعلم نطاقه مع زيادة حجم البيانات والنموذج؟
- هل يحسن التمثيل العالمي الأفضل أداء المهام النهائية؟
تشير نتائج التوسع إلى أنه مع زيادة بيانات ما قبل التدريب، يستمر الانخفاض في الخسارة لكل من النموذجين 0.8B و4B. كما أن النموذج 4B يصل إلى مستوى خسارة أقل من النموذج 0.8B.
هذا يدعم فكرة أن التنبؤ بالحالة التالية ليس مجرد خدعة صغيرة النطاق. بل يبدو أنه هدف تعلم عالمي قابل للتوسع، على الأقل ضمن النطاق الذي تم اختباره.
كيف يختبر Orca ما إذا كان الكامن مفيدًا
الاختبار الأساسي ليس ما إذا كان Orca يمكنه ابتكار مفهوم جيد الصياغة. الاختبار هو ما إذا كان الكامن المُتعلم يمكنه دعم المهام النهائية الحقيقية.
يقوم Orca بتجميد العمود الفقري المُدرَّب مسبقًا ويربط وحدات قراءة خفيفة الوزن لثلاثة اتجاهات:
- قراءة نصية لفهم اللغة والاستدلال؛
- قراءة صورية للتنبؤ البصري للحالة المستقبلية؛
- قراءة حركية للتحكم في الروبوت وتنفيذ المهام الجسدية.
هذا التصميم مهم لأن العمود الفقري المجمد يمنع الوحدات النهائية من إعادة تعلم كل شيء من الصفر ببساطة. إذا تمكنت وحدات القراءة المختلفة من استخراج قدرات اللغة والصورة والفعل من نفس الكامن المجمد، فإن التمثيل الكامن نفسه يحمل على الأرجح معلومات مفيدة عن حالة العالم.
كما تتحسن النتائج النهائية مع توسع نطاق ما قبل التدريب.
com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)
قراءة النص: أداء أقوى في الأسئلة المتعلقة بتغير العالم
في مهام توليد النصوص والإجابة البصرية على الأسئلة، تتم مقارنة Orca مع عدة نماذج لغوية بصرية ونماذج عالمية، بما في ذلك V-JEPA وEmu3 وQwen3.5 وGemma وMiniCPM-V وDeepSeek-VL2.
تُظهر النتائج المبلغ عنها أن نموذج Orca بحجم 4B يحقق أداءً قويًا بين النماذج المماثلة في الحجم، خاصة في الأسئلة التي تتضمن التفكير الزمني، والانتقال بين الحالات، والحركة الديناميكية.
فيما يلي تحليل مبسط للقدرات من المقالة.
| بُعد القدرة | Qwen3.5-4B | Orca-4B | ميزة Orca |
|---|---|---|---|
| الانتقال بين الحالات | 51.86 | 64.13 | +12.27% |
| التفكير المنطقي العام | 57.76 | 62.95 | +5.19% |
| العلاقات المكانية | 54.68 | 55.25 | +0.57% |
| الحركة الديناميكية | 57.03 | 65.55 | +8.52% |
هذا النمط مهم. ميزة Orca لا تقتصر على التعرف على الأشياء في مشهد ثابت. المكاسب الأكبر تظهر في الفئات الأقرب إلى ديناميكيات العالم: كيف تتغير الحالة، وكيف تتكشف الأحداث، وكيف تؤثر الحركة على المشهد.
بالنسبة للنموذج العالمي، هذا أكثر أهمية من مجرد فهم الصور العادي. العالم الحقيقي ليس مجموعة من الصور الثابتة. إنه نظام متغير.
قراءة الصور: توقع حالة مستقبلية معقولة
لا يتم تقديم قراءة الصور في Orca كميزة توليد صور قياسية. يتم استخدامها كطريقة لاختبار ما إذا كان النموذج يمكنه توقع حالة بصرية معقولة بعد التفاعل.
يختلف هذا عن توليد الصور العادي. قد ينتج مولد الصور النموذجي شيئًا جذابًا بصريًا، لكنه لا يزال يخترق القيود الفعلية للمشهد. قد يضيف أشياء غير موجودة، أو يزيل الروبوت، أو يتجاهل التعليمات، أو يتبع نمطًا نمطيًا بدلاً من الحالة الحالية.
على سبيل المثال، إذا ذكر الطلب بالونًا أحمر، فقد يرسم المولد العادي بالونًا أحمر منتفخًا بالكامل بغض النظر عن حالة البالون الحقيقية. يجب أن يستنتج متنبئ الحالة العالمية من المشهد الحالي وحالة التفاعل.
على معيار التفاعل الواقعي PRICE، يتم تقييم Orca مقابل خطوط أساس توليد الصور مثل FLUX وOmniGen2. الهدف ليس فقط الجودة البصرية، ولكن ما إذا كانت الحالة المستقبلية المتوقعة تحترم تخطيط المشهد، وعلاقات الأشياء، وتجسيد الروبوت، والقيود الفيزيائية.
على اليسار تعليمة "أغلق باب الميكروويف"، وعلى اليمين "ضع الإسفنجة وأعدها". توقعات Orca تتطابق مع المشهد الفعلي، مثل إغلاق باب الميكروويف ووضع الإسفنجة؛ بينما قد يُظهر Flux.2 وOmniGen2 توقعات غير منطقية، مثل إزالة الإسفنجة أو وضعها في مكان خاطئ. ترتبط هذه الصورة ارتباطًا وثيقًا بالسياق، وتوضح بشكل مباشر ميزة Orca في توقع المشاهد الواقعية، مؤكدةً أن نتائج توقعاتها تحترم تخطيط المشهد وعلاقات الأشياء، بما يتوافق مع وصف قدرات Orca في توقع الصور الواردة في السياق.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f96fdbbc-cb9d-43ae-aaf5-c3e8b56393ce-12-8e944a34-7e1f-45d5-a9a3-937f15165375.png)
في هذا السياق، يصبح توقع الصور أداةً مرئية لقياس فهم العالم. السؤال ليس "هل يستطيع النموذج رسم صورة جميلة؟" بل "هل يعرف النموذج كيف يجب أن يصبح هذا المشهد بعد التفاعل الموصوف؟"
قراءة الإجراء: مساعدة الروبوتات على التعميم دون تدريب مسبق على الإجراء
من أكثر تجارب Orca إثارةً للاهتمام هي قراءة الإجراء للروبوتات الحقيقية.
أثناء التدريب المسبق، لا يستخدم Orca مسارات الروبوت الموسومة بالإجراءات. لا يحفظ أولاً كيف يجب أن يتحرك ذراع معين. بدلاً من ذلك، يتعلم تغييرات حالة العالم من مقاطع الفيديو والأحداث واللغة.
بالنسبة لمهام الإجراء اللاحقة، يقوم الباحثون بتجميد الهيكل الأساسي لـ Orca وإرفاق خبير إجراء من طراز DiT تم تدريبه من الصفر. تستخدم كل كمية صغيرة من بيانات المسار الخاصة بالمجال، ثم يتم تقييم النموذج في إعدادات التلاعب ثنائي الذراع خارج التوزيع.
يُظهر مقارنة توليد الإجراء المُبلغ عنها أن Orca يحسّن التقدم العام للمهمة وسلوك الاسترداد مقارنةً بعدة خطوط أساس.
يظهر مقارنة شاملة مبسطة أدناه.
| النموذج | Rule-based ↑ | M25 ↑ | M50 ↑ | SR ↑ | MaxP-F ↑ | FNS ↑ | DRR ↑ | SQS ↑ |
|---|---|---|---|---|---|---|---|---|
| V-JEPA 2.1 | 17.0 | 27 | 7 | 0 | 17.4 | 10.1 | 20.5 | 0.0 |
| Qwen3.5 | 10.5 | 18 | 5 | 0 | 13.1 | 7.6 | 11.9 | 0.0 |
| π₀.₅ | 29.4 | 54 | 14 | 5 | 26.5 | 15.3 | 26.7 | 3.0 |
| Orca | 32.4 | 55 | 14 | 6 | 27.9 | 15.1 | 30.3 | 2.9 |
أمثلة الاسترداد ذات صلة خاصة. في الروبوتات الحقيقية، غالبًا ما تفشل المحاولة الأولى. قد يتعطل نظام يقتصر على تعيين الملاحظات إلى إجراءات محفوظة بعد حدوث اضطراب. النظام الذي يتمتع بتمثيل أقوى لحالة العالم لديه فرصة أفضل لملاحظة أن المهمة لم تكتمل، وأن الكائن لا يزال موجودًا، وأن الحالة الحالية لا تزال تملك مسارًا نحو الهدف.
هذه هي القيمة العملية لتعلم حالة العالم.
قبل التنفيذ. لا تجادل أوركا في أن بيانات الإجراءات غير ضرورية، بل تغيّر ترتيب التعلم: أولاً تتعلم ديناميكيات العالم القابلة للتوسع، ثم تربط ذلك التمثيل بإجراءات الروبوت باستخدام كمية أقل من البيانات المخصصة للمهمة.
لماذا تُعدّ أهداف التدريب الثلاثة معًا مهمة
يناقش المقال أيضًا تجارب الإزالة. يزيل الباحثون أهداف تدريب مختلفة ويراقبون كيف تتغير قراءات النص والصورة والإجراءات.
النتيجة هي أن الأهداف الثلاثة تؤدي أدوارًا مختلفة.
- الإشراف عبر الإجابة على الأسئلة البصرية يحافظ على واجهة اللغة والمحاذاة الدلالية.
- الفيديو المستمر يدعم الديناميكيات الطبيعية الكثيفة، ويكون مهمًا بشكل خاص لقراءة الإجراءات.
- التعلم المشروط بالأحداث يربط اللغة وبنية الأحداث والتحول البصري للحالة، مما يساعد في توقع الصور وفقًا للتعليمات.
الدرس الرئيسي هو أن تمثيل العالم لا يُنتج بإشارة إشراف واحدة فقط. بل يُشكل بواسطة قيود متعددة: التغيير الطبيعي، والأحداث الدلالية، والاستدلال اللغوي، والتحول الحالي.
تحسين البنية التحتية: تسريع FlagScale
يذكر المقال أيضًا تحسينات على مستوى النظام التدريبي تعتمد على إطار FlagScale من BAAI. يبلغ الفريق عن تحسينات حول FSDP2، وفقدان الإنتروبيا المتقاطعة المجزأة، والجلب المسبق للأمام/الخلف.
على مجموعة من وحدات H100، يُقال إن هذه التغييرات تزيد من إنتاجية التدريب من خط الأساس StarVLA البالغ 0.66 عينة/ثانية/وحدة معالجة رسومية إلى 2.91 عينة/ثانية/وحدة معالجة رسومية، أي تسريع بمقدار 4.4 مرة.
هذا الجزء مهم لأن تدريب النموذج العالمي يعتمد بشكل كبير على الحجم. إذا لم يتمكن نظام التدريب من التعامل بكفاءة مع خطوط الأنابيب الكبيرة للفيديو والأحداث والإشراف متعدد الوسائط، يصبح من الصعب اختبار فكرة النمذجة عمليًا.
ما تعنيه أوركا للنماذج العالمية
أوركا لا تزال نسخة مبكرة. يصف التقرير الفني ومواد المشروع عدة قيود.
تعتمد أوركا الحالية بشكل أساسي على الإشارات البصرية واللغوية. لا تغطي بعد بشكل كامل اللمس والقوة والصوت واستقبال الحس العميق وغيرها من الوسائط المادية التي قد تكون مهمة لنمذجة عالمية أكثر ثراءً. لا يزال النهج الحالي يعتمد جزئيًا على أجهزة الترميز البصري الحالية ومساحات التمثيل متعدد الوسائط.
حجم النموذج وحجم البيانات لا يزالان مبكرين مقارنة بالطموح طويل المدى للنماذج الأساسية العالمية العامة. توقع الصور، وتعميم الإجراءات، وطرق التقييم للنمذجة العالمية تحتاج أيضًا إلى مزيد من العمل.
ومع ذلك، فإن قيمة أوركا ليست في ادعاء أن النمذجة العالمية قد حُلّت. قيمتها هي أنها تقدم مسارًا ملموسًا:
- تعلم حالة عالمية موحدة من إشارات متعددة الوسائط قابلة للتوسع.
- تجميد هيكل الحالة العالمية هذا.
- قراءته في مهام اللغة والصورة والإجراءات.
- استخدام الأداء اللاحق لاختبار ما إذا كانت الطبقة الكامنة عالمية حقًا.
مفيد.
إذا استمر هذا التوجه في التحسن، فقد يكون له أثر يتجاوز الروبوتات. العديد من المجالات تشمل الحالة والتدخل والانتقال: الأنظمة الفيزيائية، علم الأحياء، النمذجة البيئية، التجارب العلمية، واتخاذ القرارات الفاعلة.
السؤال الأكبر هو ما إذا كانت أنظمة الذكاء الاصطناعي المستقبلية تستطيع أولاً بناء نموذج داخلي ومستقر وقابل للنقل للعالم قبل توليد الإجابات أو الصور أو الأفعال.
هذه هي الفكرة الأساسية وراء أوركا: العالم في ذهنك.
الأسئلة الشائعة
ما هو BAAI RoboBrain Orca؟
BAAI RoboBrain Orca هو مشروع نموذج تأسيسي مبكر للعالم يركز على التنبؤ بالحالة التالية. يتعلم تمثيلًا كامنًا للعالم من الإشارات متعددة الوسائط ويستخدم وحدات قراءة خفيفة الوزن لتوليد اللغة والصور والأفعال.
ماذا يعني "التنبؤ بالحالة التالية"؟
التنبؤ بالحالة التالية يعني التنبؤ بكيفية تغير حالة العالم الأساسية، وليس فقط التنبؤ بالرمز التالي أو الإطار أو الفعل التالي. الهدف هو نمذجة انتقالات الحالة بطريقة يمكنها دعم التفكير والتنبؤ البصري والتحكم التجسيدي.
هل أوركا نموذج لغة بشكل أساسي، أم نموذج صور، أم نموذج روبوت؟
أوركا لا يقتصر على واحدة من هذه الفئات. يتعلم تمثيلًا كامنًا مشتركًا للعالم أولاً، ثم يستخدم قراءات مختلفة للغة والرؤية والفعل. ولهذا يُوصف بأنه نموذج عالمي متعدد الوسائط بدلاً من نموذج وحيد الغرض.
ما البيانات التي يستخدمها أوركا للتدريب المسبق؟
يستخدم أوركا موارد تعلم عالمية واسعة النطاق، تشمل حوالي 125 ألف ساعة من الفيديو، و160 مليون تعليمة حدث، و11.5 مليون مثال لأسئلة وأجوبة بصرية. تساعد هذه الإشارات النموذج على تعلم الديناميكيات الطبيعية، والتحولات المشروطة بالأحداث، والفهم المتوافق مع اللغة.
لماذا يجمد أوركا الهيكل الأساسي أثناء تدريب القراءة النهائية؟
تجميد الهيكل الأساسي يجعل التقييم أكثر نقاءً. إذا كانت وحدات القراءة خفيفة الوزن قادرة على الأداء الجيد بينما يظل الهيكل الأساسي مجمدًا، فهذا يشير إلى أن المعلومات المفيدة موجودة بالفعل في التمثيل الكامن للعالم الذي تم تعلمه بدلاً من إعادة تعلمه من الصفر في المراحل النهائية.
هل يستطيع أوركا التحكم في الروبوتات مباشرة؟
في التجارب العملية المبلغ عنها، يتم توصيل التمثيل الكامن المجمد لأوركا بخبير أفعال قابل للتدريب لمهام الروبوت. ليس مجرد أداة تحكم روبوت مباشرة وسهلة التشغيل، لكن النتائج تشير إلى أن التدريب المسبق على حالة العالم يمكن أن يساعد في تعميم الروبوتات في المراحل النهائية.
هل أوركا جاهز للإنتاج؟
المواد المتاحة تقدم أوركا كاتجاه بحثي مبكر، وليس كنظام إنتاجي مكتمل. المشروع لا يزال بحاجة إلى وسائط فيزيائية أوسع، وطرق تقييم أقوى، وتدريب على نطاق أوسع، وإصدار نقاط تفتيش أو رموز استدلال لإعادة الإنتاج على نطاق أوسع.
أين يمكنني قراءة المواد الرسمية لأوركا؟
أفضل نقاط البداية هي صفحة مشروع أوركا الرسمية، والتقرير الفني على arXiv، ومستودع GitHub، وصفحة الورقة على Hugging Face. توفر هذه المصادر المراجع الأكثر مباشرة لتصميم النموذج والبيانات والتقييم والاستشهاد.
أدوات ذات صلة
- صفحة مشروع أوركا: الصفحة الرسمية لمشروع نموذج أوركا التأسيسي للعالم.
- مستودع أوركا على GitHub: المستودع الرسمي لمعلومات المشروع.
الأشكال، وإصدارات الكود أو نقاط التحقق المستقبلية.
- arXiv: صفحة التقرير الفني الرسمي لـ "Orca: العالم في عقلك".
- Hugging Face Papers: صفحة الأوراق المجتمعية للمناقشات والمجموعات وتتبع الأوراق.
- FlagScale: مجموعة أدوات تدريب النماذج الكبيرة المرتبطة بـ BAAI والمشار إليها في قسم تحسين البنية التحتية.
- PyTorch FSDP fully_shard: وثائق PyTorch الرسمية لواجهة برمجة التقسيم بنمط FSDP2.
روابط ذات صلة
- صفحة مشروع Orca الرسمية: موقع المشروع الرئيسي الذي يتضمن نظرة عامة على النموذج والبيانات والتقييم والاستشهادات.
- التقرير الفني لـ Orca على arXiv: الورقة البحثية لنموذج الأساس العالمي Orca.
- مستودع Orca على GitHub: المستودع الرسمي الذي يحتوي على ملف README للمشروع وخارطة الطريق للإصدارات.
- Orca على Hugging Face Papers: الصفحة المجتمعية لورقة Orca على Hugging Face.
- مستودع FlagScale على GitHub: مجموعة أدوات التدريب المتعلقة بتحسين البنية التحتية الموضحة في المقالة.
- وثائق PyTorch FSDP fully_shard: المرجع الرسمي لواجهات برمجة التدريب الموزع بالكامل.
ملخص
يستكشف RoboBrain Orca تحولًا من التنبؤ بالمخرجات المعزولة إلى نمذجة انتقالات حالة العالم. بدلاً من معالجة اللغة والصور والإجراءات كأهداف منفصلة، يحاول تعلم تمثيل عالمي كامن مشترك يمكنه دعم واجهات قراءة متعددة.
تشرح المقالة إعداد التعلم لـ Orca، بما في ذلك الفيديو المستمر والتعليقات التوضيحية للأحداث وبيانات VQA. كما تستعرض واجهات القراءة الرئيسية الثلاث: التفكير النصي، والتنبؤ بالصور المستقبلية، وتوليد الإجراءات الآلية.
الفكرة الأكثر أهمية ليست أن Orca قد أكملت نمذجة العالم. بل أن Orca تقدم مسارًا قابلًا للاختبار لبناء وتقييم نموذج عالمي كامن عبر اللغة والرؤية والإجراءات.
باختصار: Orca هي محاولة مبكرة لجعل الذكاء الاصطناعي يفهم تغير الحالة قبل أن يولد الكلمات أو الصور أو الإجراءات.