جوجل تطلق تحديثًا لمعيار Android Bench مع Harbor: Claude Fable 5 يتصدر لوحة تصنيف قيادة الذكاء الاصطناعي الجديدة

مقدمة

قامت جوجل بتحديث لوحة تصنيف Android Bench البرمجية ونقلت سير عمل المعيار إلى إطار عمل Harbor. هذا التحديث مهم لأن Android Bench ليس مجرد مسابقة برمجة عامة. بل هو مصمم لاختبار مدى قدرة نماذج اللغات الكبيرة على التعامل مع مهام تطوير أندرويد الحقيقية، بما في ذلك فهم قاعدة البيانات البرمجية، وإنشاء التصحيحات، وواجهات برمجة التطبيقات الخاصة بأندرويد، وأنظمة البناء، والتحقق من الاختبارات.

النتائج الجديدة تخلق إشارة مثيرة للاهتمام للمطورين. أصبح Claude Fable 5 الآن في صدارة لوحة التصنيف المحدثة، يليه GPT 5.5، بينما تظهر نماذج جوجل الخاصة Gemini مزيجًا أكثر تباينًا من حيث الدقة وزمن الاستجابة والتكلفة. بالنسبة للفرق التي تستخدم وكلاء البرمجة بالذكاء الاصطناعي في مشاريع أندرويد، فإن الخلاصة الرئيسية ليست مجرد "أي نموذج فاز". بل هي كيف تغير طريقة التقييم، وبيئة الحماية، والتكلفة، وزمن الاستجابة مجتمعة الطريقة التي يجب بها الحكم على أداء النموذج.

جوجل تنقل Android Bench إلى إطار عمل Harbor

في 9 يوليو، أعلنت جوجل عن تحديث رئيسي لـ Android Bench، وهو معيار ولوحة تصنيف لتطوير أندرويد بمساعدة الذكاء الاصطناعي. التغيير الأهم هو اعتماد Harbor، وهو إطار عمل موحد لتشغيل مهام الوكيل في بيئات محمية.

في السابق، استخدم Android Bench إعداد تقييم يعتمد على mini-swe-agent v1 وقام بتكييفه لتطوير أندرويد. في الإصدار الجديد، تحولت جوجل نحو Harbor لجعل تنفيذ المعيار أكثر توحيدًا وعزلًا وقابلية للتكرار. الهدف هو تسهيل إجراء التقييمات المستقلة للمطورين والباحثين، ومقارنة إعدادات الوكيل المختلفة، ومشاركة النتائج بطريقة أكثر شفافية.

كما قامت جوجل بفتح مصدر أدوات Android Bench على GitHub. وهذا يمنح المجتمع رؤية أوضح لكيفية عمل المعيار ويفتح الباب للملاحظات، ومهام تطوير أندرويد المخصصة، ومشاركة أوسع حول تقييم النماذج.

لماذا يعتبر تغيير بيئة الحماية Harbor مهمًا

يمكن للإطار الذي يقف وراء المعيار أن يؤثر على النتيجة. هذا صحيح بشكل خاص لوكلاء البرمجة بالذكاء الاصطناعي، حيث لا تقتصر النماذج على الإجابة عن الأسئلة؛ بل تقوم بتفتيش المستودعات، وتشغيل الأوامر، وتحرير الملفات، واستدعاء الأدوات، ومحاولة استيفاء الاختبارات.

تم بناء Harbor حول تقييم مهام الوكيل في بيئة محمية. بالنسبة لـ Android Bench، يعني هذا أنه يمكن تنظيم عمليات تشغيل النماذج في بيئة تنفيذ أكثر تحكمًا بدلاً من الاعتماد على إعدادات محلية مخصصة. وهذا يساعد في تقليل الغموض عند مقارنة النماذج ويجعل من الأسهل تكرار تقييم معين.

تؤكد منهجية Android Bench من جوجل أيضًا على مشاكل التطوير الخاصة بأندرويد بدلاً من مهام البرمجة العامة. يتضمن المعيار عملًا يتعلق بمجالات مثل Jetpack Compose، وCoroutines و Flows، وRoom، وHilt، وهجرة التنقل، وتكوين Gradle،

تغييرات حزمة تطوير البرامج (SDK)، الوسائط، الكاميرا، الأجهزة القابلة للطي، أذونات وقت التشغيل، وغيرها من الاهتمامات الشائعة في هندسة أندرويد.

نتائج لوحة المتصدرين المحدثة

بعد تغيير المنهجية، أعادت جوجل تشغيل المعيار وقامت بتحديث لوحة المتصدرين لمعيار أندرويد. وفقًا للنتائج المحدثة، يحتل كلود فيبل 5 المرتبة الأولى بنسبة 84.5%. يتبعه جي بي تي 5.5 بنسبة 80.2%، ويأتي كلود سونيت 5 في المرتبة الثالثة بنسبة 76.2%.

يبدو عرض مبسط للنتائج العليا على النحو التالي:

الترتيب	النموذج	الدرجة	نطاق الثقة	متوسط زمن الاستجابة	متوسط التكلفة
1	كلود فيبل 5	84.5%	79.9–88.8	8.0 ساعة	133.2 دولار
2	جي بي تي 5.5	80.2%	73.5–86.6	11.4 ساعة	138.3 دولار
3	كلود سونيت 5	76.2%	69.0–82.1	12.3 ساعة	99.9 دولار
4	جي بي تي 5.4	74.1%	66.0–80.9	8.4 ساعة	83.4 دولار
5	جيميني 3.1 برو بريفيو	73.7%	66.1–80.4	10.6 ساعة	87.4 دولار
6	كلود أوبوس 4.8	72.4%	65.8–79.3	6.7 ساعة	88.0 دولار
7	جي إل إم 5.2	72.2%	65.3–78.7	38.9 ساعة	117.0 دولار
8	جيميني 3.5 فلاش	71.1%	63.6–78.2	28.3 ساعة	165.6 دولار

يجب قراءة هذه الأرقام على أنها نتائج خاصة بالمعيار. إنها لا تثبت أن نموذجًا واحدًا أفضل عالميًا في جميع مهام البرمجة. إنها تظهر أداء كل نموذج في إطار بيئة التقييم المحدثة الخاصة بأندرويد من جوجل.

موقف جيميني المختلط في النتائج الجديدة

يُعد التصنيف المحدث جديرًا بالملاحظة لأن نماذج جوجل الخاصة لا تتصدر المخطط. يحتل جيميني 3.1 برو بريفيو المرتبة الخامسة بنتيجة 73.7%. متوسط تكلفته المبلغ عنها أقل من عدة نماذج في المراتب العليا، لكن دقته تتخلف عن كلود فيبل 5، جي بي تي 5.5، كلود سونيت 5، وجي بي تي 5.4.

جيميني 3.5 فلاش هو الأكثر إثارة للاهتمام. وُضع كنموذج أخف، لكنه في هذا المعيار يُظهر متوسط زمن استجابة طويل يبلغ 28.3 ساعة ومتوسط تكلفة يبلغ 165.6 دولارًا لكل تشغيل كامل للمعيار. وهذا يجعله أقل جاذبية في هذا التقييم المحدد، على الرغم من التوقع العام بأن النماذج الأخف يجب أن تكون أسرع وأرخص.

الدرس الأكبر بسيط: لا يمكن أن يعتمد اختيار النموذج لوكلاء البرمجة فقط على العلامة التجارية، أو عائلة النموذج، أو السعر لكل رمز مميز. قد يتصرف النموذج الذي يبدو فعالاً من حيث التكلفة في الاستخدام العادي للدردشة بشكل مختلف تمامًا عندما يُطلب منه حل 100 مهمة حقيقية لتطوير أندرويد عبر استدعاءات الأدوات، وتعديلات المستودع، وتشغيل الاختبارات.

ما الذي يقيمه معيار أندرويد فعليًا

تم تصميم معيار أندرويد لتقييم ما إذا كان نموذج اللغة الكبير (LLM) يمكنه التصرف كمطور أندرويد عملي. يعطي النموذج أوصاف مشاكل من العالم الحقيقي ويطلب منه إنشاء تغييرات في الكود لحل المشكلة. ثم يتم التحقق من التصحيح الناتج مقابل إعداد تحقق.

تقول منهجية جوجل إن المعيار يتضمن 100 مهمة تم اختيارها من مجموعة أكبر بكثير من طلبات السحب. يركز الاختيار على مستودعات أندرويد وسير العمل التطويري الحقيقي، بما في ذلك الحالات التي تتضمن كوتلن، جافا، جيت باك كومباوز، طرق العرض التقليدية، التطبيقات، المكتبات، التغييرات الصغيرة المستهدفة، وتعديلات الكود الأكبر.

وهذا يجعل معيار أندرويد مختلفًا عن اختبارات إكمال الكود البسيطة. إنه أقرب إلى تقييم هندسة البرمجيات الوكيلية، حيث يحتاج النموذج إلى فهم المستودع، وإجراء التغيير المناسب، واجتياز التحقق الآلي.

لماذا هذا مهم لوكلاء برمجة الذكاء الاصطناعي

برمجة الذكاء الاصطناعي

سير العمل ينتقل من مقتطفات الأكواد المعتمدة على الاستفسارات إلى وكلاء مستقلين أو شبه مستقلين. في مشروع أندرويد حقيقي، يجب على الوكيل أن يتنقل في هيكل المشروع، ويفهم قيود البناء، ويعدّل عدة ملفات بأمان، ويتعامل مع تغييرات واجهة البرمجة، ويُجري الاختبارات دون الإخلال بالسلوك الحالي.

يساعد معيار مثل "Android Bench" المطورين على تقييم النماذج مقابل هذا النوع من سير العمل. كما يوضح التكلفة وزمن الاستجابة. للاستخدام الإنتاجي، ليس النموذج الحاصل على أعلى درجة هو الأفضل دائمًا. قد تفضّل الفريق درجة أقل قليلاً إذا كان النموذج أسرع بكثير، أو أقل تكلفة، أو أكثر استقرارًا داخل بيئة التطوير الخاصة به.

كما يعزز التحديث نقطة أوسع: يجب أن تتطور منهجية المقاييس مع تطور وكلاء الذكاء الاصطناعي. أصبح استدعاء الأدوات، والعزلة، وتتبّع التنفيذ، وقابلية إعادة الإنتاج، وتتبّع التكلفة الآن جزءًا من التقييم، وليس إضافات اختيارية.

الأسئلة الشائعة

ما هو Android Bench؟

Android Bench هو معيار من Google لتقييم نماذج اللغات الكبيرة في مهام تطوير أندرويد. يركز على مشاكل هندسة أندرويد الحقيقية بدلاً من المعلومات البرمجية العامة أو أسئلة الخوارزميات المنعزلة.

لماذا نقلت Google Android Bench إلى Harbor؟

نقلت Google Android Bench إلى إطار Harbor لتوحيد تنفيذ المعيار في بيئات معزولة. يساعد ذلك في جعل التقييمات أسهل في إعادة الإنتاج والمقارنة والمشاركة عبر إعدادات مختلفة للنماذج والوكلاء.

أي نموذج يحتل المرتبة الأولى في لوحة متصدر Android Bench المحدّثة؟

في لوحة المتصدر المحدّثة الموصوفة في المقالة المصدر وصفحة Android Bench من Google، يحتل Claude Fable 5 المرتبة الأولى بنسبة 84.5%. يليه GPT 5.5 بنسبة 80.2%، بينما يحتل Claude Sonnet 5 المرتبة الثالثة.

هل يعني ذلك أن Claude Fable 5 هو أفضل نموذج برمجة بشكل عام؟

ليس بالضرورة. يقيس Android Bench أداء البرمجة الخاص بأندرويد تحت إعداد معيار محدد. قد لا يكون النموذج الأفضل أداءً هنا هو الخيار الأمثل لتطوير الويب أو هندسة البيانات أو DevOps أو مهام البرمجيات الأخرى.

لماذا يهم زمن الاستجابة في معيار البرمجة بالذكاء الاصطناعي؟

يظهر زمن الاستجابة المدة التي يستغرقها النموذج لإكمال مهام المعيار. لفرق الهندسة الحقيقية، تكون النتيجة العالية مفيدة فقط إذا كان النموذج قادرًا على إكمال العمل ضمن إطار زمني مقبول.

لماذا تهم تكلفة المعيار؟

تهم التكلفة لأن البرمجة الوكيلة قد تتضمن العديد من استدعاءات الأدوات، وسياقات طويلة، وتفتيش المستودعات، وتكرار اختبارات. قد يكون النموذج ذو الدقة القوية ولكن التكلفة العالية جدًا أقل عملية للاستخدام الإنتاجي المتكرر.

هل يمكن للمطورين تشغيل Android Bench بأنفسهم؟

يوفر مستودع Android Bench على GitHub أدوات وإرشادات لإعداد النماذج للتقييم. كما توجه الوثائق الرسمية المطورين إلى مجموعة البيانات والمنهجية لتمكينهم من فهم أو إعادة إنتاج المعيار بشكل أفضل.

أدوات ذات صلة

• Android Bench: لوحة متصدر Google لتقييم نماذج اللغات الكبيرة في مهام تطوير أندرويد.
• مستودع Android Bench على GitHub: الإطار والأدوات مفتوحة المصدر لتقييم Android Bench.
• Harbor: إطار لتحديد وتقييم البيئات المعزولة.

مهام الوكلاء:

• mini-swe-agent: وكيل هندسة برمجيات خفيف الوزن يُستخدم في سير عمل المقاييس المرجعية ووكلاء البرمجة.
• LiteLLM: واجهة موحدة لاستدعاء العديد من مزودي نماذج اللغات الكبيرة باستخدام صيغ متوافقة مع OpenAI.
• Android Studio: بيئة التطوير المتكاملة الرسمية لتطوير تطبيقات أندرويد واختبارها.

روابط ذات صلة

• لوحة نتائج Android Bench: صفحة الترتيب الرسمية لأندرويد بنش مع مقاييس الدرجة والتكلفة وزمن الاستجابة.
• مدونة مطوري أندرويد: تطور قياس نماذج اللغات الكبيرة لأندرويد: المقال الرسمي من غوغل الذي يشرح الترحيل إلى هاربور وتحديث لوحة النتائج.
• منهجية Android Bench: صفحة المنهجية الرسمية التي تصف أبعاد اختيار المهام وتنفيذها وتقييمها.
• مستودع Android Bench على GitHub: الكود الرسمي والوثائق الخاصة بإطار القياس المرجعي.
• إطار عمل Harbor: الموقع الرسمي لهاربور لتقييم الوكلاء في بيئات معزولة.
• توثيق Jetpack Compose: وثائق مجموعة أدوات واجهة المستخدم الرسمية لأندرويد ذات الصلة بالعديد من مهام تطوير أندرويد.

ملخص

تحديث Android Bench من غوغل هو أكثر من مجرد تجديد للوحة النتائج. فبالانتقال إلى إطار عمل Harbor، يركز المقياس المرجعي الآن بشكل أكبر على التقييم القابل للتكرار والمعزول والمخصص لوكلاء أندرويد.

يحتل التصنيف الجديد المرتبة الأولى لنموذج Claude Fable 5، يليه GPT 5.5 وClaude Sonnet 5. يظل Gemini تنافسيًا لكنه لا يتصدر المخطط المحدث، ويُظهر Gemini 3.5 Flash أن النماذج الأخف ليست تلقائيًا أسرع أو أرخص في تقييمات البرمجة الوكيلة.

بالنسبة للمطورين وفرق الذكاء الاصطناعي، فإن الفائدة العملية هي مقارنة الدقة وزمن الاستجابة والتكلفة ومنهجية القياس المرجعي معًا. يُفضل اعتبار Android Bench إشارة عملية لوكلاء برمجة أندرويد، وليس تصنيفًا عالميًا لجميع نماذج الذكاء الاصطناعي.