Copilot يحتل المركز الأول في معيار مراجعة الكود بالذكاء الاصطناعي الخاص بـ GitHub، لكن اختبار مستقل يقول شيئاً مختلفاً

الخلاف بين المعايير يثير تساؤلات

احتل Copilot من GitHub المركز الأول في معيار مراجعة الكود بالذكاء الاصطناعي الخاص بالشركة، وفقاً لتقرير The New Stack. ومع ذلك، أظهر معيار مستقل لنفس التقنية صورة مختلفة، مما يوضح التحديات التي تواجه المطورين عند تقييم أدوات مراجعة الكود القائمة على الذكاء الاصطناعي.

الفارق بين النتائج الداخلية لـ GitHub ونتائج التقييم المستقل يسلط الضوء على قلق متزايد في صناعة البرمجيات: عندما تقيّم الشركات منتجاتها الخاصة، قد لا تتطابق النتائج مع الأداء الفعلي الذي تقيسه أطراف ثالثة.

مشكلة التقييم الذاتي

الشركات التي تُنشئ أدوات برمجة بالذكاء الاصطناعي تنشر غالباً معايير مقارنة تُظهر منتجاتها في أفضل صورة. صحيح أن مثل هذه المعايير قد تكون مفيدة، لكنها قد لا تعكس كيفية عمل هذه الأدوات على قواعد كود متنوعة ولغات وسيناريوهات مراجعة مختلفة التي تواجهها فرق التطوير.

تُنشأ المعايير المستقلة لتقديم تقييم أكثر حيادية، لكنها أيضاً قد تختلف بناءً على المنهجية وبيانات الاختبار ومعايير التقييم. الاختلاف بين نتائج GitHub الداخلية والاستنتاجات المستقلة يشير إلى أن لا يوجد معيار واحد يروي القصة كاملة.

ماذا يعني هذا للمطورين

بالنسبة لفرق الهندسة التي تقيّم أدوات مراجعة الكود بالذكاء الاصطناعي، فإن الاستنتاج الرئيسي هو أهمية تعدد مصادر البيانات. الاعتماد فقط على المعايير المنشورة من قبل الشركة المصنّعة ينطوي على مخاطر اتخاذ قرارات مبنية على معلومات غير كاملة. التقييمات المستقلة ومراجعات الزملاء والاختبار العملي على قاعدة الكود الخاصة بالفريق تُنشئ معاً صورة أكثر اكتمالاً.

يعكس هذا الوضع أيضاً اتجاهاً أوسع في سوق أدوات الذكاء الاصطناعي، حيث أن التطوير السريع للمنتجات غالباً ما يتجاوز إنشاء معايير تقييم موحدة ومعترف بها على نطاق واسع. وبما أن مراجعة الكود بالذكاء الاصطناعي تصبح أكثر مركزية في عمليات تطوير البرمجيات، فقد تحتاج الصناعة إلى معايير أكثر شفافية ومستقلة.

المصادر: Thenewstack