تشير دراسة جديدة إلى أن أدوات ترميز الذكاء الاصطناعى يمكن أن تجعل مهندسي البرمجيات ذوي الخبرة أقل إنتاجية.

سرعان ما أصبح محرري رمز الذكاء الاصطناعى الدعامة الأساسية لتطوير البرمجيات ، تستخدمه عمالقة التكنولوجيا مثل Amazon و Microsoft و Google.

في تطور مثير للاهتمام ، تشير دراسة جديدة إلى أن أدوات الذكاء الاصطناعى قد تبطئ في الواقع المطورين ذوي الخبرة.

استغرق المطورون ذوي الخبرة الذين يستخدمون أدوات ترميز الذكاء الاصطناعى 19 ٪ لإكمال القضايا من أولئك الذين لا يستخدمون مساعدة الذكاء الاصطناعي التوليدي ، وفقًا لدراسة جديدة من التقييم النموذجي وبحوث التهديد (METR).

حتى بعد الانتهاء من المهام ، لم يتمكن المشاركون من قياس بدقة إنتاجيتهم الخاصة ، وقالت الدراسة: ما زال المتوسط ​​من المطورين بمساعدة الذكاء الاصطناعي يعتقدون أن إنتاجيتهم قد اكتسبت بنسبة 20 ٪.

كيف تم إعداد الدراسة

قامت دراسة Metr بتجنيد 16 مطورًا مع مستودعات كبيرة مفتوحة المصدر عملوا عليها لسنوات. تم تعيين المطورين بشكل عشوائي في مجموعتين: أولئك الذين يسمح لهم باستخدام مساعدة ترميز الذكاء الاصطناعي وأولئك الذين لم يكونوا كذلك.

يمكن للمبرمجين بمساعدة AI اختيار أداة ترميز الأجواء التي استخدموها. اختار معظم المؤشر مع كلود 3.5/3.7 السوناتة. تواصل Business Insider مع المؤشر للتعليق.

وقالت الدراسة إن المطورين الذين ليس لديهم منظمة العفو الدولية قضوا أكثر من 10 ٪ من الوقت في الترميز بنشاط. أنفق المبرمجون بمساعدة AI أكثر من 20 ٪ من الوقت في مراجعة مخرجات الذكاء الاصطناعي ، مما دفع الذكاء الاصطناعي ، في انتظار الذكاء الاصطناعي ، أو كونهم خاملين.

نتيجة “مفاجئة حقًا” – ولكن من المهم أن نتذكر مدى سرعة تقدم أدوات الذكاء الاصطناعي

أخبر باحث Metr Nate Rush BI أنه يستخدم محرر رمز الذكاء الاصطناعي كل يوم. على الرغم من أنه لم يقدم تنبؤًا رسميًا بنتائج الدراسة ، إلا أن Rush قال إنه قام بتخفيض أرقام الإنتاجية الإيجابية التي توقع أن تصل الدراسة. لا يزال مندهشًا من النتيجة النهائية السلبية – ويحذر من إخراجها من السياق.

وقال راش: “الكثير من ما نراه هو خصوصية إعدادنا” ، موضحًا أن المطورين الذين ليس لديهم خبرة من 5 إلى 10 سنوات من المشاركين من المحتمل أن ترى نتائج مختلفة. “لكن حقيقة أننا وجدنا أي تباطؤ على الإطلاق كان مفاجئًا حقًا.”

وصف ستيف نيومان ، رائد الأعمال التسلسلي والمؤسس لمستندات جوجل ، النتائج في منشور بديلة بأنه “سيء للغاية لدرجة أنه” ، ولكن بعد تحليل أكثر دقة للدراسة ومنهجيتها ، وجد الدراسة موثوقة.

وكتب نيومان: “لا تعرض هذه الدراسة أدوات ترميز الذكاء الاصطناعى كاحتيال ، لكنها تذكرنا بأن لديهم قيودًا مهمة (في الوقت الحالي ، على الأقل)”.

وقال باحثو METR إنهم وجدوا أدلة على العديد من المساهمين في تباطؤ الإنتاجية. كان الإفراط في التفاؤل أحد العوامل المحتملة: قبل الانتهاء من المهام ، توقع المطورون أن الذكاء الاصطناعى سيقللون من وقت التنفيذ بنسبة 24 ٪.

بالنسبة للمطورين المهرة ، قد لا يزال من الأسرع أن تفعل ما تعرفه جيدًا. وجدت دراسة METR أن المشاركين بمساعدة الذكاء الاصطناعى تباطأوا في القضايا التي كانوا أكثر دراية بها. وذكروا أيضًا أن مستوى خبرتهم جعل من الصعب على الذكاء الاصطناعي مساعدتهم.

قد لا تكون الذكاء الاصطناعى موثوقة بما يكفي لإنتاج رمز نظيف ودقيق. قبل المطورين بمساعدة AI في الدراسة أقل من 44 ٪ من الكود الذي تم إنشاؤه ، وقضوا 9 ٪ من وقت تنظيف مخرجات الذكاء الاصطناعى.

قام روبن بلوم ، أحد مطوري الدراسة ، بنشر موضوع رد فعل على X. لقد تطور مساعدو الترميز بشكل كبير منذ مشاركته في فبراير.

وكتب بلوم: “أعتقد أنه إذا كانت النتيجة صالحة في هذه المرحلة الزمنية ، فهذا شيء واحد ، أعتقد أنه إذا كان الناس يستشهدون في غضون 3 أشهر أخرى ، فسوف يرتكبون خطأ”.

يعترف اندفاع Metr بأن تباطؤ 19 ٪ هو “قياس في الوقت المحدد” وأنه يرغب في دراسة الرقم مع مرور الوقت. يقف Rush إلى جانب الوجبات السريعة للدراسة بأن مكاسب إنتاجية الذكاء الاصطناعى قد تكون أكثر فردية مما كان متوقعًا.

وقال راش: “أخبرني عدد من المطورين أن هذه الحكاية المثيرة للاهتمام حقًا ، وهي مع العلم هذه المعلومات ، أشعر أن هذه الرغبة في استخدام الذكاء الاصطناعي بشكل أكثر قضائية”. “على المستوى الفردي ، يعرف هؤلاء المطورين تأثير الإنتاجية الفعلي. يمكنهم اتخاذ قرارات أكثر استنارة.”