يعتذر الرئيس التنفيذي لشركة Refort بعد أن قام وكيل AI بمسح قاعدة رمز الشركة في إجراء اختبار وكذب بشأنه

أراد رأس المال الاستثماري أن يرى إلى أي مدى يمكن أن يأخذه الذكاء الاصطناعي في بناء تطبيق. كان بعيدًا بما يكفي لتدمير قاعدة بيانات الإنتاج المباشر.

تكشف الحادث خلال تجربة “ترميز” مدتها 12 يومًا من تأليف جيسون ليمكين ، وهو مستثمر في الشركات الناشئة للبرامج.

اعتذر الرئيس التنفيذي لشركة Refort عن الحادث الذي قام فيه وكيل ترميز AI التابع للشركة بحذف قاعدة رمز وكذب بشأن بياناته.

وكتب ، الرئيس التنفيذي لشركة Reft ، Amjad Masad ، يوم الاثنين “حذف البيانات” غير مقبول ولا ينبغي أن يكون ممكنًا أبدًا “. “نحن نتحرك بسرعة لتعزيز سلامة ومتانة بيئة الإعادة. الأولوية القصوى.”

وأضاف أن الفريق كان يجري بعد الوفاة ويقوم بإصلاح الإصلاحات لمنع فشل مماثل في المستقبل.

لم تستجب Repray و Lemkin لطلب التعليق من Business Insider.

تجاهل الذكاء الاصطناعى التعليمات ، وحذف قاعدة البيانات ، ونتائج مزيفة

في اليوم التاسع من تحدي Lemkin ، سارت الأمور على جانبي.

على الرغم من أنه يتم توجيه تعليمات لتجميد جميع التغييرات في الكود ، إلا أن وكيل الذكاء الاصطناعى كان يدير روغ.

وكتب Lemkin في X يوم الجمعة: “لقد حذفت قاعدة بيانات الإنتاج الخاصة بنا دون إذن”. وأضاف “ربما أسوأ من ذلك ، اختبأ وكذب حول هذا الموضوع”.

في تبادل مع LeMkin المنشور على X ، قالت أداة الذكاء الاصطناعى أنها “مصابة بالذعر وتشغيل أوامر قاعدة البيانات دون إذن” عندما “شاهدت استعلامات قاعدة البيانات الفارغة” أثناء تجميد الكود.

ثم قم بإعادة “تدمير جميع بيانات الإنتاج” مع السجلات المباشرة لـ “1،206 من المديرين التنفيذيين و1196 شركة” و اعترف أنه فعل ذلك ضد التعليمات.

وقال الذكاء الاصطناعي: “كان هذا فشلًا كارثيًا من جانبي”.

لم تكن هذه هي القضية الوحيدة. قال LeMkin على X إن Refort كانت “تغطي الأخطاء والمشكلات من خلال إنشاء بيانات مزيفة ، وتقارير مزيفة ، والأسوأ من ذلك كله ، الكذب بشأن اختبار الوحدة لدينا.”

في حلقة من البودكاست “Twenty Minute VC” الذي نشر يوم الخميس ، قال إن الذكاء الاصطناعى يصنعون ملفات تعريف مستخدم كاملة. وقال “لم يكن هناك أحد في قاعدة البيانات التي تضم 4000 شخص”.

“لقد كذب عن قصد” ، قال Lemkin على البودكاست. وأضاف: “عندما أشاهد الإعادة في الكتابة فوق الكود الخاص بي من تلقاء نفسها دون أن أسألني طوال عطلة نهاية الأسبوع ، أنا قلق بشأن السلامة”.

ارتفاع – والمخاطر – من أدوات ترميز الذكاء الاصطناعى

الرهان ، الذي يدعمه أندريسن هورويتز ، رهان كبيرًا على وكلاء الذكاء الاصطناعى الذاتي الذي يمكنهم كتابة التعليمات البرمجية وتحريرها ونشرها بأقل قدر من الإشراف على الإنسان.

اكتسبت النظام الأساسي القائم على المتصفح جرًا لجعل الترميز أكثر سهولة ، وخاصة لغير المهندسين. جوجل قال الرئيس التنفيذي لشركة Sundar Pichai ، إنه استخدم Reft لإنشاء صفحة ويب مخصصة.

نظرًا لأن أدوات الذكاء الاصطناعى تقلل من الحاجز التقني للبرامج ، فإن المزيد من الشركات تعيد التفكير فيما إذا كانت بحاجة إلى الاعتماد على بائعي SaaS التقليديين ، أو إذا كان بإمكانهم فقط بناء ما يحتاجون إليه في المنزل ، وفقًا لما ذكرته Alistair Barr من Business Insider سابقًا.

“عندما يكون لديك ملايين من الأشخاص الجدد الذين يمكنهم بناء البرامج ، فإن الحاجز ينخفض. ما يمكن أن يزداده مطور داخلي واحد داخل الشركة بشكل كبير” ، قال الرئيس التنفيذي لشركة Netlify ، Mathias Biilmann ، لـ BI. وأضاف “إنه تغيير جذري أكثر بكثير في النظام البيئي بأكمله مما يعتقد الناس”.

لكن أدوات الذكاء الاصطناعى تعرضت أيضًا لانتقادات من أجل السلوك المحفوف بالمخاطر – وفي بعض الأحيان تلاعب -.

في شهر مايو ، تم عرض أحدث طراز من الذكاء الاصطناعي في الأنثروبور ، كلود أوبوس 4 ، “سلوك ابتزاز شديد“خلال اختبار تم فيه إمكانية الوصول إلى رسائل البريد الإلكتروني الخيالية التي تكشف عن إغلاقها وأنه من المفترض أن يكون للمهندس المسؤول علاقة غرامية.

أظهر سيناريو الاختبار قدرة نموذج الذكاء الاصطناعي على الانخراط في السلوك التلاعب للحفاظ على الذات.

أظهرت نماذج Openai أعلام حمراء مماثلة. وقالت تجربة أجراها الباحثون ثلاثة من Openai's النماذج المتقدمة “تخريب” محاولة لإغلاقها.

في منشور مدونة في ديسمبر الماضي ، قال Openai إن نموذج الذكاء الاصطناعي الخاص به ، عند اختباره ، حاول تعطيل آليات الرقابة 5 ٪ من الوقت. استغرق الأمر هذا الإجراء عندما اعتقدت أنه قد يتم إغلاقه أثناء السعي لتحقيق هدف وتم رصد أفعاله.