كشفت شركة Brave Software عن عيب أمني في متصفح المذنب في محير الذكاء الاصطناعي والذي أوضح كيف يمكن للمهاجمين أن يخدعوا مساعدهم في الذكاء الاصطناعى في تسرب بيانات المستخدم الخاصة.
في عرض إثبات للمفهوم المنشور في 20 أغسطس ، حدد الباحثون الشجعان التعليمات الخفية داخل تعليق Reddit. عندما طُلب من مساعد الذكاء الاصطناعي المذنب تلخيص الصفحة ، لم يلخص ذلك فقط – لقد اتبعت الأوامر المخفية.
الحيرة المتنازع عليها من شدة النتيجة. وقال متحدث باسم فك تشفير المشكلة “تم تصحيحها قبل أن يلاحظ أي شخص” وقال لم يتم اختراق بيانات المستخدم. وأضاف المتحدث “لدينا برنامج مكافأة قوي للغاية”. “لقد عملنا مباشرة مع الشجاع لتحديد وإصلاحه.”
أكدت Brave ، التي تقوم بتطوير متصفح الوكلاء الخاص بها ، أن العيب ظل قابلاً للاستغلال بعد أسابيع من التصحيح وجادل في أن تصميم Colet يتركه مفتوحًا لمزيد من الهجمات.
قال Brave إن الضعف يعود إلى كيفية محتوى الويب الخاص بـ Comet Process. “عندما يطلب المستخدمون أن يلخصوا صفحة ، يقوم المذنب بتغذية جزء من تلك الصفحة مباشرة إلى نموذج لغتها دون التمييز بين تعليمات المستخدم والمحتوى غير الموثوق به” ، أوضح التقرير. “هذا يسمح للمهاجمين بتضمين أوامر مخفية ستنفذها الذكاء الاصطناعى كما لو كانوا من المستخدم.”
الحقن الفوري: الفكرة القديمة ، الهدف الجديد
يُعرف هذا النوع من الاستغلال باسم هجوم الحقن السريع. بدلاً من خداع شخص ما ، يخدع نظام الذكاء الاصطناعي عن طريق إخفاء التعليمات في نص عادي.
“إنه يشبه هجمات الحقن التقليدية – حقن SQL ، حقن LDAP ، حقن القيادة ،” فك تشفير. “المفهوم ليس جديدًا ، لكن الطريقة مختلفة. أنت تستغل اللغة الطبيعية بدلاً من الكود المنظم.”
لقد تحذر الباحثون الأمنيون لعدة أشهر من أن الحقن الفوري قد يصبح صداعًا كبيرًا حيث تكتسب أنظمة الذكاء الاصطناعى المزيد من الحكم الذاتي. في شهر مايو ، أظهر باحثو برينستون كيف يمكن معالجة وكلاء Crypto AI بهجمات “حقن الذاكرة” ، حيث يتم تخزين المعلومات الضارة في ذاكرة الذكاء الاصطناعى وتصرفت لاحقًا كما لو كانت حقيقية.
حتى سيمون ويليسون ، المطور الذي يرجع إلى صياغة المصطلح الحقن الفوريقال المشكلة تتجاوز المذنب. “أبلغ فريق الأمن الشجاع عن نقاط ضعف في الحقن في ذلك ، لكن الشجعان أنفسهم يطورون ميزة مماثلة تبدو محكوم عليها بمشاكل مماثلة” ، كما نشر على X.
وقال شيفان صاحب ، نائب رئيس الشجاعة للخصوصية والأمن ، إن متصفحها القادم سيشمل “مجموعة من التخفيفات التي تساعد على تقليل خطر الحقن الفوري غير المباشر”.
وقال لصحيفة “إننا نخطط لعزل تصفح الوكيل في منطقة التخزين الخاصة به وجلسة التصفح ، بحيث لا ينتهي المستخدم بطريق الخطأ بمنح الوصول إلى البيانات المصرفية وغيرها من البيانات الحساسة للوكيل”. فك تشفير. “سنقوم بمشاركة المزيد من التفاصيل قريبًا.”
المخاطر الأكبر
يبرز العرض التوضيحي المذنب مشكلة أوسع: يتم نشر وكلاء الذكاء الاصطناعي بأذونات قوية ولكن ضوابط أمنية ضعيفة. نظرًا لأن نماذج اللغة الكبيرة يمكن أن تسيء تفسير التعليمات – أو متابعتها حرفيًا أيضًا – فهي معرضة بشكل خاص للمطالبات الخفية.
“هذه النماذج يمكن أن تهلوس” ، حذر مولينز. “يمكنهم الخروج تمامًا من القضبان ، مثل السؤال ،” ما هي نكهة Twizzler المفضلة لديك؟ ” والحصول على تعليمات لصنع سلاح ناري محلي الصنع. “
مع منح وكلاء الذكاء الاصطناعى الوصول المباشر إلى البريد الإلكتروني والملفات وجلسات المستخدم المباشر ، تكون المخاطر عالية. قال مولينز: “الكل يريد صفع الذكاء الاصطناعي في كل شيء”. “لكن لا أحد يختبر الأذونات التي يمتلكها النموذج ، أو ما يحدث عندما يتسرب”.