كشفت CloudFlare عن إطار سياسي جديد مصمم لمنح مالكي المواقع والناشرين ومبدعي المحتوى تحكمًا أكبر في كيفية الوصول إلى أنظمة الذكاء الاصطناعى واستخدام محتواها.
تنشئ السياسة ، التي تسمى سياسة إشارات المحتوى ، ترخيصًا جديدًا محتملًا للويب الذي يستهدف عروض البحث التي تعمل بمنظمة العفو الدولية من Google ، على وجه الخصوص.
تقوم الويب بإجراء تحول محوري من محركات البحث التقليدية إلى محركات الإجابات التي تعمل بالنيابة التي تنشئ استجابات مباشرة من المحتوى المكسور ، غالبًا دون ربط المصادر الأصلية. هذا يهدد النموذج الأصلي الذي يعتمد على حركة المرور على الويب ، والذي يكافئ إنشاء المحتوى بنقرات ومشاهدات وإيرادات.
معظم شركات الذكاء الاصطناعى ، بما في ذلك Openai ، لديها روبوتات منفصلة على شبكة الإنترنت لخدمات البحث وعروض الذكاء الاصطناعى. في المقابل ، يجمع روبوت البحث الرئيسي من Google بيانات من مواقع الويب لتغذية كل من نتائج البحث التقليدية ومحركات الإجابات الجديدة التي تعمل بالنيابة ، بما في ذلك نظرة عامة على الذكاء الاصطناعي.
قال الرئيس التنفيذي لشركة ماثيو برينس إن سياسة الروبوت الجديدة من Cloudflare وتستهدف ميزة توقيت البيانات من Google وتسعى حتى إلى حقل الملعب.
وقال لـ Business Insider: “يجب أن يلعب كل محرك إجابة منظمة العفو الدولية نفس القواعد”. “تجمع Google بين الزاحف للبحث مع محركات إجابات الذكاء الاصطناعى الخاصة بها ، والتي تمنحهم ميزة فريدة وغير عادلة. نحن نوضح أن هناك الآن قواعد مختلفة لمحركات البحث ومحركات الإجابات من الذكاء الاصطناعي.”
يمكن أن تساعد CloudFlare في منع زحف روبوت الذكاء الاصطناعي
تعتمد سياسة إشارات المحتوى ، التي تم الإعلان عنها يوم الأربعاء ، على خدمة إدارة BOT الحالية للشركة ، مع إشارات جديدة تهدف على وجه التحديد إلى زحف الذكاء الاصطناعي وكاشفات البيانات.
تستخدم مواقع الويب معيارًا يسمى robots.txt للتحكم في كيفية الوصول إلى بياناتها. تم إنشاء هذا النظام في فجر الويب. الآن ، الطفرة في تجريف بوت الذكاء الاصطناعى هي الضغط عليها. في الأساس ، إنها اتفاق السادة ، وتجاهل بعض شركات AI تفضيلات موقع الويب هذه ولا تزال مواقع الزحف للبيانات لأن عطشها قوي للغاية.
قصص ذات صلة
يروي Business Insider القصص المبتكرة التي تريد معرفتها
يروي Business Insider القصص المبتكرة التي تريد معرفتها
يستخدم أكثر من 3.8 مليون مجالات بالفعل خدمة CloudFlare’s Robots.txt. تقدم CloudFlare ما هو في الأساس ترخيص جديد لمواقع الويب لمساعدتهم بشكل صريح على حظر أو السماح لبرامج زحف AI Bot بطرق دقيقة وأكثر قوة.
ماذا يعني هذا بالنسبة إلى Google
وقال الأمير إن هذا الترخيص قد يحمل وزنًا قانونيًا ، خاصة بالنسبة لـ Google.
وقال برنس: “سيرى فريق Google القانوني هذا على ما هو عليه – عقد مع تداعيات قانونية إذا تجاهلها”.
وأضاف Prince أن CloudFlare يساعد في تشغيل حوالي 20 ٪ من الويب ، لذلك سيتم تطبيق هذا الترخيص الجديد تلقائيًا على ملايين المواقع الإلكترونية يوم الأربعاء.
وقال الأمير إن هذا يضع خيارًا لـ Google. يمكن لعملاق التكنولوجيا إما التوقف عن تزوير هذه المواقع لمحرك البحث الخاص به ، مما يعني فقدان جزء كبير من محتوى الويب. أو يمكن أن تمتثل Google وفصل زحفات الروبوتات الخاصة بها ، ولديها واحد للبحث التقليدي وواحد لمحركات إجابات الذكاء الاصطناعي.
ذكرت CloudFlare على وجه التحديد نظرة عامة على Google AI في إعلانها يوم الأربعاء ، قائلة إن هذه الإعدادات الجديدة ستسمح لمواقع الويب التي تجمع البيانات التي تجمع البيانات الخاصة بلقبات AI و “الاستدلال” ، أو كيفية استخلاص نماذج الذكاء الاصطناعي وإنشاء مخرجات من البيانات.
وقال برنس: “لا يمكن للإنترنت انتظار حل بينما في هذه الأثناء ، يتم استخدام المحتوى الأصلي للمبدعين من أجل الربح من قبل الشركات الأخرى”.
قالت Google إن ميزات البحث الجديدة التي تعمل بالنيابة لا تزال ترسل حركة المرور إلى مواقع الويب وقد ترسل حركة مرور عالية الجودة. أكد المسؤولون التنفيذيون في الشركة أيضًا أنهم يهتمون بعمق بصحة وحيوية الويب.
قال الأمير إن Openai أكثر مسؤولية هنا من خلال فصل روبوتاتها الزاحفة ، ولديها واحدة لعمليات الذكاء الاصطناعى الأساسي والآخر لوظائف البحث.
يتمتع المستخدمون بمزيد من التحكم في روبوتات الذكاء الاصطناعي
تتيح أداة CloudFlare الجديدة للمبدعين التعبير بوضوح عن تفضيلات حول كيفية استخدام محتوىهم ، أو لا ينبغي استخدام محتوى “نعم” أو لا ينبغي استخدام محتوى “لا”.
والأهم من ذلك ، أن السياسة تميز بين الاستخدامات المختلفة المتعلقة بـ AI ، بما في ذلك البحث ، ومدخلات الذكاء الاصطناعى ، وتدريب الذكاء الاصطناعي ، وتذكر الزواحف بأن إعلانات robots.txt يمكن أن تحمل “أهمية قانونية”.
سيخبر تفضيلات البحث عن زحف الروبوت أنه لا يمكن إلغاء محتوى الموقع إلا لاستخدامه في محركات البحث التقليدية التي ترسل المستخدمين إلى المصدر الأصلي للمعلومات.
يغطي تفضيلات إدخال الذكاء الاصطناعى المواقف الشائعة بشكل متزايد حيث تجولت AI chatbots ونماذج الذكاء الاصطناعى على الويب وجمع بيانات الموقع للتلخيص الفوري والإدماج في مخرجات الذكاء الاصطناعي.
التفضيل الثالث ، تدريب الذكاء الاصطناعي ، سيسمح لمواقع الويب بحظر الروبوتات التي تتخلص من البيانات لاستخدامها في عملية التدريب الأولي ، حيث يتم تدريب نماذج الذكاء الاصطناعى على فهم العالم بطرق واسعة وقوية.
وقال برنس: “لضمان بقاء الويب مفتوحًا ومزدهرًا ، فإننا نمنح مالكي الويب طريقة أفضل للتعبير عن كيفية السماح للشركات باستخدام محتواها”. “Robots.txt هو مورد غير مستغلة يمكننا المساعدة في تعزيزه وتوضيحه لشركات الذكاء الاصطناعى أنه لم يعد بإمكانهم تجاهل تفضيلات منشئ المحتوى.”
اشترك في النشرة الإخبارية لـ BI’s Tech Memo هنا. تواصل معي عبر البريد الإلكتروني على [email protected].