تثير ثورة الذكاء الاصطناعي تساؤلات متزايدة حول علاقة شركات التكنولوجيا الكبرى بالويب، وهو أثمن مستودع لبيانات البشر على الإطلاق. فهل تقوم هذه الشركات بتنمية الويب من خلال استخدامه، أم أنها تستخرج المحتوى مجانًا دون تقديم مقابل عادل؟ بيانات محدثة من Cloudflare تلقي ضوءًا جديدًا على هذا السؤال الهام و مساهمة الذكاء الاصطناعي في هذا المشهد المتطور.
يُعد هذا أحد الجوانب الأقل مناقشةً في طفرة الذكاء الاصطناعي الحالية. بينما تنفق شركات التكنولوجيا مبالغ طائلة على مراكز البيانات ووحدات معالجة الرسومات (GPUs) والمواهب، فإنها تتجنب الحديث عن المكون الرئيسي الآخر لنجاح الذكاء الاصطناعي: البيانات.
الذكاء الاصطناعي والبيانات: التوازن الدقيق بين الاستخلاص والمساهمة
يعود السبب في هذا التجنب إلى أن الشركات لا ترغب في الدفع مقابل البيانات البشرية عالية الجودة المطلوبة لتدريب نماذج الذكاء الاصطناعي، والاستدلال، وإنتاج مخرجات دقيقة. بدلاً من ذلك، ترسل روبوتات (bots) للزحف إلى مواقع الويب وجمع هذه المعلومات، في الغالب مجانًا.
في الماضي، كانت شركات التكنولوجيا ترسل المستخدمين إلى المصادر الأصلية لهذه المعلومات. كان هذا يشكل جوهر الاتفاق المتبادل على الويب. كانت المواقع تسمح بأخذ بياناتها مجانًا على افتراض أنها ستحصل على إحالات مرورية (referrals) في المقابل، ويمكنها تحقيق الدخل من خلال الإعلانات والاشتراكات وغيرها من التقنيات.
لكن هذا الاتفاق بدأ في الانهيار مع ظهور الذكاء الاصطناعي التوليدي. الآن، توفر محركات إجابات الذكاء الاصطناعي والروبوتات الدردشة إجابات مباشرة للمستخدمين، مما يقلل من احتمالية زيارتهم لمواقع الويب التي أنشأت وتحقق من صحة البيانات في المقام الأول.
تأثير الزحف على مواقع الويب
بدأت Cloudflare، التي تساعد في تشغيل حوالي 20٪ من مواقع الويب في العالم، في تتبع هذا السلوك في عام 2025. تقوم بقياس طلبات روبوتات شركات التكنولوجيا الكبرى للزحف إلى مواقع الويب، وعدد الإحالات المرورية التي ترسلها هذه المنصات إلى المواقع.
يعتبر هذا المقياس، أو نسبة الزحف إلى الإحالة، مؤشرًا مفيدًا على مقدار ما تستلمه شركات التكنولوجيا من الويب، ومقدار ما تقدمه في المقابل. على سبيل المثال، تعني النسبة 100 إلى 1 أن روبوتات الشركة زحفت إلى مواقع الويب 100 مرة مقابل كل إحالة مرورية واحدة أرسلتها.
البيانات الحالية تشير إلى أن بعض الشركات تستهلك بيانات أكثر مما تقدمه. وفقًا لبيانات Cloudflare، تتصدر شركة Anthropic هذه القائمة، حيث تقوم بالزحف إلى مواقع الويب بمعدل أعلى بكثير من عدد الإحالات التي ترسلها.
ينطبق الأمر نفسه على OpenAI، حيث تدهورت نسبة الزحف إلى الإحالة لديها. يشير هذا إلى أن OpenAI تستخلص قيمة أكبر من الويب وتقدم قيمة أقل في المقابل. هذه النقطة تتوافق مع تقارير سابقة من Business Insider في أواخر عام 2024، حيث ذكرت أن روبوتات الزحف من Anthropic و OpenAI كانت تستهلك كميات كبيرة من النطاق الترددي لمواقع الويب.
أفاد أحد مطوري الويب أن تكاليف الحوسبة السحابية لعميله قد تضاعفت في غضون بضعة أشهر بسبب هذا التدفق الكبير لروبوتات الذكاء الاصطناعي. وبالتالي، لا تقوم شركات الذكاء الاصطناعي باستخلاص البيانات من الويب مجانًا فحسب، بل إنها تفرض أيضًا تكاليف إضافية على أصحاب المواقع.
ردود فعل الشركات
على الرغم من تكرار طلبات التعليق، لم ترد شركة Anthropic ولا OpenAI على الفور على هذه الادعاءات. في سبتمبر الماضي، ذكرت Anthropic أنها لا تستطيع تأكيد النسب التي حسبتها Cloudflare، مشيرةً إلى احتمال وجود “مشكلات” في المنهجية المستخدمة. كما أشارت إلى إطلاق خاصية البحث على الويب لنموذجها اللغوي Claude، مما أدى إلى زيادة حركة المرور الإحالية إلى مواقع الويب.
تساهم محركات البحث التقليدية مثل Google في دعم مواقع الويب من خلال عرض روابط واضحة لها في نتائج البحث. ومع ذلك، تشير البيانات إلى أن Google تقوم أيضًا بدمج إجابات تشبه روبوتات الدردشة في نتائج بحثها، مما قد يقلل من الحاجة إلى زيارة مواقع الويب مباشرةً. تؤكد Google على التزامها بتوجيه حركة المرور إلى الويب والحفاظ على صحة هذا النظام البيئي الرقمي.
تعتبر هذه القضية ذات أهمية متزايدة مع تطور الذكاء الاصطناعي. نمو التعلم الآلي يعتمد بشكل كبير على الوصول إلى كميات هائلة من البيانات، مما يزيد من الضغط على مواقع الويب.
تتطلب معالجة بيانات الويب المتزايدة فهمًا دقيقًا للتوازن بين الاستفادة من المعلومات وتقدير مساهمات منشئي المحتوى. بالإضافة إلى ذلك، تزداد أهمية مواضيع مثل حماية البيانات و خصوصية المستخدم في رحاب هذا التحول الرقمي.
سيواصل Business Insider تتبع بيانات Cloudflare في الأشهر والربع القادم، من أجل مراقبة تطور هذا السلوك. من المهم ملاحظة أن هذه الأرقام تركز على الويب ولا تشمل نشاط تطبيقات الهواتف المحمولة. ومع ذلك، فإن المنهجية تنطبق على جميع الشركات المدرجة في هذا التقييم.
تظل هذه القضية قيد التطور، ومن الضروري مراقبة كيفية استجابة الشركات الكبرى والجهات التنظيمية لهذه التحديات الجديدة. المدى الذي ستتبعه شركات الذكاء الاصطناعي في ممارسة سياسات أكثر عدلاً فيما يتعلق ببيانات الويب سيشكل مستقبل الويب ومكانة منشئي المحتوى فيه بشكل كبير.