هذا هو السؤال الأكبر في مجال الذكاء الاصطناعي في الوقت الحالي

• يعيد قادة الذكاء الاصطناعي التفكير في التدريب المكثف على البيانات لنماذج اللغات الكبيرة.
• تتوسع النماذج التقليدية بشكل خطي مع البيانات، لكن هذا النهج قد يصل إلى طريق مسدود.
• وتكتسب النماذج الأصغر حجمًا والأكثر كفاءة وأساليب التدريب الجديدة دعمًا من الصناعة.

لسنوات، ركزت شركات التكنولوجيا مثل OpenAI، وMeta، وGoogle على جمع كميات كبيرة من البيانات، على افتراض أن المزيد من المواد التدريبية من شأنها أن تؤدي إلى نماذج أكثر ذكاءً وقوة.

والآن، يعيد قادة الذكاء الاصطناعي التفكير في الحكمة التقليدية حول كيفية تدريب نماذج لغوية كبيرة.

ينشأ التركيز على بيانات التدريب من الأبحاث التي تظهر أن المحولات، وهي الشبكات العصبية التي تقف وراء نماذج اللغة الكبيرة، لها علاقة فردية مع كمية البيانات المقدمة لها. وقال أليكس فويكا، المستشار في جامعة محمد بن زايد للذكاء الاصطناعي، لموقع Business Insider سابقًا، إن نماذج المحولات “تتدرج بشكل خطي تمامًا مع كمية البيانات والحسابات المقدمة لها”.

ومع ذلك، بدأ المسؤولون التنفيذيون يشعرون بالقلق من أن هذا النهج لا يمكن أن يذهب إلى أبعد من ذلك، وهم يستكشفون بدائل لتطوير التكنولوجيا.

وقال ألكسندر وانج، الرئيس التنفيذي لشركة Scale AI، في مؤتمر Cerebral Valley هذا الأسبوع، حسبما ذكرت النشرة الإخبارية التقنية Command Line، إن الأموال التي تذهب إلى الذكاء الاصطناعي تعتمد إلى حد كبير على فكرة أن قانون التوسع هذا “سيصمد”. إنه الآن “السؤال الأكبر في الصناعة”.

يقول بعض المديرين التنفيذيين إن المشكلة في هذا النهج هي أنه طائش بعض الشيء. وقال إيدان جوميز، الرئيس التنفيذي لشركة Cohere، في بودكاست 20VC: “من المؤكد أنه إذا قمت بالمزيد من الحوسبة في النموذج، وإذا قمت بتكبير النموذج، فسوف يتحسن”. “يبدو الأمر كما لو أنها الطريقة الأكثر جدارة بالثقة لتحسين النماذج. كما أنها الأغبى.”

ويؤيد جوميز نماذج أصغر وأكثر كفاءة، والتي تكتسب دعم الصناعة لكونها فعالة من حيث التكلفة.

ويشعر آخرون بالقلق من أن هذا النهج لن يصل إلى الذكاء العام الاصطناعي – وهو شكل نظري من الذكاء الاصطناعي يطابق الذكاء البشري أو يفوقه – على الرغم من أن العديد من أكبر شركات الذكاء الاصطناعي في العالم تعتمد عليه.

يتم تدريب نماذج اللغات الكبيرة ببساطة على “التنبؤ بالرمز المميز التالي، بالنظر إلى المجموعة السابقة من الرموز المميزة”، كما قال ريتشارد سوشر، المدير التنفيذي السابق لشركة Salesforce والرئيس التنفيذي لمحرك البحث المدعوم بالذكاء الاصطناعي You.com، لموقع Business Insider. وقال إن الطريقة الأكثر فعالية لتدريبهم هي “إجبار” هذه النماذج على ترجمة الأسئلة إلى كود حاسوبي وإنشاء إجابة بناءً على مخرجات هذا الكود. سيؤدي ذلك إلى تقليل الهلوسة في الأسئلة الكمية وتعزيز قدراتهم.

ومع ذلك، لا يعتقد جميع قادة الصناعة أن الذكاء الاصطناعي قد وصل إلى جدار التوسع.

وقال كيفن سكوت، كبير مسؤولي التكنولوجيا في مايكروسوفت، في يوليو/تموز في مقابلة مع بودكاست بيانات التدريب التابع لشركة سيكويا كابيتال: “على الرغم مما يعتقده الآخرون، فإننا لا نسعى إلى تقليص العوائد الهامشية على نطاق واسع”.

تسعى شركات مثل OpenAI أيضًا إلى تحسين برامج LLM الحالية.

لا يزال إصدار OpenAI's o1، الذي تم إصداره في سبتمبر، يعتمد على آلية التنبؤ بالرمز المميز التي أشار إليها سوشر. ومع ذلك، فإن النموذج متخصص للتعامل بشكل أفضل مع الأسئلة الكمية، بما في ذلك مجالات مثل البرمجة والرياضيات، مقارنة بـ ChatGPT، الذي يعتبر نموذجًا أكثر عمومية.

جزء من الاختلاف بين o1 وChatGPT هو أن o1 يقضي وقتًا أطول في الاستدلال أو “التفكير” قبل الإجابة على السؤال.

“لتلخيص ذلك، إذا أردنا تجسيمه، فإن gpt-4 يشبه صديقك الذي يعرف كل شيء والذي عندما تطرح عليه سؤالاً يبدأ في التحدث مع تدفق الوعي، مما يجبرك على التدقيق في ما يقوله من أجل “الجواهر”، كتب وليد قادوس، المهندس السابق في أوبر ومهندس البرمجيات الرئيسي السابق في جوجل، في منشور بالمدونة. “يشبه o1 الصديق الذي يستمع بعناية إلى ما تريد قوله، ويحك ذقنه لبضع لحظات، ثم يشاركك بعض الجمل التي أصابت المسمار في رأسه.”

ومع ذلك، فإن إحدى مقايضات o1 هي أنها تتطلب قوة حسابية أكبر بكثير، مما يجعلها أبطأ وأكثر تكلفة، وفقًا لموقع Artificial Analysis، وهو موقع مستقل لقياس الذكاء الاصطناعي.