القادة التنفيذيين والباحثين الذين يقودون جهود Meta AI كانوا مهووسين بالفوز على نموذج GPT-4 المقدم من OpenAI أثناء تطوير Llama 3، وفقًا لرسائل داخلية كشفت عنها محكمة يوم الثلاثاء في أحد القضايا القانونية المستمرة للشركة في مجال حقوق النشر الخاصة بالذكاء الاصطناعي، Kadrey v. Meta.
"بصراحة ... هدفنا يجب أن يكون GPT-4"، قال نائب رئيس Meta للذكاء التوليدي، أحمد الدحل، في رسالة في أكتوبر 2023 إلى الباحث في Meta هوغو تورفون. "لدينا 64 ألف وحدة معالجة الرسومات قادمة! يجب أن نتعلم كيف نبني الجبهة ونفوز في هذه السباق."
على الرغم من أن Meta تطلق نماذج الذكاء الاصطناعي المفتوحة، إلا أن قادة الذكاء الاصطناعي في الشركة كانوا أكثر تركيزًا على هزيمة المنافسين الذين لا يطلقون نماذجهم عمومًا، مثل Anthropic و OpenAI، وبدلاً من ذلك يحجبونها وراء واجهة برمجة التطبيقات. رفع قادة Meta والباحثون نموذج Anthropic's Claude و GPT-4 من OpenAI كمعيار ذهبي للعمل نحوه.
ذكرت شركة الذكاء الاصطناعي الفرنسية Mistral، واحدة من أكبر المنافسين المفتوحين لـ Meta، عدة مرات في الرسائل الداخلية، ولكن كانت اللهجة تحتقر.
قال الدحل في رسالة "ميسترال ليس شيئًا بالنسبة لنا"، "يجب أن نكون قادرين على القيام بشيء أفضل"، قال في وقت لاحق.
تتسابق الشركات التكنولوجية للتفوق على بعضها البعض بنماذج AI متقدمة في هذه الأيام، لكن هذه الملفات المحكمة تكشف عن مدى تنافس قادة Meta في مجال الذكاء الاصطناعي حقًا، ويبدو أنهم لا يزالون. في العديد من نقاط تبادل الرسائل، تحدث قادة Meta AI عن كيف كانوا "عدائيين للغاية" في الحصول على البيانات الصحيحة لتدريب Llama؛ في نقطة ما، قال أحد القادة حتى أن "Llama 3 هو كل ما أهتم به حقًا" في رسالة إلى زملائه.
تزعم الادعاءات في هذه القضية أن القادة التنفيذيين في Meta قطعوا أحيانًا الزوايا في سباقهم المجنون لشحن نماذج AI، وتدريبهم على الكتب المحمية بحقوق النشر في العملية.
لاحظ تورفون في رسالة أن مزيج مجموعات البيانات المستخدمة في Llama 2 "كان سيئًا"، وتحدث عن كيف يمكن لـ Meta استخدام مزيج أفضل من مصادر البيانات لتحسين Llama 3. ثم ناقش تورفون والدحل تخطيط السماح باستخدام مجموعة بيانات LibGen، التي تحتوي على أعمال تحمل حقوق النشر من Cengage Learning وMacmillan Learning و McGraw Hill وPearson Education .
قال الدحل: "هل لدينا البيانات الصحيحة في هنا؟"، "هل هناك شيء ترغب في استخدامه ولكن لا يمكن لأي سبب غبي تحقيقه؟"
قال الرئيس التنفيذي لـ Meta، مارك زوكربيرغ، سابقًا إنه يحاول تقليل الفجوة في الأداء بين نماذج الذكاء الاصطناعي لـ Llama ونماذج الشركات المغلقة من OpenAI و Google وغيرها. تكشف الرسائل الداخلية عن الضغط الكبير داخل الشركة للقيام بذلك.
قال زوكربيرغ في رسالة من يوليو 2024: "هذا العام، Llama 3 تنافسية مع النماذج الأكثر تقدمًا والرائدة في بعض المجالات"، "ابتداءً من العام القادم، نتوقع أن تصبح نماذج Llama المستقبلية الأكثر تقدمًا في الصناعة."
عندما أصدرت Meta في نهاية المطاف Llama 3 في أبريل 2024، كانت النموذج الذكي المفتوح تنافسيًا مع النماذج المغلقة الرائدة من Google و OpenAI و Anthropic، وتفوق في الخيارات المفتوحة من Mistral. ومع ذلك، تواجه البيانات التي استخدمتها Meta لتدريب نماذجها - البيانات التي وافق زوكربيرغ على استخدامها حسب التقارير، على الانتقاد في العديد من الدعاوى القانونية الجارية.
