Qwen2 - أحدث نموذج متعدد اللغات على بابا يتحدى SOTA مثل Llama 3

بعد شهور من الترقب ، كشف فريق Qwen التابع لـ Alibaba أخيرًا عن Qwen2 - التطور التالي لسلسلة نماذج اللغة القوية الخاصة بهم. يمثل Qwen2 قفزة كبيرة إلى الأمام، حيث يتميز بالتطورات المتطورة التي يمكن أن تضعه كأفضل بديل لـ Meta الشهير اللاما 3 نموذج. في هذا الغوص التقني العميق، سنستكشف الميزات الأساسية ومعايير الأداء والتقنيات المبتكرة التي تجعل Qwen2 منافسًا هائلاً في عالم نماذج اللغات الكبيرة (LLMs).

التوسع: تقديم تشكيلة نماذج Qwen2

في قلب كوين2 تكمن مجموعة متنوعة من النماذج المصممة لتلبية المتطلبات الحسابية المختلفة. تشتمل السلسلة على خمسة أحجام مختلفة للنماذج: Qwen2-0.5B، وQwen2-1.5B، وQwen2-7B، وQwen2-57B-A14B، والرائد Qwen2-72B. يلبي هذا النطاق من الخيارات نطاقًا واسعًا من المستخدمين، بدءًا من أولئك الذين لديهم موارد أجهزة متواضعة ووصولاً إلى أولئك الذين لديهم إمكانية الوصول إلى البنية التحتية الحاسوبية المتطورة.

إحدى ميزات Qwen2 البارزة هي قدراته المتعددة اللغات. بينما السابق كوين1.5 نموذجًا متميزًا في اللغتين الإنجليزية والصينية، تم تدريب Qwen2 على البيانات التي تغطي 27 لغة إضافية مثيرة للإعجاب. يتضمن نظام التدريب متعدد اللغات هذا لغات من مناطق متنوعة مثل أوروبا الغربية وأوروبا الشرقية والوسطى والشرق الأوسط وشرق آسيا وجنوب آسيا.

اللغات التي تدعمها نماذج Qwen2، مصنفة حسب المناطق الجغرافية

من خلال توسيع ذخيرتها اللغوية، يُظهر Qwen2 قدرة استثنائية على فهم وإنشاء المحتوى عبر مجموعة واسعة من اللغات، مما يجعله أداة لا تقدر بثمن للتطبيقات العالمية والتواصل بين الثقافات.

مواصفات نماذج Qwen2 بما في ذلك المعلمات وGQA وطول السياق.

معالجة تبديل التعليمات البرمجية: تحدي متعدد اللغات

في السياقات المتعددة اللغات، تعد ظاهرة تبديل الشفرات - ممارسة التناوب بين لغات مختلفة داخل محادثة أو كلام واحد - أمرًا شائعًا. تم تدريب Qwen2 بدقة للتعامل مع سيناريوهات تبديل التعليمات البرمجية، مما يقلل بشكل كبير من المشكلات المرتبطة ويضمن الانتقال السلس بين اللغات.

وقد أكدت التقييمات التي تستخدم المحفزات التي تحفز عادة تبديل التعليمات البرمجية التحسن الكبير الذي حققه Qwen2 في هذا المجال، وهو دليل على التزام علي بابا بتقديم نموذج لغة متعدد اللغات حقًا.

التفوق في الترميز والرياضيات

يتمتع Qwen2 بقدرات ملحوظة في مجالات البرمجة والرياضيات، وهي المجالات التي شكلت تقليديًا تحديات لنماذج اللغة. ومن خلال الاستفادة من مجموعات البيانات الشاملة عالية الجودة ومنهجيات التدريب المحسنة، يُظهر Qwen2-72B-Instruct، وهو الإصدار المضبوط للتعليمات من النموذج الرئيسي، أداءً متميزًا في حل المشكلات الرياضية ومهام الترميز عبر لغات البرمجة المختلفة.

توسيع فهم السياق

إحدى الميزات الأكثر إثارة للإعجاب في Qwen2 هي قدرته على فهم ومعالجة تسلسلات السياق الموسعة. بينما تواجه معظم نماذج اللغة صعوبة في التعامل مع النص الطويل، فقد تم تصميم نماذج Qwen2-7B-Instruct وQwen2-72B-Instruct للتعامل مع أطوال سياق تصل إلى 128 ألف رمز مميز.

تُغير هذه الإمكانية الرائعة قواعد اللعبة بالنسبة للتطبيقات التي تتطلب فهمًا متعمقًا للمستندات الطويلة، مثل العقود القانونية أو الأوراق البحثية أو الأدلة الفنية الكثيفة. من خلال معالجة السياقات الموسعة بشكل فعال، يمكن لـ Qwen2 تقديم استجابات أكثر دقة وشمولاً، وفتح آفاق جديدة في معالجة اللغة الطبيعية.

دقة نماذج Qwen2 في استرجاع الحقائق من المستندات عبر أطوال السياق وأعماق المستندات المختلفة.

يوضح هذا الرسم البياني قدرة نماذج Qwen2 على استرجاع الحقائق من مستندات ذات أطوال وأعماق سياقية مختلفة.

الابتكارات المعمارية: الاهتمام بالاستعلام الجماعي والتضمين الأمثل

تحت الغطاء، يشتمل Qwen2 على العديد من الابتكارات المعمارية التي تساهم في أدائه الاستثنائي. أحد هذه الابتكارات هو اعتماد Group Query Attention (GQA) عبر جميع أحجام الطرازات. يوفر GQA سرعات استدلال أسرع واستخدامًا أقل للذاكرة، مما يجعل Qwen2 أكثر كفاءة ويمكن الوصول إليه لمجموعة واسعة من تكوينات الأجهزة.

بالإضافة إلى ذلك، قامت شركة علي بابا بتحسين التضمينات للنماذج الأصغر في سلسلة Qwen2. من خلال ربط التضمينات، تمكن الفريق من تقليل أثر الذاكرة لهذه النماذج، مما يتيح نشرها على أجهزة أقل قوة مع الحفاظ على أداء عالي الجودة.

قياس الأداء Qwen2: التفوق على أحدث النماذج

يتمتع Qwen2 بأداء رائع عبر مجموعة متنوعة من المعايير. تكشف التقييمات المقارنة أن Qwen2-72B، وهو النموذج الأكبر في السلسلة، يتفوق في الأداء على المنافسين الرائدين مثل Llama-3-70B في المجالات الحيوية، بما في ذلك فهم اللغة الطبيعية، واكتساب المعرفة، وإتقان البرمجة، والمهارات الرياضية، والقدرات المتعددة اللغات.

Qwen2-72B-Instruct مقابل Llama3-70B-Instruct في البرمجة والأداء الرياضي

على الرغم من وجود معلمات أقل من سابقتها، Qwen1.5-110B، فإن Qwen2-72B تعرض أداءً فائقًا، وهو دليل على فعالية مجموعات البيانات المنسقة بدقة من Alibaba ومنهجيات التدريب المحسنة.

السلامة والمسؤولية: التوافق مع القيم الإنسانية

تم تقييم Qwen2-72B-Instruct بدقة لقدرته على التعامل مع الاستفسارات التي قد تكون ضارة والمتعلقة بالأنشطة غير القانونية والاحتيال والمواد الإباحية وانتهاكات الخصوصية. النتائج مشجعة: يعمل Qwen2-72B-Instruct بشكل مشابه لنموذج GPT-4 الذي يحظى بتقدير كبير من حيث السلامة، ويظهر نسبًا أقل بكثير من الاستجابات الضارة مقارنة بالنماذج الكبيرة الأخرى مثل Mistral-8x22B.

يؤكد هذا الإنجاز التزام علي بابا بتطوير أنظمة الذكاء الاصطناعي التي تتوافق مع القيم الإنسانية، مما يضمن أن Qwen2 ليس قويًا فحسب، بل أيضًا جدير بالثقة ومسؤول.

الترخيص والالتزام بالمصادر المفتوحة

وفي خطوة من شأنها أن تزيد من تأثير Qwen2، اعتمدت شركة علي بابا نهجًا مفتوح المصدر للترخيص. في حين تحتفظ Qwen2-72B ونماذجها المضبوطة بالتعليمات بترخيص Qianwen الأصلي، فإن النماذج المتبقية - Qwen2-0.5B، وQwen2-1.5B، وQwen2-7B، وQwen2-57B-A14B - قد تم ترخيصها بموجب ترخيص Apache 2.0 المسموح به. .

ومن المتوقع أن يؤدي هذا الانفتاح المعزز إلى تسريع التطبيق والاستخدام التجاري لنماذج Qwen2 في جميع أنحاء العالم، مما يعزز التعاون والابتكار داخل مجتمع الذكاء الاصطناعي العالمي.

الاستخدام والتنفيذ

يعد استخدام نماذج Qwen2 أمرًا مباشرًا، وذلك بفضل تكاملها مع أطر العمل الشائعة مثل وجه يعانق. فيما يلي مثال لاستخدام Qwen2-7B-Chat-beta للاستدلال:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

يوضح مقتطف الكود هذا كيفية إعداد النص وإنشائه باستخدام نموذج Qwen2-7B-Chat. التكامل مع وجه يعانق يجعلها في متناول الجميع وسهلة التجربة.

Qwen2 مقابل اللاما 3: تحليل مقارن

بينما Qwen2 و ميتا لاما 3 كلاهما نموذجان لغويان هائلان، فهما يظهران نقاط قوة ومقايضات متميزة.

مخطط أداء مقارن لـ Qwen2-72B وLlama3-70B وMixtral-8x22B وQwen1.5-110B عبر معايير مختلفة بما في ذلك MMLU وMMLU-Pro وGPQA وغيرها.

فيما يلي تحليل مقارن لمساعدتك على فهم الاختلافات الرئيسية بينهما:

قدرات متعددة اللغات: يتمتع Qwen2 بميزة واضحة من حيث الدعم متعدد اللغات. إن تدريبها على البيانات التي تغطي 27 لغة إضافية، غير الإنجليزية والصينية، يمكّن Qwen2 من التفوق في التواصل بين الثقافات والسيناريوهات متعددة اللغات. في المقابل، تعد قدرات Llama 3 المتعددة اللغات أقل وضوحًا، مما قد يحد من فعاليتها في السياقات اللغوية المتنوعة.

إتقان البرمجة والرياضيات: كلا Qwen2 و اللاما 3 إظهار قدرات الترميز والرياضيات الرائعة. ومع ذلك، يبدو أن Qwen2-72B-Instruct تتمتع بميزة طفيفة، وذلك بسبب تدريبها الصارم على مجموعات البيانات الشاملة والعالية الجودة في هذه المجالات. إن تركيز علي بابا على تعزيز قدرات Qwen2 في هذه المجالات يمكن أن يمنحها ميزة للتطبيقات المتخصصة التي تتضمن البرمجة أو حل المشكلات الرياضية.

فهم السياق الطويل: تتميز نماذج Qwen2-7B-Instruct وQwen2-72B-Instruct بقدرة مذهلة على التعامل مع أطوال السياق التي تصل إلى 128 ألف رمز مميز. تعتبر هذه الميزة ذات قيمة خاصة للتطبيقات التي تتطلب فهمًا متعمقًا للمستندات الطويلة أو المواد التقنية الكثيفة. Llama 3، على الرغم من قدرته على معالجة تسلسلات طويلة، قد لا يتطابق مع أداء Qwen2 في هذه المنطقة المحددة.

في حين أن كلاً من Qwen2 وLlama 3 يعرضان أداءً متطورًا، فإن تشكيلة نماذج Qwen2 المتنوعة، التي تتراوح من 0.5B إلى 72B من المعلمات، توفر قدرًا أكبر من المرونة وقابلية التوسع. يتيح هذا التنوع للمستخدمين اختيار حجم النموذج الذي يناسب مواردهم الحسابية ومتطلبات الأداء. بالإضافة إلى ذلك، يمكن لجهود Alibaba المستمرة لتوسيع نطاق Qwen2 إلى نماذج أكبر أن تزيد من تعزيز قدراتها، ومن المحتمل أن تتفوق على Llama 3 في المستقبل.

النشر والتكامل: تبسيط اعتماد Qwen2

لتسهيل اعتماد وتكامل Qwen2 على نطاق واسع، اتخذت Alibaba خطوات استباقية لضمان النشر السلس عبر مختلف المنصات والأطر. لقد تعاون فريق Qwen بشكل وثيق مع العديد من المشاريع والمؤسسات التابعة لجهات خارجية، مما أتاح الاستفادة من Qwen2 جنبًا إلى جنب مع مجموعة واسعة من الأدوات وأطر العمل.

الضبط الدقيق والتكميم: تم تحسين مشاريع الجهات الخارجية مثل Axolotl وLlama-Factory وFirefly وSwift وXTuner لدعم الضبط الدقيق لنماذج Qwen2، مما يمكّن المستخدمين من تخصيص النماذج لمهامهم ومجموعات البيانات الخاصة بهم. بالإضافة إلى ذلك، أدوات التكميم مثل AutoGPTQ, AutoAWQ، وتم تكييف Neural Compressor للعمل مع Qwen2، مما يسهل النشر الفعال على الأجهزة المحدودة الموارد.

النشر والاستدلال: يمكن نشر نماذج Qwen2 وتقديمها باستخدام مجموعة متنوعة من الأطر، بما في ذلك vLLM، إس جي إل، سكاي بايلوت، TensorRT-LLM, أوبنفينوو تي جي آي. توفر هذه الأطر خطوط أنابيب استدلالية محسنة، مما يتيح النشر الفعال والقابل للتطوير لـ Qwen2 في بيئات الإنتاج.

منصات API والتنفيذ المحلي: بالنسبة للمطورين الذين يسعون إلى دمج Qwen2 في تطبيقاتهم، توفر منصات API مثل Together وFireworks وOpenRouter وصولاً سهلاً إلى إمكانيات النماذج. وبدلاً من ذلك، يتم دعم التنفيذ المحلي من خلال أطر عمل مثل MLX وLlama.cpp و أولاماو LM Studio، مما يسمح للمستخدمين بتشغيل Qwen2 على أجهزتهم المحلية مع الحفاظ على التحكم في خصوصية البيانات وأمانها.

أطر عمل الوكيل وRAG: يتم دعم دعم Qwen2 لاستخدام الأدوات وقدرات الوكيل من خلال أطر عمل مثل اللاما، كرواي، و OpenDevin. تتيح هذه الأطر إنشاء وكلاء متخصصين في الذكاء الاصطناعي ودمج Qwen2 في توليد الاسترجاع المعزز (RAG) خطوط الأنابيب، وتوسيع نطاق التطبيقات وحالات الاستخدام.

التطلع إلى المستقبل: التطورات والفرص المستقبلية

تمتد رؤية علي بابا لـ Qwen2 إلى ما هو أبعد من الإصدار الحالي. يقوم الفريق بتدريب نماذج أكبر لاستكشاف حدود توسيع نطاق النماذج، مع استكمالها بجهود توسيع نطاق البيانات المستمرة. علاوة على ذلك، هناك خطط جارية لتوسيع Qwen2 إلى عالم الذكاء الاصطناعي متعدد الوسائط، مما يتيح تكامل قدرات فهم الرؤية والصوت.

مع استمرار ازدهار النظام البيئي للذكاء الاصطناعي مفتوح المصدر، سيلعب Qwen2 دورًا محوريًا، حيث سيكون بمثابة مورد قوي للباحثين والمطورين والمنظمات التي تسعى إلى تطوير أحدث ما توصلت إليه التكنولوجيا في معالجة اللغات الطبيعية والذكاء الاصطناعي.