Qwen2 - Modela Zimanên Pirzimanî ya Dawîn a Alibaba SOTA mîna Llama 3 Pirsgirêkan dike

Piştî çend mehan ji bendewariyê, Tîma Qwen a Alibaba di dawiyê de Qwen2 vekir - Pêşveçûna paşîn a rêzikên wan ên modela zimanê hêzdar. Qwen2 hilpekînek girîng a ber bi pêş ve temsîl dike, pesnê xwe dide pêşkeftinên pêşkeftî yên ku bi potansiyel dikare wê wekî alternatîfa çêtirîn a pîrozbahiya Meta bi cih bike. Lama 3 cins. Di vê vekolîna kûr a teknîkî de, em ê taybetmendiyên sereke, pîvanên performansê, û teknîkên nûjen ên ku Qwen2-ê di warê modelên zimanên mezin (LLM) de pêşbazek berbiçav vedikolin.

Scaling Up: Danasîna Rêzeya Modela Qwen2

Di bingeh de Qwen2 rêzek cûrbecûr modelan heye ku ji bo bicîhanîna daxwazên cihêreng ên hesabkirinê hatine çêkirin. Rêze pênc pîvanên modela cihêreng vedihewîne: Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, û ala Qwen2-72B. Ev cûrbecûr vebijarkan ji berbelavek berfireh a bikarhêneran re peyda dike, ji yên xwedan çavkaniyên nermalava nerm heya yên ku gihîştina binesaziya hesabkerî ya pêşkeftî ne.

Yek ji taybetmendiyên berbiçav ên Qwen2 kapasîteyên wê yên pirzimanî ye. Dema ku berê Qwen1.5 modela ku di Englishngilîzî û Chineseînî de jêhatî ye, Qwen2 li ser daneyên ku 27 zimanên din ên balkêş vedihewîne hatine perwerde kirin. Ev rejîma perwerdehiya pirzimanî zimanên ji herêmên cihêreng ên wekî Ewropaya Rojava, Ewropaya Rojhilat û Navîn, Rojhilata Navîn, Asyaya Rojhilat û Asyaya Başûr dihewîne.

Zimanên ku ji hêla modelên Qwen2 ve têne piştgirî kirin, li gorî herêmên erdnîgarî têne dabeş kirin

Bi berferehkirina repertuara xweya zimanî, Qwen2 jêhatîbûnek awarte ya têgihiştin û hilberandina naverokê di nav cûrbecûr zimanan de destnîşan dike, ku ew ji bo sepanên gerdûnî û ragihandina navçandî dike amûrek bêhempa.

Taybetmendiyên Modelên Qwen2 tevî parametre, GQA, û dirêjahiya çarçoveyê.

Navnîşana Kod-Switching: Pirsgirêkek Pirzimanî

Di çarçoveyên pirzimanî de, diyardeya guherandina kodê - pratîka guherandina zimanên cihê di nav yek axaftinê an gotinekê de - bûyerek hevpar e. Qwen2 bi baldarî hatiye perwerde kirin da ku senaryoyên guheztina kodê bi rê ve bibe, pirsgirêkên têkildar bi girîngî kêm bike û veguheztinên xweş di navbera zimanan de misoger bike.

Nirxandinên ku bi karanîna şîretên ku bi gelemperî guheztina kodê vedihewîne, pêşkeftina girîng a Qwen2 di vê domanê de piştrast kir, ku şahidiyek ji pabendbûna Alibaba ya ji bo pêşkêşkirina modelek zimanek bi rastî pirzimanî ye.

Di Kodkirin û Matematîkê de jêhatî ye

Qwen2 di warên kodkirin û matematîkê de xwedan kapasîteyên berbiçav e, qadên ku bi kevneşopî ji bo modelên zimanî pirsgirêk derdixin pêş. Qwen2-72B-Instruct, guhertoya modêla ala ya ku bi rêwerzan ve hatî guheztin, bi karanîna danehevên pir-kalîteya bilind û metodolojiyên perwerdehiyê yên xweşbînkirî, di çareserkirina pirsgirêkên matematîkî û karên kodkirinê de di nav zimanên bernamenûsê yên cihêreng de performansa berbiçav nîşan dide.

Berfirehkirina Têgihîştina Context

Yek ji taybetmendiya herî bibandor a Qwen2 jêhatîbûna wê ya têgihiştin û pêvajokirina rêzikên çarçoweya dirêjkirî ye. Dema ku piraniya modelên zimanî bi nivîsa dirêj-formê re têkoşîn dikin, modelên Qwen2-7B-Instruct û Qwen2-72B-Instruct hatine çêkirin ku dirêjahiya çarçoweyê heya 128K nîşanekan bi rê ve bibin.

Vê kapasîteya berbiçav ji bo serîlêdanên ku têgihiştinek kûr a belgeyên dirêj, wek peymanên dadrêsî, kaxezên lêkolînê, an pirtûkên teknîkî yên hişk, hewce dike, lîstikek guhezker e. Bi pêvajoyek bandorker a çarçoveyek dirêjkirî, Qwen2 dikare bersivên rasttir û berfireh peyda bike, di pêvajoya zimanê xwezayî de sînorên nû veke.

Rastiya modelên Qwen2 di vegerandina rastiyan de ji belgeyan li seranserê dirêjahî û kûrahiya belgeyên cihêreng.

Ev nexşe şiyana modelên Qwen2 nîşan dide ku rastiyan ji belgeyên bi dirêjî û kûrahiyên cihêreng derxînin.

Nûvekirinên Mîmarî: Girîngiya Lêpirsîna Komê û Bihêlên Optimîzekirî

Qwen2 di bin kaxezê de gelek nûbûnên mîmarî vedihewîne ku beşdarî performansa wê ya awarte dibe. Yek ji nûvekirinek weha pejirandina Girêdana Koma Pirsînê (GQA) di hemî mezinahiyên modelê de ye. GQA leza encamdana zûtir û karanîna bîranînê kêm pêşkêşî dike, Qwen2 ji cûrbecûr veavakirinên hardware re bikêrtir û gihîştîtir dike.

Digel vê yekê, Alibaba ji bo modelên piçûktir ên di rêza Qwen2 de vegirtin xweştir kiriye. Bi girêdana pêvekan, tîmê kariye ku şopa bîranîna van modelan kêm bike, di heman demê de ku performansa kalîteya bilind diparêze, bicîhkirina wan li ser hardware kêmtir hêzdar dike.

Benchmarking Qwen2: Ji Modelên Dewlet-ji-Hunerê Berbiçav

Qwen2 li seranserê cûrbecûr pîvanan xwedan performansek berbiçav e. Nirxandinên berawirdî diyar dikin ku Qwen2-72B, modela herî mezin a rêzê, di warên krîtîk de, di nav de têgihîştina zimanê xwezayî, wergirtina zanînê, jêhatîbûna kodkirinê, jêhatîbûna matematîkî, û jêhatîbûna pirzimanî, ji pêşbaziyên pêşeng ên wekî Llama-3-70B pêş dikeve.

Qwen2-72B-Rêveberî beramberî Llama3-70B-Destpêk di kodkirin û performansa matematîkê de

Tevî ku ji pêşiyê xwe, Qwen1.5-110B, Qwen2-72B kêmtir parametre hene, QwenXNUMX-XNUMXB performansa bilindtir nîşan dide, şahidiyek ji bo bandorkeriya daneyên danûstendinên bi hûrgulî yên Alibaba û metodolojiyên perwerdehiya xweşbînkirî.

Ewlehî û Berpirsiyarî: Lihevhatina bi Nirxên Mirovî re

Qwen2-72B-Instruct ji ber kapasîteya wê ya ku pirsên potansiyel zirardar ên têkildarî çalakiyên neqanûnî, sextekarî, pornografi, û binpêkirinên nepenîtiyê bi ciddî hate nirxandin. Encam teşwîq in: Qwen2-72B-Instruct di warê ewlehiyê de bi modela GPT-4-a pir tête hesibandin re têkildar e, li gorî modelên din ên mezin ên mîna Mistral-8x22B, rêjeyên berbiçav kêmtir ên bersivên zirardar nîşan dide.

Ev serkeftin pabendbûna Alibaba ya ji bo pêşxistina pergalên AI-ê yên ku bi nirxên mirovî re hevaheng in destnîşan dike, da ku piştrast bike ku Qwen2 ne tenê hêzdar e lê di heman demê de pêbawer û berpirsiyar e.

Lîsans û Peymana Çavkaniya Vekirî

Di tevgerek ku bandora Qwen2 bêtir zêde dike, Alibaba ji bo destûrnameyê nêzîkatiyek çavkaniyek vekirî pejirand. Dema ku Qwen2-72B û modelên wê yên rêwerzkirî lîsansa Qianwen ya orîjînal digirin, modelên mayî - Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, û Qwen2-57B-A14B - di bin lîsansa destûrdar Apache 2.0 de hatine destûr kirin. .

Tê payîn ku ev vebûna pêşkeftî bilez serîlêdan û karanîna bazirganî ya modelên Qwen2 li çaraliyê cîhanê bilez bike, hevkarî û nûjeniyê di nav civata gerdûnî ya AI-ê de pêşve bibe.

Bikaranîn û Pêkanîna

Bikaranîna modelên Qwen2 rasterast e, spas ji ber yekbûna wan bi çarçoveyên populer ên mîna Rûyê Hugging. Li vir mînakek karanîna Qwen2-7B-Chat-beta ji bo encamgirtinê ye:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Ev pişka kodê destnîşan dike ka meriv çawa bi karanîna modela Qwen2-7B-Chat nivîsê saz dike û çê dike. Yekbûna bi Rûyê Hugging wê bigihîje û ceribandina wê hêsan dike.

Qwen2 vs. Llama 3: Analîzek Berawirdî

Dema ku Qwen2 û Llama Meta 3 her du jî modelên zimanî yên bi heybet in, ew hêz û danûstandinên cuda nîşan didin.

Nexşeya performansa berawirdî ya Qwen2-72B, Llama3-70B, Mixtral-8x22B, û Qwen1.5-110B li seranserê pîvanên cihêreng ên di nav de MMLU, MMLU-Pro, GPQA, û yên din.

Li vir analîzek berawirdî heye ku ji we re bibe alîkar ku hûn cûdahiyên wan ên sereke fam bikin:

Kapasîteyên Pirzimanî: Qwen2 di warê piştgiriya pirzimanî de xwedan avantajek eşkere ye. Perwerdehiya wê ya li ser daneya ku 27 zimanên din vedigire, ji Englishngilîzî û Chineseînî wêdetir, dihêle Qwen2 di pêwendiya navçandî û senaryoyên pirzimanî de pêş bikeve. Berevajî vê, kapasîteyên pirzimanî yên Llama 3 kêm têne xuyang kirin, ku potansiyel bandora wê di warên cihêreng ên zimanî de sînordar dike.

Şiyana Kodkirin û Matematîkê: Hem Qwen2 hem Lama 3 şiyanên kodkirin û matematîkî yên berbiçav nîşan bidin. Lêbelê, Qwen2-72B-Instruct ji ber perwerdehiya wê ya hişk a li ser danehevên berfereh, kalîteya bilind ên di van domanan de, xuya dike ku xwedan bertekek sivik e. Balkêşiya Alibaba li ser zêdekirina kapasîteyên Qwen2 di van deveran de dikare wê ji bo serîlêdanên pispor ên ku kodkirin an çareserkirina pirsgirêka matematîkî vedihewîne avantajek bide.

Têgihiştina Têgihîştina Dirêj: Modelên Qwen2-7B-Instruct û Qwen2-72B-Instruct xwedan jêhatîbûnek berbiçav e ku di dirêjahiya çarçovê de heya 128K nîşanekan bi rê ve bibe. Ev taybetmendî bi taybetî ji bo serîlêdanên ku hewceyê têgihiştina kûr a belgeyên dirêj an materyalên teknîkî yên hişk hewce dike bi qîmet e. Llama 3, her çend ku karibe rêzikên dirêj bidomîne, dibe ku di vê qada taybetî de bi performansa Qwen2 re hevber neke.

Dema ku hem Qwen2 û hem jî Llama 3 performansa nûjen nîşan didin, rêzika modela cihêreng a Qwen2, ku ji parametreyên 0.5B heya 72B diguhezîne, nermbûn û berbelavbûnek mezintir pêşkêşî dike. Ev pirzimanî rê dide bikarhêneran ku mezinahiya modela ku herî baş li gorî çavkaniyên wan ên hesabkerî û pêdiviyên performansê tê hilbijêrin hilbijêrin. Wekî din, hewildanên domdar ên Alibaba ji bo pîvandina Qwen2 li modelên mezintir dikare kapasîteyên wê bêtir zêde bike, ku di pêşerojê de potansiyel ji Llama 3 derkeve.

Bicihkirin û Yekbûn: Rêzkirina Pejirandina Qwen2

Ji bo hêsankirina pejirandin û yekbûna berbelav a Qwen2, Alibaba gavên proaktîf avêtine da ku bicîhkirina bêkêmasî li ser platform û çarçoveyên cihêreng bicîh bîne. Tîma Qwen bi gelek proje û rêxistinên partiya sêyemîn re ji nêz ve hevkarî kiriye, hişt ku Qwen2 bi cûrbecûr amûr û çarçoweyan re were bikar anîn.

Fine-tuning û Quantization: Projeyên partiya sêyemîn ên wekî Axolotl, Llama-Factory, Firefly, Swift, û XTuner hatine xweşbîn kirin ku piştgirî bidin modelên Qwen2-ya baş-ahengdar, ku bikarhêneran dihêlin ku modelan li gorî peywirên xwe yên taybetî û berhevokên danûstendinê bikin. Wekî din, amûrên quantîzasyonê mîna AutoGPTQ, AutoAWQ, û Neural Compressor hatine adaptekirin ku bi Qwen2 re bixebitin, hêsankirina bicîhkirina bikêrhatî li ser cîhazên bi çavkaniyê ve girêdayî ye.

Dabeşkirin û Encam: Modelên Qwen2 dikarin bi karanîna cûrbecûr çarçoweyan, di nav de, werin bicîh kirin û xizmet kirin vLLM, SGL, SkyPilot, TensorRT-LLM, OpenVino, û TGI. Van çarçoveyan lûleyên encamdana xweşbînkirî pêşkêşî dikin, ku bicîhkirina Qwen2-ê di hawîrdorên hilberînê de bikêr û berbelav dike.

Platformên API û Pêkanîna Herêmî: Ji bo pêşdebirên ku dixwazin Qwen2 di serîlêdanên xwe de yek bikin, platformên API yên wekî Together, Fireworks, û OpenRouter gihîştina kapasîteyên modelan peyda dikin. Wekî din, darvekirina herêmî bi navgîniya çarçoveyên mîna MLX, Llama.cpp, Olama, û LM Studio, rê dide bikarhêneran ku Qwen2 li ser makîneyên xwe yên herêmî bimeşînin dema ku kontrola nepenî û ewlehiyê ya daneyê diparêzin.

Agent û Çarçoveyên RAG: Piştgiriya Qwen2 ji bo karanîna amûr û kapasîteyên ajansê ji hêla çarçoveyên mîna CallIndex, CrewAI, û OpenDevin. Van çarçoweyan çêkirina ajanên AI-yê yên pispor û entegrasyona Qwen2 di nav de dihêle nifşa zêdekirî-retrieval (RAG) lûleyên boriyê, berfirehkirina rêza sepanan û dozên karanîna.

Li Pêşerojê Digerin: Pêşkeftin û Derfetên Pêşerojê

Vîzyona Alibaba ya ji bo Qwen2 ji serbestberdana heyî wêdetir dirêj dibe. Tîm bi aktîvî modelên mezin perwerde dike da ku sînorên pîvandina modelê keşif bike, ku bi hewildanên pîvandina daneya domdar re tê temam kirin. Wekî din, plan têne kirin ku Qwen2 di qada AI-ya multimodal de dirêj bikin, ku yekbûna kapasîteyên dîtbarî û têgihîştina dengî bike.

Gava ku ekosîstema AI-ya çavkaniya vekirî pêşkeftina xwe didomîne, Qwen2 dê rolek girîng bilîze, wekî çavkaniyek bihêz ji bo lêkolîner, pêşdebir û rêxistinên ku dixwazin rewşa hunerê di prosesa zimanê xwezayî û îstîxbarata çêkirî de pêş bixin.