Qwen2 – Modeli më i fundit gjuhësor shumëgjuhësh i Alibaba sfidon SOTA si Llama 3

Pas muajsh pritjeje, Ekipi Qwen i Alibaba më në fund ka zbuluar Qwen2 – evolucioni i radhës i serisë së tyre të fuqishme të modeleve gjuhësore. Qwen2 përfaqëson një hap të rëndësishëm përpara, duke u mburrur me përparime të avancuara që mund ta pozicionojnë atë si alternativën më të mirë për të famshmen e Metës flaka 3 model. Në këtë zhytje të thellë teknike, ne do të eksplorojmë veçoritë kryesore, standardet e performancës dhe teknikat inovative që e bëjnë Qwen2 një konkurrent të jashtëzakonshëm në fushën e modeleve të mëdha gjuhësore (LLM).

Rritja e shkallës: Prezantimi i linjës së modeleve Qwen2

Në thelb të Qwen2 shtrihet një grup i larmishëm modelesh të përshtatura për të përmbushur kërkesat e ndryshme llogaritëse. Seria përfshin pesë madhësi të ndryshme modelesh: Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B dhe modelin kryesor Qwen2-72B. Kjo gamë opsionesh kujdeset për një spektër të gjerë përdoruesish, nga ata me burime modeste harduerike deri tek ata që kanë akses në infrastrukturën kompjuterike moderne.

Një nga veçoritë më të spikatura të Qwen2 janë aftësitë e tij shumëgjuhëshe. Ndërsa e mëparshme Qwen1.5 Modeli i shkëlqyer në anglisht dhe kinezisht, Qwen2 është trajnuar mbi të dhënat që përfshijnë 27 gjuhë të tjera mbresëlënëse. Ky regjim trajnimi shumëgjuhësh përfshin gjuhë nga rajone të ndryshme si Evropa Perëndimore, Evropa Lindore dhe Qendrore, Lindja e Mesme, Azia Lindore dhe Azia Jugore.

Gjuhët e mbështetura nga modelet Qwen2, të kategorizuara sipas rajoneve gjeografike

Duke zgjeruar repertorin e tij gjuhësor, Qwen2 demonstron një aftësi të jashtëzakonshme për të kuptuar dhe gjeneruar përmbajtje në një gamë të gjerë gjuhësh, duke e bërë atë një mjet të paçmuar për aplikime globale dhe komunikim ndërkulturor.

Specifikimet e Modeleve Qwen2 duke përfshirë parametrat, GQA dhe gjatësinë e kontekstit.

Adresimi i ndërrimit të kodit: Një sfidë shumëgjuhëshe

Në kontekste shumëgjuhëshe, fenomeni i ndërrimit të kodeve - praktika e alternimit midis gjuhëve të ndryshme brenda një bisede ose shprehjeje të vetme - është një dukuri e zakonshme. Qwen2 është trajnuar me përpikëri për të trajtuar skenarët e ndërrimit të kodeve, duke reduktuar ndjeshëm çështjet e lidhura dhe duke siguruar tranzicion të qetë midis gjuhëve.

Vlerësimet duke përdorur udhëzime që zakonisht nxisin ndërrimin e kodit kanë konfirmuar përmirësimin thelbësor të Qwen2 në këtë fushë, një dëshmi e përkushtimit të Alibaba për të ofruar një model të vërtetë gjuhësor shumëgjuhësh.

Të shkëlqyer në kodim dhe matematikë

Qwen2 ka aftësi të jashtëzakonshme në fushat e kodimit dhe matematikës, fusha që tradicionalisht kanë paraqitur sfida për modelet gjuhësore. Duke përdorur grupe të gjera të dhënash me cilësi të lartë dhe metodologji trajnimi të optimizuara, Qwen2-72B-Instruct, varianti i akorduar me instruksione i modelit kryesor, shfaq performancë të jashtëzakonshme në zgjidhjen e problemeve matematikore dhe detyrave të kodimit nëpër gjuhë të ndryshme programimi.

Zgjerimi i të kuptuarit të kontekstit

Një nga tiparet më mbresëlënëse të Qwen2 është aftësia e tij për të kuptuar dhe përpunuar sekuenca të zgjeruara të kontekstit. Ndërsa shumica e modeleve gjuhësore luftojnë me tekstin me formë të gjatë, modelet Qwen2-7B-Instruct dhe Qwen2-72B-Instruct janë projektuar për të trajtuar gjatësinë e kontekstit deri në 128K argumente.

Kjo aftësi e jashtëzakonshme është një ndryshim i lojës për aplikacionet që kërkojnë një kuptim të thellë të dokumenteve të gjata, të tilla si kontratat ligjore, dokumentet kërkimore ose manualet e dendura teknike. Duke përpunuar në mënyrë efektive kontekste të zgjeruara, Qwen2 mund të ofrojë përgjigje më të sakta dhe gjithëpërfshirëse, duke zhbllokuar kufij të rinj në përpunimin e gjuhës natyrore.

Saktësia e modeleve Qwen2 në marrjen e fakteve nga dokumentet në gjatësi të ndryshme të kontekstit dhe thellësi dokumentesh.

Ky grafik tregon aftësinë e modeleve Qwen2 për të tërhequr fakte nga dokumente me gjatësi dhe thellësi të ndryshme të kontekstit.

Inovacionet arkitekturore: Vëmendje e pyetjeve në grup dhe ngulitje të optimizuara

Nën kapuçin, Qwen2 përfshin disa risi arkitekturore që kontribuojnë në performancën e tij të jashtëzakonshme. Një risi e tillë është miratimi i Grupit të Kërkimit të Kujdesit (GQA) në të gjitha madhësitë e modeleve. GQA ofron shpejtësi më të shpejta konkluzionesh dhe përdorim të reduktuar të memories, duke e bërë Qwen2 më efikas dhe të aksesueshëm për një gamë më të gjerë konfigurimesh harduerike.

Për më tepër, Alibaba ka optimizuar futjet për modele më të vogla në serinë Qwen2. Duke lidhur ngulitje, ekipi ka arritur të reduktojë gjurmën e memories së këtyre modeleve, duke mundësuar vendosjen e tyre në pajisje më pak të fuqishme duke ruajtur performancën me cilësi të lartë.

Benchmarking Qwen2: Modelet më të fundit të performancës

Qwen2 ka një performancë të jashtëzakonshme në një gamë të larmishme standardesh. Vlerësimet krahasuese zbulojnë se Qwen2-72B, modeli më i madh në seri, i kalon konkurrentët kryesorë si Llama-3-70B në fusha kritike, duke përfshirë të kuptuarit e gjuhës natyrore, përvetësimin e njohurive, aftësitë e kodimit, aftësitë matematikore dhe aftësitë shumëgjuhëshe.

Qwen2-72B-Instruct kundrejt Llama3-70B-Instruct në kodim dhe performancën e matematikës

Pavarësisht se ka më pak parametra se paraardhësi i tij, Qwen1.5-110B, Qwen2-72B shfaq performancë superiore, një dëshmi e efikasitetit të grupeve të të dhënave të kuruara me përpikëri të Alibaba dhe metodologjive të optimizuara të trajnimit.

Siguria dhe Përgjegjësia: Përafrimi me vlerat njerëzore

Qwen2-72B-Instruct është vlerësuar me rigorozitet për aftësinë e tij për të trajtuar pyetje potencialisht të dëmshme që lidhen me aktivitete të paligjshme, mashtrime, pornografi dhe shkelje të privatësisë. Rezultatet janë inkurajuese: Qwen2-72B-Instruct performon në mënyrë të krahasueshme me modelin shumë të vlerësuar GPT-4 për sa i përket sigurisë, duke shfaqur përmasa dukshëm më të ulëta të reagimeve të dëmshme në krahasim me modelet e tjera të mëdha si Mistral-8x22B.

Kjo arritje nënvizon angazhimin e Alibaba për zhvillimin e sistemeve të AI që përputhen me vlerat njerëzore, duke siguruar që Qwen2 nuk është vetëm i fuqishëm, por edhe i besueshëm dhe i përgjegjshëm.

Licencimi dhe angazhimi me burim të hapur

Në një lëvizje që përforcon më tej ndikimin e Qwen2, Alibaba ka miratuar një qasje me burim të hapur për licencimin. Ndërsa Qwen2-72B dhe modelet e tij të akorduara sipas udhëzimeve ruajnë licencën origjinale Qianwen, modelet e mbetura - Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B dhe Qwen2-57B-A14B - janë licencuar nën licencën lejuese Apache 2.0 .

Kjo hapje e zgjeruar pritet të përshpejtojë aplikimin dhe përdorimin komercial të modeleve Qwen2 në mbarë botën, duke nxitur bashkëpunimin dhe inovacionin brenda komunitetit global të AI.

Përdorimi dhe Zbatimi

Përdorimi i modeleve Qwen2 është i thjeshtë, falë integrimit të tyre me korniza të njohura si Përqafimi i fytyrës. Këtu është një shembull i përdorimit të Qwen2-7B-Chat-beta për konkluzion:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Ky copë kodi tregon se si të konfiguroni dhe gjeneroni tekst duke përdorur modelin Qwen2-7B-Chat. Integrimi me Përqafimi i fytyrës e bën të aksesueshme dhe të lehtë për të eksperimentuar.

Qwen2 vs. Llama 3: Një analizë krahasuese

Ndërsa Qwen2 dhe Llama 3 e Metës janë të dy modele gjuhësore të frikshme, ato shfaqin forca dhe kompromise të dallueshme.

Një grafik krahasues i performancës së Qwen2-72B, Llama3-70B, Mixtral-8x22B dhe Qwen1.5-110B në standarde të ndryshme duke përfshirë MMLU, MMLU-Pro, GPQA dhe të tjerë.

Këtu është një analizë krahasuese për t'ju ndihmuar të kuptoni dallimet e tyre kryesore:

Aftësi shumëgjuhëshe: Qwen2 ka një avantazh të qartë për sa i përket mbështetjes shumëgjuhëshe. Trajnimi i tij mbi të dhënat që përfshijnë 27 gjuhë të tjera, përtej anglishtes dhe kinezishtes, i mundëson Qwen2 të shkëlqejë në komunikimin ndërkulturor dhe skenarët shumëgjuhësh. Në të kundërt, aftësitë shumëgjuhëshe të Llama 3 janë më pak të theksuara, duke kufizuar potencialisht efektivitetin e tij në kontekste të ndryshme gjuhësore.

Njohuri në kodim dhe matematikë: Edhe Qwen2 edhe flaka 3 demonstrojnë aftësi mbresëlënëse për kodim dhe matematikë. Sidoqoftë, Qwen2-72B-Instruct duket se ka një avantazh të vogël, për shkak të trajnimit të tij rigoroz në grupe të dhënash të gjera dhe me cilësi të lartë në këto fusha. Përqendrimi i Alibaba në rritjen e aftësive të Qwen2 në këto fusha mund t'i japë asaj një avantazh për aplikacionet e specializuara që përfshijnë kodimin ose zgjidhjen e problemeve matematikore.

Kuptimi i kontekstit të gjatë: Modelet Qwen2-7B-Instruct dhe Qwen2-72B-Instruct mburren me një aftësi mbresëlënëse për të trajtuar gjatësi të kontekstit deri në 128K argumente. Kjo veçori është veçanërisht e vlefshme për aplikacionet që kërkojnë kuptim të thellë të dokumenteve të gjata ose materialeve të dendura teknike. Llama 3, megjithëse është i aftë të përpunojë sekuenca të gjata, mund të mos përputhet me performancën e Qwen2 në këtë zonë specifike.

Ndërsa si Qwen2 ashtu edhe Llama 3 shfaqin performancë më të fundit, modeli i larmishëm i modeleve të Qwen2, duke filluar nga parametrat 0.5B në 72B, ofron fleksibilitet dhe shkallëzim më të madh. Kjo shkathtësi i lejon përdoruesit të zgjedhin madhësinë e modelit që i përshtatet më së miri burimeve të tyre llogaritëse dhe kërkesave të performancës. Për më tepër, përpjekjet e vazhdueshme të Alibaba për të shkallëzuar Qwen2 në modele më të mëdha mund të përmirësojnë më tej aftësitë e saj, duke kaluar potencialisht Llama 3 në të ardhmen.

Vendosja dhe integrimi: Përmirësimi i adoptimit të Qwen2

Për të lehtësuar miratimin dhe integrimin e gjerë të Qwen2, Alibaba ka ndërmarrë hapa proaktivë për të siguruar vendosjen e pandërprerë nëpër platforma dhe korniza të ndryshme. Ekipi i Qwen ka bashkëpunuar ngushtë me shumë projekte dhe organizata të palëve të treta, duke mundësuar që Qwen2 të përdoret në lidhje me një gamë të gjerë mjetesh dhe kornizash.

Rregullimi i imët dhe kuantizimi: Projektet e palëve të treta si Axolotl, Llama-Factory, Firefly, Swift dhe XTuner janë optimizuar për të mbështetur modele Qwen2 të rregullimit të mirë, duke u mundësuar përdoruesve të përshtatin modelet sipas detyrave dhe grupeve të të dhënave të tyre specifike. Për më tepër, mjetet e kuantizimit si AutoGPTQ, AutoAWQ, dhe Kompresori Neural janë përshtatur për të punuar me Qwen2, duke lehtësuar vendosjen efikase në pajisjet me burime të kufizuara.

Vendosja dhe përfundimi: Modelet Qwen2 mund të vendosen dhe shërbehen duke përdorur një sërë kornizash, duke përfshirë vLLM, SGL, SkyPilot, TensorRT-LLM, OpenVino, dhe TGI. Këto korniza ofrojnë tubacione të optimizuara të përfundimit, duke mundësuar vendosjen efikase dhe të shkallëzuar të Qwen2 në mjediset e prodhimit.

Platformat API dhe Ekzekutimi Lokal: Për zhvilluesit që kërkojnë të integrojnë Qwen2 në aplikacionet e tyre, platformat API si Together, Fireworks dhe OpenRouter ofrojnë akses të përshtatshëm në aftësitë e modeleve. Përndryshe, ekzekutimi lokal mbështetet përmes kornizave si MLX, Llama.cpp, Ollama, dhe LM Studio, duke i lejuar përdoruesit të ekzekutojnë Qwen2 në makinat e tyre lokale duke ruajtur kontrollin mbi privatësinë dhe sigurinë e të dhënave.

Agent dhe RAG Frameworks: Mbështetja e Qwen2 për përdorimin e veglave dhe aftësitë e agjentëve përforcohet nga korniza si LlamaIndeksi, CrewAI, dhe OpenDevin. Këto korniza mundësojnë krijimin e agjentëve të specializuar të AI dhe integrimin e Qwen2 në gjenerimi i shtuar me rikthim (RAG) tubacionet, duke zgjeruar gamën e aplikimeve dhe rasteve të përdorimit.

Duke parë përpara: Zhvillimet dhe mundësitë e ardhshme

Vizioni i Alibaba për Qwen2 shtrihet shumë përtej versionit aktual. Ekipi po trajnon në mënyrë aktive modele më të mëdha për të eksploruar kufijtë e shkallëzimit të modelit, të plotësuar nga përpjekjet e vazhdueshme për shkallëzimin e të dhënave. Për më tepër, po zhvillohen plane për të shtrirë Qwen2 në sferën e AI multimodale, duke mundësuar integrimin e aftësive të të kuptuarit të vizionit dhe audios.

Ndërsa ekosistemi i AI me burim të hapur vazhdon të lulëzojë, Qwen2 do të luajë një rol kryesor, duke shërbyer si një burim i fuqishëm për studiuesit, zhvilluesit dhe organizatat që kërkojnë të avancojnë gjendjen e artit në përpunimin e gjuhës natyrore dhe inteligjencën artificiale.