Qwen2 – Nýjasta fjöltyngda tungumálalíkanið frá Fjarvistarsönnun ögrar SOTA eins og Llama 3

Eftir margra mánaða eftirvæntingu, Qwen lið Alibaba hefur loksins kynnt Qwen2 – næsta þróun öflugrar tungumálamódelaröðar þeirra. Qwen2 táknar verulegt stökk fram á við og státar af fremstu framförum sem gætu mögulega staðsett það sem besta valkostinn við hina frægu Meta. Lama 3 fyrirmynd. Í þessari tæknilegu djúpköfun munum við kanna helstu eiginleika, frammistöðuviðmið og nýstárlega tækni sem gera Qwen2 að ægilegum keppinaut á sviði stórra tungumálalíkana (LLM).

Stækkun: Kynning á Qwen2 módellínunni

Kjarni Qwen2 er fjölbreytt úrval af gerðum sem eru sérsniðin til að mæta mismunandi reiknikröfum. Röðin nær yfir fimm mismunandi gerðastærðir: Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B og flaggskipið Qwen2-72B. Þetta úrval valkosta kemur til móts við breitt svið notenda, allt frá þeim sem eru með hóflega vélbúnaðarauðlindir til þeirra sem hafa aðgang að háþróaða tölvuinnviðum.

Einn af áberandi eiginleikum Qwen2 er fjöltyngdargeta þess. Meðan fyrri Qwen1.5 líkanið skaraði fram úr á ensku og kínversku, Qwen2 hefur verið þjálfað í gögnum sem spanna glæsileg 27 tungumál til viðbótar. Þessi fjöltyngda þjálfunaráætlun inniheldur tungumál frá ýmsum svæðum eins og Vestur-Evrópu, Austur- og Mið-Evrópu, Mið-Austurlöndum, Austur-Asíu og Suður-Asíu.

Tungumál studd af Qwen2 módelum, flokkuð eftir landfræðilegum svæðum

Með því að stækka málfræðilega efnisskrá sína sýnir Qwen2 einstaka hæfileika til að skilja og búa til efni á fjölmörgum tungumálum, sem gerir það að ómetanlegu tæki fyrir alþjóðlegt forrit og þvermenningarleg samskipti.

Forskriftir Qwen2 líkana þar á meðal breytur, GQA og lengd samhengis.

Að takast á við kóðaskipti: Fjöltyngd áskorun

Í fjöltyngdu samhengi er fyrirbæri kóðaskipta - sú æfing að skipta á milli mismunandi tungumála í einni samtali eða framburði - algengur viðburður. Qwen2 hefur verið vandlega þjálfað til að takast á við kóðaskipta atburðarás, draga verulega úr tengdum vandamálum og tryggja slétt umskipti á milli tungumála.

Mat sem notar tilmæli sem venjulega framkalla kóðaskipti hafa staðfest umtalsverðar framfarir Qwen2 á þessu sviði, til vitnis um skuldbindingu Alibaba um að skila raunverulegu fjöltyngdu tungumálalíkani.

Framúrskarandi í kóðun og stærðfræði

Qwen2 hefur ótrúlega hæfileika á sviði kóðun og stærðfræði, sviðum sem hafa jafnan valdið áskorunum fyrir tungumálalíkön. Með því að nýta umfangsmikil hágæða gagnasöfn og bjartsýni þjálfunaraðferða, sýnir Qwen2-72B-Instruct, leiðbeiningastillt afbrigði flaggskipslíkans, framúrskarandi árangur við að leysa stærðfræðileg vandamál og kóðunarverkefni á ýmsum forritunarmálum.

Auka samhengisskilning

Einn af áhrifamestu eiginleikum Qwen2 er geta þess til að skilja og vinna úr víðtækum samhengisröðum. Þó flest tungumálalíkön glími við langan texta, hafa Qwen2-7B-Instruct og Qwen2-72B-Instruct líkön verið hönnuð til að takast á við samhengislengdir allt að 128K tákn.

Þessi ótrúlega hæfileiki breytir leik fyrir forrit sem krefjast djúpstæðs skilnings á löngum skjölum, svo sem lagalegum samningum, rannsóknarskjölum eða þéttum tæknilegum handbókum. Með því að vinna úr víðtæku samhengi á áhrifaríkan hátt getur Qwen2 veitt nákvæmari og yfirgripsmeiri svör og opnað ný landamæri í náttúrulegri málvinnslu.

Nákvæmni Qwen2 líkana við að sækja staðreyndir úr skjölum í mismunandi samhengislengd og skjaladýpt.

Þessi mynd sýnir getu Qwen2 líkana til að sækja staðreyndir úr skjölum af mismunandi lengd og dýpt samhengi.

Nýjungar í byggingarlist: Athygli á hópfyrirspurnum og bjartsýni

Undir húddinu er Qwen2 með ýmsar byggingarlistarnýjungar sem stuðla að framúrskarandi frammistöðu hans. Ein slík nýjung er upptaka Group Query Attention (GQA) í öllum gerðum. GQA býður upp á hraðari ályktunarhraða og minni minnisnotkun, sem gerir Qwen2 skilvirkari og aðgengilegri fyrir fjölbreyttari vélbúnaðarstillingar.

Að auki hefur Alibaba fínstillt innfellingarnar fyrir smærri gerðir í Qwen2 seríunni. Með því að tengja innfellingar hefur teymið tekist að minnka minnisfótspor þessara gerða, sem gerir þeim kleift að dreifa þeim á minna öflugum vélbúnaði en viðhalda hágæða frammistöðu.

Kvóti Qwen2: Fram úr nýjustu gerðum

Qwen2 hefur ótrúlega frammistöðu í fjölbreyttu úrvali viðmiða. Samanburðarmat leiðir í ljós að Qwen2-72B, stærsta líkanið í seríunni, stendur sig betur en leiðandi keppinautar eins og Llama-3-70B á mikilvægum sviðum, þar á meðal náttúrulegum tungumálaskilningi, þekkingaröflun, kóðunarkunnáttu, stærðfræðikunnáttu og fjöltyngdarkunnáttu.

Qwen2-72B-Instruct á móti Llama3-70B-Instruct í kóðun og frammistöðu í stærðfræði

Þrátt fyrir að hafa færri breytur en forveri hans, Qwen1.5-110B, sýnir Qwen2-72B yfirburða frammistöðu, sem er til vitnis um virkni nákvæmra gagnasetta Alibaba og bjartsýni þjálfunaraðferða.

Öryggi og ábyrgð: Samræma mannleg gildi

Qwen2-72B-Instruct hefur verið metið nákvæmlega fyrir getu sína til að meðhöndla hugsanlega skaðlegar fyrirspurnir sem tengjast ólöglegri starfsemi, svikum, klámi og brotum á friðhelgi einkalífs. Niðurstöðurnar eru uppörvandi: Qwen2-72B-Instruct skilar sambærilegum árangri og hið mjög virta GPT-4 líkan hvað varðar öryggi og sýnir verulega lægri hlutföll skaðlegra viðbragða samanborið við aðrar stórar gerðir eins og Mistral-8x22B.

Þetta afrek undirstrikar skuldbindingu Fjarvistarsönnunar til að þróa gervigreind kerfi sem samræmast mannlegum gildum og tryggja að Qwen2 sé ekki aðeins öflugt heldur einnig áreiðanlegt og ábyrgt.

Leyfisveitingar og skuldbinding um opinn uppspretta

Í aðgerð sem eykur enn frekar áhrif Qwen2, hefur Alibaba tekið upp opinn uppspretta nálgun við leyfisveitingar. Þó að Qwen2-72B og leiðbeiningastillt gerðir þess haldi upprunalegu Qianwen leyfinu, hafa þær gerðir sem eftir eru – Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B og Qwen2-57B-A14B – fengið leyfi samkvæmt leyfilegu Apache 2.0 leyfinu .

Búist er við að þessi aukni hreinskilni muni flýta fyrir notkun og viðskiptalegri notkun Qwen2 módela um allan heim og stuðla að samvinnu og nýsköpun innan alþjóðlegs gervigreindarsamfélags.

Notkun og framkvæmd

Notkun Qwen2 módel er einföld, þökk sé samþættingu þeirra við vinsæla ramma eins og Faðmandi andlit. Hér er dæmi um notkun Qwen2-7B-Chat-beta fyrir ályktanir:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Þessi kóðabútur sýnir hvernig á að setja upp og búa til texta með því að nota Qwen2-7B-Chat líkanið. Samþættingin við Faðmandi andlit gerir það aðgengilegt og auðvelt að gera tilraunir með.

Qwen2 vs. Lama 3: Samanburðargreining

Á meðan Qwen2 og Meta's Lama 3 eru bæði ógnvekjandi tungumálalíkön, þau sýna ákveðna styrkleika og málamiðlanir.

Samanburðarárangursrit Qwen2-72B, Llama3-70B, Mixtral-8x22B og Qwen1.5-110B yfir ýmsum viðmiðum, þar á meðal MMLU, MMLU-Pro, GPQA og fleiri.

Hér er samanburðargreining til að hjálpa þér að skilja lykilmun þeirra:

Fjöltyngdargeta: Qwen2 hefur greinilega yfirburði hvað varðar fjöltyngdan stuðning. Þjálfun þess á gögnum sem spannar 27 fleiri tungumál, umfram ensku og kínversku, gerir Qwen2 kleift að skara fram úr í þvermenningarlegum samskiptum og fjöltyngdum atburðarásum. Aftur á móti er fjöltyngdargeta Llama 3 minna áberandi, sem getur hugsanlega takmarkað virkni þess í fjölbreyttu tungumálasamhengi.

Kóðun og stærðfræðikunnátta: Bæði Qwen2 og Lama 3 sýna fram á glæsilega kóðun og stærðfræðihæfileika. Hins vegar virðist Qwen2-72B-Instruct hafa smá forskot, vegna strangrar þjálfunar á víðtækum, hágæða gagnasöfnum á þessum sviðum. Áhersla Alibaba á að auka getu Qwen2 á þessum sviðum gæti veitt því forskot fyrir sérhæfð forrit sem fela í sér kóðun eða stærðfræðilega vandamálalausn.

Langur samhengisskilningur: Qwen2-7B-Instruct og Qwen2-72B-Instruct gerðir státa af glæsilegri getu til að höndla samhengislengdir allt að 128K tákn. Þessi eiginleiki er sérstaklega mikilvægur fyrir forrit sem krefjast djúps skilnings á löngum skjölum eða þéttum tæknilegum efnum. Llama 3, þótt hægt sé að vinna úr löngum raðir, gæti ekki passað við frammistöðu Qwen2 á þessu tiltekna svæði.

Þó að bæði Qwen2 og Llama 3 sýni frammistöðu í nýjustu tísku, býður fjölbreytt líkön úr Qwen2, allt frá 0.5B til 72B breytur, meiri sveigjanleika og sveigjanleika. Þessi fjölhæfni gerir notendum kleift að velja þá líkanstærð sem hentar best útreikningsauðlindum þeirra og frammistöðukröfum. Að auki, áframhaldandi viðleitni Alibaba til að stækka Qwen2 í stærri gerðir gæti aukið getu þess enn frekar, hugsanlega betri en Llama 3 í framtíðinni.

Dreifing og samþætting: Hagræðing Qwen2 ættleiðingar

Til að auðvelda víðtæka upptöku og samþættingu Qwen2 hefur Fjarvistarsönnun gripið til fyrirbyggjandi ráðstafana til að tryggja óaðfinnanlega uppsetningu á ýmsum kerfum og ramma. Qwen teymið hefur átt náið samstarf við fjölmörg þriðja aðila verkefni og stofnanir, sem gerir Qwen2 kleift að nýtast í tengslum við fjölbreytt úrval af verkfærum og ramma.

Fínstilling og magngreining: Verkefni þriðju aðila eins og Axolotl, Llama-Factory, Firefly, Swift og XTuner hafa verið fínstillt til að styðja við fínstillingu Qwen2 módel, sem gerir notendum kleift að sníða líkönin að sérstökum verkefnum þeirra og gagnasöfnum. Að auki, magngreiningartæki eins og AutoGPTQ, AutoAWQ, og Neural Compressor hafa verið aðlagaðar til að vinna með Qwen2, sem auðveldar skilvirka dreifingu á tækjum með takmarkaða auðlind.

Dreifing og ályktun: Hægt er að nota Qwen2 gerðir og þjóna með því að nota margs konar ramma, þar á meðal vLLM, SGL, SkyPilot, TensorRT-LLM, OpenVino, og TGI. Þessar rammar bjóða upp á bjartsýni ályktunarleiðslna, sem gerir skilvirka og stigstærða dreifingu Qwen2 í framleiðsluumhverfi kleift.

API vettvangar og staðbundin framkvæmd: Fyrir forritara sem leitast við að samþætta Qwen2 inn í forritin sín, veita API pallur eins og Together, Fireworks og OpenRouter þægilegan aðgang að getu módelanna. Að öðrum kosti er staðbundin framkvæmd studd í gegnum ramma eins og MLX, Llama.cpp, Ollama, og LM Studio, sem gerir notendum kleift að keyra Qwen2 á staðbundnum vélum sínum á meðan þeir halda stjórn á persónuvernd og öryggi gagna.

Umboðsmaður og RAG Frameworks: Stuðningur Qwen2 við verkfæranotkun og getu umboðsmanna er styrktur með ramma eins og CallIndex, CrewAI og OpenDevin. Þessir rammar gera kleift að búa til sérhæfða gervigreindaraðila og samþættingu Qwen2 í Retrieval-augmented generation (RAG) leiðslur, stækka úrval af forritum og notkunartilvikum.

Horft fram á veginn: Framtíðarþróun og tækifæri

Framtíðarsýn Alibaba fyrir Qwen2 nær langt út fyrir núverandi útgáfu. Teymið er virkt að þjálfa stærri líkön til að kanna landamæri módelsstærðar, ásamt áframhaldandi viðleitni til að kvarða gögn. Ennfremur eru áætlanir í gangi um að útvíkka Qwen2 inn á sviði fjölþættrar gervigreindar, sem gerir kleift að samþætta sjón- og hljóðskilningsgetu.

Þar sem vistkerfið með opinn uppspretta gervigreindar heldur áfram að dafna mun Qwen2 gegna lykilhlutverki og þjóna sem öflugt úrræði fyrir rannsakendur, þróunaraðila og stofnanir sem leitast við að efla nýjustu tækni í náttúrulegri málvinnslu og gervigreind.