Qwen2 – Az Alibaba legújabb többnyelvű nyelvi modellje olyan kihívásokat támaszt a SOTA-val, mint a Llama 3

Több hónapos várakozás után Az Alibaba Qwen csapata végre bemutatta a Qwen2-t – erőteljes nyelvi modellsorozatuk következő evolúciója. A Qwen2 jelentős előrelépést jelent, olyan élvonalbeli fejlesztésekkel büszkélkedhet, amelyek potenciálisan a legjobb alternatívaként helyezhetik el a Meta által ünnepelt Láma 3 modell. Ebben a technikai mélyreható búvárkodásban feltárjuk azokat a kulcsfontosságú jellemzőket, teljesítmény-benchmarkokat és innovatív technikákat, amelyek a Qwen2-t félelmetes versenyzővé teszik a nagy nyelvi modellek (LLM-ek) birodalmában.

Bővítés: A Qwen2 modellcsalád bemutatása

A lényege Qwen2 modellek változatos választékát kínálja, amelyek megfelelnek a változó számítási igényeknek. A sorozat öt különböző modellméretet foglal magában: Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B és a zászlóshajó Qwen2-72B. Ez a választék a felhasználók széles spektrumát szolgálja ki, a szerény hardvererőforrásokkal rendelkezőktől a legmodernebb számítási infrastruktúrához hozzáféréssel rendelkezőkig.

A Qwen2 egyik kiemelkedő tulajdonsága a többnyelvűség. Míg az előző Qwen1.5 Az angol és kínai nyelven kiváló modell a Qwen2-t további 27 lenyűgöző nyelvre oktatták. Ez a többnyelvű képzési rendszer különböző régiók nyelveit tartalmazza, például Nyugat-Európából, Kelet- és Közép-Európából, a Közel-Keletről, Kelet-Ázsiából és Dél-Ázsiából.

A Qwen2 modellek által támogatott nyelvek, földrajzi régiók szerint kategorizálva

Nyelvi repertoárjának kibővítésével a Qwen2 kivételes képességét mutatja be a tartalom megértésére és létrehozására a nyelvek széles körében, így a globális alkalmazások és a kultúrák közötti kommunikáció felbecsülhetetlen értékű eszközévé válik.

A Qwen2 modellek specifikációi, beleértve a paramétereket, a GQA-t és a környezeti hosszt.

A kódváltás kezelése: többnyelvű kihívás

Többnyelvű kontextusban gyakori jelenség a kódváltás jelensége – az a gyakorlat, hogy egyetlen beszélgetésen vagy megnyilatkozáson belül váltakoznak a különböző nyelvek. A Qwen2-t alaposan kiképezték a kódváltási forgatókönyvek kezelésére, jelentősen csökkentve ezzel a kapcsolódó problémákat, és biztosítva a nyelvek közötti zökkenőmentes átmenetet.

A tipikusan kódváltást előidéző ​​promptokat használó értékelések megerősítették a Qwen2 jelentős fejlődését ezen a területen, ami az Alibaba elkötelezettségét bizonyítja egy valóban többnyelvű nyelvi modell megvalósítása iránt.

Kiváló kódolásból és matematikából

A Qwen2 figyelemre méltó képességekkel rendelkezik a kódolás és a matematika területén, amelyek hagyományosan kihívások elé állítják a nyelvi modelleket. Kiterjedt, kiváló minőségű adatkészletek és optimalizált oktatási módszertanok felhasználásával a Qwen2-72B-Instruct, a zászlóshajó modell utasításokra hangolt változata kiemelkedő teljesítményt mutat matematikai problémák megoldásában és kódolási feladatokban különböző programozási nyelveken.

A szövegkörnyezet-megértés kiterjesztése

A Qwen2 egyik leglenyűgözőbb tulajdonsága, hogy képes megérteni és feldolgozni a kiterjesztett kontextusszekvenciákat. Míg a legtöbb nyelvi modell a hosszú formátumú szöveggel küzd, a Qwen2-7B-Instruct és a Qwen2-72B-Instruct modelleket úgy tervezték, hogy akár 128 XNUMX tokenek kontextushosszát is kezeljék.

Ez a figyelemre méltó képesség megváltoztatja az olyan alkalmazások számára, amelyek megkövetelik a hosszadalmas dokumentumok, például jogi szerződések, kutatási dokumentumok vagy sűrű műszaki kézikönyvek alapos megértését. A kiterjesztett kontextusok hatékony feldolgozásával a Qwen2 pontosabb és átfogóbb válaszokat tud adni, új határokat tárva fel a természetes nyelvi feldolgozásban.

A Qwen2 modellek pontossága a tények lekérésében a dokumentumokból különböző kontextushosszúság és dokumentummélység esetén.

Ez a diagram bemutatja a Qwen2 modellek azon képességét, hogy különböző kontextushosszúságú és -mélységű dokumentumokból tudja lekérni a tényeket.

Építészeti újítások: csoportos lekérdezés figyelem és optimalizált beágyazások

A motorháztető alatt a Qwen2 számos építészeti újítást tartalmaz, amelyek hozzájárulnak a kivételes teljesítményhez. Az egyik ilyen újítás a Group Query Attention (GQA) alkalmazása minden modellméretben. A GQA gyorsabb következtetési sebességet és csökkentett memóriahasználatot kínál, ami hatékonyabbá teszi a Qwen2-t, és a hardverkonfigurációk szélesebb köre számára elérhetővé teszi.

Ezenkívül az Alibaba a Qwen2 sorozat kisebb modelljeihez optimalizálta a beágyazásokat. A beágyazások összekapcsolásával a csapatnak sikerült csökkentenie e modellek memóriaigényét, lehetővé téve a kisebb teljesítményű hardvereken történő telepítésüket, miközben megőrizte a kiváló teljesítményt.

A Qwen2 benchmarking: felülmúlja a legmodernebb modelleket

A Qwen2 figyelemre méltó teljesítményt nyújt a legkülönfélébb benchmarkok között. Az összehasonlító értékelések azt mutatják, hogy a Qwen2-72B, a sorozat legnagyobb modellje a kritikus területeken felülmúlja az olyan vezető versenytársakat, mint a Llama-3-70B, beleértve a természetes nyelv megértését, a tudás megszerzését, a kódolási jártasságot, a matematikai készségeket és a többnyelvű képességeket.

Qwen2-72B-Instruct versus Llama3-70B-Instruct a kódolásban és a matematikai teljesítményben

Annak ellenére, hogy kevesebb paraméterrel rendelkezik, mint elődje, a Qwen1.5-110B, a Qwen2-72B kiváló teljesítményt mutat, ami az Alibaba aprólékosan összeállított adatkészleteinek és optimalizált képzési módszereinek hatékonyságát bizonyítja.

Biztonság és felelősség: az emberi értékekhez való igazodás

A Qwen2-72B-Instruct szigorúan értékelt azon képessége tekintetében, hogy képes-e kezelni az illegális tevékenységekkel, csalással, pornográfiával és a magánélet megsértésével kapcsolatos potenciálisan káros lekérdezéseket. Az eredmények biztatóak: a Qwen2-72B-Instruct a nagy tekintélynek örvendő GPT-4 modellel összehasonlíthatóan teljesít biztonsági szempontból, lényegesen kisebb arányban káros reakciókat mutatva más nagy modellekhez, például a Mistral-8x22B-hez képest.

Ez az eredmény alátámasztja az Alibaba elkötelezettségét az emberi értékekhez igazodó AI-rendszerek fejlesztése iránt, biztosítva, hogy a Qwen2 ne csak erős, hanem megbízható és felelősségteljes is legyen.

Licenc és nyílt forráskódú kötelezettségvállalás

A Qwen2 hatását tovább erősítő lépésként az Alibaba nyílt forráskódú megközelítést alkalmazott a licenceléshez. Míg a Qwen2-72B és az utasításokkal hangolt modelljei megtartják az eredeti Qianwen License-t, a többi modell – Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B és Qwen2-57B-A14B – az Apache 2.0 licence alapján kapott engedélyt. .

Ez a fokozott nyitottság várhatóan felgyorsítja a Qwen2 modellek alkalmazását és kereskedelmi felhasználását világszerte, elősegítve az együttműködést és az innovációt a globális AI-közösségen belül.

Használat és megvalósítás

A Qwen2 modellek használata egyszerű, köszönhetően a népszerű keretrendszerekkel való integrációjuknak, mint pl Átölelő arc. Íme egy példa a Qwen2-7B-Chat-beta használatára következtetésekhez:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Ez a kódrészlet bemutatja, hogyan kell beállítani és generálni szöveget a Qwen2-7B-Chat modell használatával. Az integráció a Átölelő arc hozzáférhetővé és könnyen kísérletezhetővé teszi.

Qwen2 vs. Llama 3: Összehasonlító elemzés

Míg Qwen2 és Meta Llama 3 mindkettő félelmetes nyelvi modell, külön erősségeket és kompromisszumokat mutatnak.

A Qwen2-72B, Llama3-70B, Mixtral-8x22B és Qwen1.5-110B összehasonlító teljesítménydiagramja különféle benchmarkokon, köztük az MMLU, MMLU-Pro, GPQA és másokon.

Íme egy összehasonlító elemzés, amely segít megérteni a legfontosabb különbségeiket:

Többnyelvűség: A Qwen2 egyértelmű előnnyel rendelkezik a többnyelvű támogatás tekintetében. Az angol és kínai nyelven túlmenően 27 további nyelvet felölelő adatokkal kapcsolatos képzése lehetővé teszi a Qwen2 számára, hogy kitűnjön a kultúrák közötti kommunikációban és a többnyelvű forgatókönyvekben. Ezzel szemben a Llama 3 többnyelvűsége kevésbé hangsúlyos, ami potenciálisan korlátozza a hatékonyságát a különböző nyelvi kontextusokban.

Kódolási és matematikai jártasság: Qwen2 és Láma 3 lenyűgöző kódolási és matematikai képességeket mutat be. Úgy tűnik azonban, hogy a Qwen2-72B-Instruct enyhe előnyökkel rendelkezik, köszönhetően a kiterjedt, jó minőségű adatkészletekre vonatkozó szigorú képzésnek ezeken a területeken. Ha az Alibaba a Qwen2 képességeinek fejlesztésére összpontosít ezeken a területeken, előnyt jelenthet a kódolást vagy matematikai problémamegoldást magában foglaló speciális alkalmazások számára.

Hosszú szövegértés: A Qwen2-7B-Instruct és Qwen2-72B-Instruct modellek lenyűgöző képességgel büszkélkedhetnek akár 128 3 token kontextushosszú kezelésére. Ez a funkció különösen értékes azoknál az alkalmazásoknál, amelyek a hosszú dokumentumok vagy a sűrű műszaki anyagok alapos megértését igénylik. A Llama 2, bár képes hosszú sorozatok feldolgozására, nem feltétlenül felel meg a QwenXNUMX teljesítményének ezen a területen.

Míg a Qwen2 és a Llama 3 a legmodernebb teljesítményt nyújtja, a Qwen2 változatos, 0.5B-től 72B paraméterig terjedő modellkínálata nagyobb rugalmasságot és méretezhetőséget kínál. Ez a sokoldalúság lehetővé teszi a felhasználók számára, hogy kiválasszák azt a modellméretet, amely a legjobban megfelel számítási erőforrásaiknak és teljesítménykövetelményeiknek. Ezen túlmenően, az Alibaba folyamatos erőfeszítései a Qwen2 nagyobb modellekre skálázására tovább növelhetik a képességeit, és a jövőben esetleg megelőzhetik a Llama 3-at.

Üzembe helyezés és integráció: A Qwen2 átvételének egyszerűsítése

A Qwen2 széles körű elterjedésének és integrációjának elősegítése érdekében az Alibaba proaktív lépéseket tett annak érdekében, hogy biztosítsa a zökkenőmentes telepítést a különböző platformokon és keretrendszereken. A Qwen csapata számos harmadik fél projektjével és szervezetével szorosan együttműködött, lehetővé téve a Qwen2-t az eszközök és keretrendszerek széles skálájával együtt.

Finomhangolás és kvantálás: A harmadik féltől származó projekteket, például az Axolotl-t, a Llama-Factory-t, a Firefly-t, a Swift-et és az XTunert úgy optimalizálták, hogy támogassák a Qwen2 modellek finomhangolását, lehetővé téve a felhasználók számára, hogy a modelleket sajátos feladataikhoz és adatkészleteikhez szabják. Ezenkívül a kvantáló eszközök, mint pl AutoGPTQ, AutoAWQ, és a Neural Compressor a Qwen2-vel való együttműködésre lett igazítva, megkönnyítve a hatékony telepítést az erőforrás-korlátozott eszközökön.

Telepítés és következtetés: A Qwen2 modellek számos keretrendszerrel telepíthetők és szolgálhatók ki, beleértve a következőket: vLLM, SGL, SkyPilot, TensorRT-LLM, OpenVinoés TGI. Ezek a keretrendszerek optimalizált következtetési folyamatokat kínálnak, lehetővé téve a Qwen2 hatékony és méretezhető üzembe helyezését éles környezetben.

API-platformok és helyi végrehajtás: A Qwen2-t alkalmazásaikba integrálni kívánó fejlesztők számára az olyan API platformok, mint a Together, Fireworks és OpenRouter kényelmes hozzáférést biztosítanak a modellek képességeihez. Alternatív megoldásként a helyi végrehajtást olyan keretrendszerek támogatják, mint az MLX, Llama.cpp, Ollamaés az LM Studio, amely lehetővé teszi a felhasználók számára, hogy a Qwen2-t helyi gépeiken futtassák, miközben fenntartják az adatok védelmét és biztonságát.

Ügynök és RAG Frameworks: A Qwen2 eszközhasználati és ügynöki képességeinek támogatását olyan keretrendszerek erősítik meg, mint például CallIndex, CrewAI és OpenDevin. Ezek a keretrendszerek lehetővé teszik speciális AI-ügynökök létrehozását és a Qwen2 integrálását Retrieval-augmented generáció (RAG) csővezetékek, bővítve az alkalmazások és felhasználási esetek körét.

Előretekintés: Jövőbeli fejlesztések és lehetőségek

Az Alibaba elképzelése a Qwen2-ről messze túlmutat a jelenlegi kiadáson. A csapat aktívan oktatja a nagyobb modelleket, hogy feltárja a modellskálázás határait, amit folyamatos adatskálázási erőfeszítések egészítenek ki. Emellett a tervek folynak a Qwen2 kiterjesztése a multimodális mesterséges intelligencia területére, lehetővé téve a látás- és hangértési képességek integrálását.

Ahogy a nyílt forráskódú mesterséges intelligencia ökoszisztémája továbbra is virágzik, a Qwen2 kulcsfontosságú szerepet fog játszani, hatékony erőforrásként szolgálva a kutatók, fejlesztők és szervezetek számára, akik a természetes nyelvi feldolgozás és a mesterséges intelligencia terén a legkorszerűbb fejlődést kívánják elérni.