Published on

Mfumo Mpya wa Microsoft Phi-4: Unazidi GPT-4o

Waandishi
  • avatar
    Jina
    Ajax
    Twitter

Utangulizi wa Mfumo wa Phi-4

Microsoft Research hivi karibuni imezindua mfumo wake mpya wa akili bandia wenye vigezo vidogo, Phi-4, ambao umepata umaarufu mkubwa kutokana na utendaji wake bora. Licha ya kuwa na vigezo bilioni 140 tu, Phi-4 imeonyesha matokeo ya kushangaza katika majaribio mengi, ikiwa ni pamoja na kuzidi mfumo wa GPT-4o wa OpenAI na mifumo mingine bora ya wazi kama Qwen 2.5-14B na Llama-3.3-70B.

Utendaji Bora katika Majaribio

Katika majaribio mahususi, Phi-4 ilipata alama bora ya 91.8 katika Mashindano ya Hisabati ya Marekani (AMC), ikizidi mifumo mingi maarufu ya wazi na iliyofungwa kama Gemini Pro 1.5 na Claude 3.5 Sonnet. Utendaji wake wa jumla unalinganishwa na Llama-3.1 yenye vigezo bilioni 405.

Hatua hii imezua hisia kali katika jumuiya ya akili bandia, hasa baada ya watumiaji kupakia nakala haramu za uzani wa Phi-4 kwenye Hugging Face. Sasa, Microsoft imefungua rasmi Phi-4 kwa kutumia leseni ya MIT, kuruhusu matumizi ya kibiashara.

Faida Muhimu za Phi-4: Data Sintetiki na Mafunzo Bora

Mafanikio ya Phi-4 katika vigezo vidogo yanatokana na matumizi ya data sintetiki ya ubora wa juu. Tofauti na data iliyokusanywa kutoka kwenye mtandao, data sintetiki hutoa nyenzo za kujifunza zilizopangwa na hatua kwa hatua, kusaidia mfumo kujifunza mantiki ya lugha na mchakato wa kufikiri kwa ufanisi zaidi.

Jifunzo Lililoandaliwa

Data sintetiki inaweza kuwasilishwa hatua kwa hatua, kama vile katika majibu ya maswali ya hisabati. Hii husaidia mfumo kuelewa muundo wa tatizo na njia ya kulitatua.

Kuunganisha Muktadha

Data sintetiki huunganisha muktadha wa kufikiri wa mfumo, ikikaribia muundo wa pato unaohitajika katika matumizi halisi. Hii huwezesha mfumo kuzoea mahitaji ya matumizi halisi katika hatua ya awali ya mafunzo. Kwa mfano, kubadilisha taarifa kutoka kwenye majukwaa ya mtandao kuwa mtindo wa mwingiliano wa lugha kubwa huifanya taarifa hiyo kuwa ya asili na mantiki zaidi katika mazungumzo yanayotolewa na mfumo.

Kanuni za Uzalishaji wa Data Sintetiki

Uzalishaji wa data sintetiki wa Phi-4 unafuata kanuni zifuatazo:

  • Utofauti: Kuwa na aina mbalimbali za data.
  • Udogo na Ugumu: Kuwa na maelezo mengi na ugumu.
  • Usahihi: Kuhakikisha usahihi wa data.
  • Mlolongo wa Kufikiri: Kufuatilia mlolongo wa kufikiri.

Kanuni hizi zinahakikisha ubora wa data sintetiki, ambayo inajumuisha aina 50 za data tofauti. Microsoft ilizalisha takriban tokeni bilioni 400 kwa kutumia mbinu kama vile hatua nyingi za uelekezaji, kupanga mbegu, kuandika upya na kuboresha, na kujirekebisha.

Uchujaji na Uteuzi wa Data

Mbali na data sintetiki, Phi-4 pia ilifanya uchujaji na uteuzi mkali wa data asili. Data ilikusanywa kutoka vyanzo mbalimbali kama vile mtandao, vitabu vyenye leseni, na maktaba za kanuni. Microsoft ilitumia mchakato wa uchujaji wa hatua mbili ili kutoa data yenye thamani ya juu ya kielimu na kina cha kufikiri. Data hizi zilitumika kama msingi wa uzalishaji wa data sintetiki na pia moja kwa moja katika mafunzo ya awali, kuongeza maarifa ya mfumo.

Katika mchakato wa uchujaji, Microsoft ilitumia mbinu ya uchujaji kulingana na vikokotoo vidogo ili kuchagua hati za ubora wa juu kutoka kwa data kubwa ya mtandao. Pia, ilifanya uchakataji maalum wa data ya lugha nyingi ili kuhakikisha mfumo unaweza kushughulikia lugha mbalimbali kama Kijerumani, Kihispania, Kifaransa, Kireno, Kiitaliano, Kihindi, na Kijapani.

Mchakato wa Mafunzo ya Phi-4

Mafunzo ya awali ya Phi-4 yalitumiwa hasa na data sintetiki, pamoja na kiasi kidogo cha data asili ya ubora wa juu. Mchanganyiko huu wa data uliwezesha mfumo kujifunza uwezo wa kufikiri na kutatua matatizo, huku pia ukiweza kunyonya maarifa mengi.

Katika hatua ya katikati ya mafunzo, Phi-4 iliongeza urefu wa muktadha kutoka 4096 hadi 16384 ili kuboresha uwezo wa mfumo wa kushughulikia maandishi marefu. Hii ilijumuisha sampuli zenye muktadha mrefu kuliko 8K kutoka kwa data asili ya ubora wa juu, pamoja na data sintetiki mpya iliyoundwa ili kufikia mahitaji ya mlolongo wa 4K.

Hatua ya mwisho ya mafunzo ilikuwa muhimu kwa uboreshaji wa Phi-4. Microsoft ilitumia mbinu za urekebishaji wa usimamizi (SFT) na uboreshaji wa upendeleo wa moja kwa moja (DPO).

  • Hatua ya SFT: Mfumo uliboreshwa kwa kutumia tokeni bilioni 8 zilizotolewa kutoka data ya ubora wa juu kutoka maeneo mbalimbali. Kiwango cha kujifunza kilikuwa 10-6, na data ya lugha nyingi kutoka lugha 40 iliongezwa, yote yakiwa katika umbizo la chatml.

  • Mbinu ya DPO: Ilitumika kurekebisha pato la mfumo ili liendane na upendeleo wa binadamu. Microsoft pia ilianzisha mbinu ya utafutaji wa tokeni muhimu (PTS) ili kutoa jozi za DPO. Mbinu hii ilitambua tokeni muhimu ambazo zina athari kubwa kwa usahihi wa majibu ya mfumo na kuzalisha data ya upendeleo kwa ajili ya tokeni hizi, kuboresha utendaji wa mfumo katika majukumu ya kufikiri.

Tathmini ya Utendaji wa Phi-4

Ili kutathmini utendaji wa Phi-4, Microsoft ilifanya majaribio mengi. Katika majaribio ya kitaaluma kama MMLU, GPQA, MATH, na HumanEval, Phi-4 ilifanya vizuri sana.

Katika jaribio la MMLU, Phi-4 ilipata alama ya juu ya 84.8. Katika majaribio ya GPQA na MATH, ilizidi hata GPT-4o, ikionyesha uwezo wake mkubwa wa kufikiri katika majukumu yanayohusiana na mashindano ya hisabati. Katika kulinganisha na mifumo mingine ya ukubwa sawa na mikubwa, Phi-4 ilizidi mifumo ya wazi kama Qwen-2.5-14B-Instruct katika majaribio 9 kati ya 12.