ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਸ਼ਕਤੀਸ਼ਾਲੀ Phi-4 ਮਾਡਲ ਜਾਰੀ ਕੀਤਾ ਜੋ GPT-4o ਤੋਂ ਅੱਗੇ

ਮਾਈਕਰੋਸਾਫਟ ਰਿਸਰਚ ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ ਆਪਣਾ ਨਵਾਂ ਛੋਟਾ ਪੈਰਾਮੀਟਰ ਮਾਡਲ Phi-4 ਜਾਰੀ ਕੀਤਾ ਹੈ। ਇਹ ਮਾਡਲ ਆਪਣੀ ਸ਼ਾਨਦਾਰ ਕਾਰਗੁਜ਼ਾਰੀ ਕਰਕੇ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੋ ਰਿਹਾ ਹੈ। Phi-4 ਵਿੱਚ ਸਿਰਫ਼ 140 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ, ਪਰ ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਕਈ ਬੈਂਚਮਾਰਕ ਟੈਸਟਾਂ ਵਿੱਚ ਹੈਰਾਨੀਜਨਕ ਹੈ। ਇਹ OpenAI ਦੇ GPT-4o ਅਤੇ ਹੋਰ ਚੋਟੀ ਦੇ ਓਪਨ ਸੋਰਸ ਮਾਡਲਾਂ ਜਿਵੇਂ ਕਿ Qwen 2.5-14B ਅਤੇ Llama-3.3-70B ਤੋਂ ਵੀ ਵਧੀਆ ਹੈ।

ਖਾਸ ਟੈਸਟਾਂ ਵਿੱਚ, Phi-4 ਨੇ ਅਮਰੀਕੀ ਗਣਿਤ ਮੁਕਾਬਲੇ AMC ਵਿੱਚ 91.8 ਅੰਕ ਪ੍ਰਾਪਤ ਕੀਤੇ, ਜੋ ਕਿ Gemini Pro 1.5 ਅਤੇ Claude 3.5 Sonnet ਸਮੇਤ ਕਈ ਮਸ਼ਹੂਰ ਓਪਨ ਅਤੇ ਕਲੋਜ਼ਡ ਸੋਰਸ ਮਾਡਲਾਂ ਤੋਂ ਵੱਧ ਹੈ। ਇਸਦੀ ਕੁੱਲ ਕਾਰਗੁਜ਼ਾਰੀ 4050 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੇ Llama-3.1 ਦੇ ਬਰਾਬਰ ਹੈ।

ਇਸ ਕਦਮ ਨੇ ਕਮਿਊਨਿਟੀ ਵਿੱਚ ਭਾਰੀ ਪ੍ਰਤੀਕਿਰਿਆ ਪੈਦਾ ਕੀਤੀ ਹੈ। ਇਸ ਤੋਂ ਪਹਿਲਾਂ, ਉਪਭੋਗਤਾਵਾਂ ਨੇ Hugging Face 'ਤੇ Phi-4 ਵੇਟ ਦੇ ਪਾਈਰੇਟਿਡ ਸੰਸਕਰਣ ਅਪਲੋਡ ਕੀਤੇ ਸਨ। ਹੁਣ, ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਅਧਿਕਾਰਤ ਤੌਰ 'ਤੇ Phi-4 ਨੂੰ ਓਪਨ ਸੋਰਸ ਕਰ ਦਿੱਤਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ MIT ਲਾਇਸੈਂਸ ਅਧੀਨ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਕਿ ਵਪਾਰਕ ਵਰਤੋਂ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਓਪਨ ਸੋਰਸ ਐਡਰੈੱਸ ਹੈ: phi-4 Hugging Face ਨੇ ਵੀ Phi-4 ਦੇ ਓਪਨ ਸੋਰਸ ਹੋਣ 'ਤੇ ਖੁਸ਼ੀ ਜ਼ਾਹਰ ਕੀਤੀ ਹੈ, ਜੋ ਇਸਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

Phi-4 ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ: ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਅਤੇ ਵਧੀਆ ਸਿਖਲਾਈ

Phi-4 ਇੰਨੇ ਘੱਟ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਇੰਨੀ ਵਧੀਆ ਕਾਰਗੁਜ਼ਾਰੀ ਕਿਵੇਂ ਕਰ ਸਕਦਾ ਹੈ, ਇਸਦਾ ਕਾਰਨ ਹੈ ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲਾ ਸਿੰਥੈਟਿਕ ਡਾਟਾ। ਰਵਾਇਤੀ ਵੈੱਬ ਸਕ੍ਰੈਪਿੰਗ ਡਾਟਾ ਦੇ ਮੁਕਾਬਲੇ, ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਵਧੇਰੇ ਢਾਂਚਾਗਤ ਅਤੇ ਹੌਲੀ-ਹੌਲੀ ਸਿੱਖਣ ਸਮੱਗਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜੋ ਮਾਡਲ ਨੂੰ ਭਾਸ਼ਾ ਦੇ ਤਰਕ ਅਤੇ ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਿੱਖਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਢਾਂਚਾਗਤ ਸਿਖਲਾਈ: ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਨੂੰ ਹੱਲ ਕਰਨ ਦੇ ਕਦਮਾਂ ਅਨੁਸਾਰ ਹੌਲੀ-ਹੌਲੀ ਪੇਸ਼ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਗਣਿਤ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦੇ ਹੱਲ ਵਿੱਚ। ਇਹ ਮਾਡਲ ਨੂੰ ਸਮੱਸਿਆ ਦੀ ਬਣਤਰ ਅਤੇ ਹੱਲ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਸਮਝਣ ਵਿਚ ਮਦਦ ਕਰਦਾ ਹੈ।
ਸੰਦਰਭ ਅਲਾਈਨਮੈਂਟ: ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਮਾਡਲ ਦੇ ਤਰਕ ਦੇ ਸੰਦਰਭ ਦੇ ਨਾਲ ਵਧੀਆ ਤਰੀਕੇ ਨਾਲ ਅਲਾਈਨ ਹੋ ਸਕਦਾ ਹੈ, ਜੋ ਅਸਲ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਆਉਟਪੁੱਟ ਫਾਰਮੈਟ ਦੇ ਨੇੜੇ ਹੁੰਦਾ ਹੈ। ਇਸ ਨਾਲ ਮਾਡਲ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਪੜਾਅ ਦੌਰਾਨ ਹੀ ਅਸਲ ਐਪਲੀਕੇਸ਼ਨ ਲੋੜਾਂ ਦੇ ਅਨੁਕੂਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਵੈੱਬ ਫੋਰਮਾਂ ਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਵੱਡੇ ਮਾਡਲ ਇੰਟਰੈਕਸ਼ਨ ਵਰਗੀ ਸ਼ੈਲੀ ਵਿੱਚ ਲਿਖਣਾ, ਜਿਸ ਨਾਲ ਇਹ ਜਾਣਕਾਰੀ ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗੱਲਬਾਤ ਵਿੱਚ ਵਧੇਰੇ ਕੁਦਰਤੀ ਅਤੇ ਤਰਕਸੰਗਤ ਲੱਗਦੀ ਹੈ।

Phi-4 ਦੇ ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਤਿਆਰ ਕਰਨ ਦੇ ਸਿਧਾਂਤ ਹੇਠਾਂ ਦਿੱਤੇ ਗਏ ਹਨ:

ਵੰਨ-ਸੁਵੰਨਤਾ
ਬਰੀਕੀ ਅਤੇ ਗੁੰਝਲਦਾਰਤਾ
ਸ਼ੁੱਧਤਾ
ਤਰਕ ਦੀ ਲੜੀ

ਇਹ ਸਿਧਾਂਤ ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਨ ਅਤੇ 50 ਤੋਂ ਵੱਧ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਸਿੰਥੈਟਿਕ ਡਾਟਾਸੈੱਟਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ। ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਮਲਟੀ-ਸਟੇਜ ਪ੍ਰੋਂਪਟਿੰਗ, ਸੀਡ ਪਲਾਨਿੰਗ, ਦੁਬਾਰਾ ਲਿਖਣ ਅਤੇ ਵਧਾਉਣ, ਅਤੇ ਸਵੈ-ਸੋਧ ਵਰਗੇ ਕਈ ਤਰੀਕਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਗਭਗ 400 ਬਿਲੀਅਨ ਗੈਰ-ਵਜ਼ਨ ਵਾਲੇ ਟੋਕਨ ਤਿਆਰ ਕੀਤੇ ਹਨ।

ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਤੋਂ ਇਲਾਵਾ, Phi-4 ਨੇ ਵੈੱਬ ਸਮੱਗਰੀ, ਲਾਇਸੰਸਸ਼ੁਦਾ ਪੁਸਤਕਾਂ ਅਤੇ ਕੋਡ ਲਾਇਬ੍ਰੇਰੀਆਂ ਸਮੇਤ ਕਈ ਚੈਨਲਾਂ ਤੋਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰਕੇ ਅਤੇ ਦੋ-ਪੜਾਵੀ ਫਿਲਟਰਿੰਗ ਪ੍ਰਕਿਰਿਆ ਰਾਹੀਂ ਉੱਚ ਸਿੱਖਿਆ ਮੁੱਲ ਅਤੇ ਤਰਕ ਦੀ ਡੂੰਘਾਈ ਵਾਲਾ ਸੀਡ ਡਾਟਾ ਕੱਢ ਕੇ ਜੈਵਿਕ ਡਾਟਾ ਨੂੰ ਸਖ਼ਤੀ ਨਾਲ ਸਕ੍ਰੀਨ ਕੀਤਾ ਅਤੇ ਫਿਲਟਰ ਕੀਤਾ। ਇਹ ਸੀਡ ਡਾਟਾ ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਪੈਦਾ ਕਰਨ ਲਈ ਇੱਕ ਬੁਨਿਆਦ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਅਤੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਲਈ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਮਾਡਲ ਦੇ ਗਿਆਨ ਭੰਡਾਰ ਨੂੰ ਹੋਰ ਅਮੀਰ ਬਣਾਉਂਦਾ ਹੈ।

ਸਕ੍ਰੀਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ, ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਵੈੱਬ ਡਾਟਾ ਤੋਂ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਚੁਣਨ ਲਈ ਇੱਕ ਛੋਟੇ ਕਲਾਸੀਫਾਇਰ-ਅਧਾਰਿਤ ਫਿਲਟਰਿੰਗ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਜਰਮਨ, ਸਪੈਨਿਸ਼, ਫ੍ਰੈਂਚ, ਪੁਰਤਗਾਲੀ, ਇਤਾਲਵੀ, ਹਿੰਦੀ ਅਤੇ ਜਾਪਾਨੀ ਸਮੇਤ ਕਈ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਯੋਗ ਬਣਾਉਣ ਲਈ ਬਹੁ-ਭਾਸ਼ਾਈ ਡਾਟਾ ਲਈ ਵਿਸ਼ੇਸ਼ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ।

Phi-4 ਦੀ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ

Phi-4 ਦੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮੁੱਖ ਤੌਰ 'ਤੇ ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਅਤੇ ਥੋੜ੍ਹੀ ਮਾਤਰਾ ਵਿੱਚ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਜੈਵਿਕ ਡਾਟਾ ਵੀ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਡਾਟਾ ਮਿਕਸਿੰਗ ਰਣਨੀਤੀ ਮਾਡਲ ਨੂੰ ਤਰਕ ਅਤੇ ਸਮੱਸਿਆ ਹੱਲ ਕਰਨ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਨੂੰ ਸਿੱਖਣ ਦੇ ਨਾਲ-ਨਾਲ ਗਿਆਨ ਦੀ ਭਰਪੂਰ ਸਮੱਗਰੀ ਨੂੰ ਜਜ਼ਬ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ।

ਮੱਧ-ਸਿਖਲਾਈ ਪੜਾਅ ਵਿੱਚ, Phi-4 ਨੇ ਲੰਬੇ ਟੈਕਸਟ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਮਾਡਲ ਦੀ ਯੋਗਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸੰਦਰਭ ਦੀ ਲੰਬਾਈ ਨੂੰ 4096 ਤੋਂ ਵਧਾ ਕੇ 16384 ਕਰ ਦਿੱਤਾ। ਇਸ ਵਿੱਚ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਗੈਰ-ਸਿੰਥੈਟਿਕ ਡਾਟਾਸੈੱਟਾਂ ਤੋਂ 8K ਤੋਂ ਵੱਧ ਸੰਦਰਭ ਵਾਲੇ ਨਮੂਨੇ, ਅਤੇ ਨਵੇਂ ਬਣਾਏ ਗਏ ਸਿੰਥੈਟਿਕ ਡਾਟਾਸੈੱਟ ਸ਼ਾਮਲ ਹਨ ਜੋ 4K ਸੀਕਵੈਂਸ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ।

ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਪੜਾਅ Phi-4 ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਸੁਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ (SFT) ਅਤੇ ਡਾਇਰੈਕਟ ਪ੍ਰੈਫਰੈਂਸ ਓਪਟੀਮਾਈਜੇਸ਼ਨ (DPO) ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।

SFT ਪੜਾਅ: ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਤੋਂ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਡਾਟਾ ਤੋਂ ਤਿਆਰ ਕੀਤੇ ਗਏ ਲਗਭਗ 8B ਟੋਕਨਾਂ ਨਾਲ ਫਾਈਨ-ਟਿਊਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਿੱਖਣ ਦੀ ਦਰ 10-6 ਹੈ, ਅਤੇ 40 ਭਾਸ਼ਾਵਾਂ ਤੋਂ ਬਹੁ-ਭਾਸ਼ਾਈ ਡਾਟਾ ਜੋੜਿਆ ਗਿਆ ਹੈ, ਅਤੇ ਸਾਰਾ ਡਾਟਾ chatml ਫਾਰਮੈਟ ਵਿੱਚ ਹੈ।
DPO ਤਕਨੀਕ: ਮਾਡਲ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਐਡਜਸਟ ਕਰਨ ਲਈ ਤਰਜੀਹੀ ਡਾਟਾ ਤਿਆਰ ਕਰਕੇ, ਤਾਂ ਜੋ ਇਹ ਮਨੁੱਖੀ ਤਰਜੀਹਾਂ ਦੇ ਅਨੁਸਾਰ ਹੋਵੇ। ਮਾਈਕਰੋਸਾਫਟ ਨੇ DPO ਜੋੜੇ ਤਿਆਰ ਕਰਨ ਲਈ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਟੋਕਨ ਖੋਜ (PTS) ਤਕਨੀਕ ਵੀ ਪੇਸ਼ ਕੀਤੀ, ਜੋ ਕਿ ਮਹੱਤਵਪੂਰਨ ਟੋਕਨਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਦੇ ਯੋਗ ਹੈ ਜੋ ਮਾਡਲ ਦੇ ਜਵਾਬ ਦੀ ਸ਼ੁੱਧਤਾ 'ਤੇ ਵੱਡਾ ਪ੍ਰਭਾਵ ਪਾਉਂਦੇ ਹਨ, ਅਤੇ ਇਹਨਾਂ ਟੋਕਨਾਂ ਲਈ ਤਰਜੀਹੀ ਡਾਟਾ ਤਿਆਰ ਕਰਕੇ ਤਰਕ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦੀ ਹੈ।

Phi-4 ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਮੁਲਾਂਕਣ

Phi-4 ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ, ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਕਈ ਬੈਂਚਮਾਰਕ ਟੈਸਟਾਂ 'ਤੇ ਟੈਸਟ ਕੀਤੇ। MMLU, GPQA, MATH, HumanEval ਵਰਗੇ ਅਕਾਦਮਿਕ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ, Phi-4 ਨੇ ਸ਼ਾਨਦਾਰ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ।

MMLU ਟੈਸਟ ਵਿੱਚ, Phi-4 ਨੇ 84.8 ਦਾ ਉੱਚ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕੀਤਾ। GPQA ਅਤੇ MATH ਟੈਸਟਾਂ ਵਿੱਚ, ਇਹ GPT-4o ਤੋਂ ਵੀ ਅੱਗੇ ਨਿਕਲ ਗਿਆ ਹੈ, ਅਤੇ ਗਣਿਤ ਮੁਕਾਬਲੇ ਨਾਲ ਸਬੰਧਤ ਕੰਮਾਂ ਵਿੱਚ ਮਜ਼ਬੂਤ ਤਰਕ ਸਮਰੱਥਾ ਦਿਖਾਈ ਹੈ। ਸਮਾਨ ਆਕਾਰ ਅਤੇ ਵੱਡੇ ਆਕਾਰ ਦੇ ਹੋਰ ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਵਿੱਚ, Phi-4 ਨੇ 12 ਬੈਂਚਮਾਰਕ ਟੈਸਟਾਂ ਵਿੱਚੋਂ 9 ਵਿੱਚ Qwen-2.5-14B-Instruct ਵਰਗੇ ਓਪਨ ਸੋਰਸ ਮਾਡਲਾਂ ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ।