- Published on
డీప్‌సీక్ V3: ఒక విప్లవాత్మక ఓపెన్-సోర్స్ మోడల్
- రచయితలు
- పేరు
- Ajax
డీప్‌సీక్ V3 అనేది ఒక విప్లవాత్మకమైన ఓపెన్-సోర్స్ మోడల్, ఇది AI రంగంలో సరికొత్త ప్రమాణాలను నెలకొల్పింది. ఈ మోడల్ 671 బిలియన్ పారామీటర్లను కలిగి ఉంది, ఇది Mixture-of-Experts (MoE) ఆర్కిటెక్చర్‌పై ఆధారపడి ఉంటుంది. ఈ మోడల్‌ను 14.8 ట్రిలియన్ అధిక-నాణ్యత టోకెన్‌లపై శిక్షణ ఇచ్చారు, అయితే అనుమితి సమయంలో కేవలం 37 బిలియన్ పారామీటర్లు మాత్రమే యాక్టివేట్ చేయబడతాయి. దీని వలన మోడల్ వేగంగా మరియు సమర్థవంతంగా పనిచేస్తుంది.
డీప్‌సీక్ V3 యొక్క ముఖ్య అంశాలు
- అధునాతన పనితీరు: డీప్‌సీక్ V3 ఓపెన్-సోర్స్ మోడళ్లలో అత్యుత్తమ పనితీరును కనబరుస్తుంది. ఇది Llama 3.1 405B మోడల్‌ను అధిగమించి, GPT-4o మరియు Claude 3.5 Sonnet వంటి క్లోజ్డ్-సోర్స్ మోడళ్లతో పోటీపడుతుంది.
- ఖర్చు-సమర్థత: ఈ మోడల్ Claude 3.5 మోడళ్ల కంటే చాలా తక్కువ ఖర్చుతో అందుబాటులో ఉంది, కేవలం 9% ఖర్చుతోనే Claude 3.5 Sonnet పనితీరును అందిస్తుంది. శిక్షణకు తక్కువ GPU గంటలు అవసరం కావడం దీనికి ప్రధాన కారణం.
- వేగవంతమైన అనుమితి: డీప్‌సీక్ V3 సెకనుకు 60 టోకెన్‌లను ఉత్పత్తి చేస్తుంది, ఇది మునుపటి మోడళ్ల కంటే 3 రెట్లు వేగవంతమైనది.
- అధిక నాణ్యత శిక్షణ డేటా: ఈ మోడల్‌ను 14.8 ట్రిలియన్ అధిక-నాణ్యత టోకెన్‌లపై శిక్షణ ఇచ్చారు, ఇది దాని పనితీరును మెరుగుపరచడంలో సహాయపడుతుంది.
- వివిధ బెంచ్‌మార్క్‌లలో ఉత్తమ ఫలితాలు: డీప్‌సీక్ V3 వివిధ బెంచ్‌మార్క్‌లలో ఇతర ఓపెన్-సోర్స్ మోడళ్లను అధిగమించింది, ఇది దాని సామర్థ్యాన్ని నిరూపిస్తుంది.
శిక్షణ వివరాలు
డీప్‌సీక్ V3 శిక్షణను ఆల్గోరిథమిక్, ఫ్రేమ్‌వర్క్ మరియు హార్డ్‌వేర్ మెరుగుదలల ద్వారా ఆప్టిమైజ్ చేశారు. ఈ మోడల్‌ను ఒక ట్రిలియన్ టోకెన్‌లపై 180,000 GPU గంటల్లో శిక్షణ ఇచ్చారు, ప్రీ-ట్రైనింగ్‌ను రెండు నెలల్లో పూర్తి చేశారు. మొత్తం శిక్షణ ఖర్చు 2.788 మిలియన్ GPU గంటలు లేదా $5.576 మిలియన్లు. శిక్షణలో ఉపయోగించిన కొన్ని కీలకమైన ఆప్టిమైజేషన్‌లు:
- లోడ్ బ్యాలెన్సింగ్: MoE ఆర్కిటెక్చర్‌లో ప్రతి నిపుణుడికి బయాస్ టర్మ్‌లతో కూడిన ఒక వినూత్న లోడ్ బ్యాలెన్సింగ్ వ్యూహాన్ని ఉపయోగించారు.
- మల్టీ-టోకెన్ ప్రిడిక్షన్ (MTP): స్పెక్యులేటివ్ డీకోడింగ్ ద్వారా మోడల్ పనితీరును మెరుగుపరచడానికి మరియు వేగవంతమైన అనుమితిని ప్రారంభించడానికి ఒక శిక్షణ లక్ష్యం.
- FP8 శిక్షణ: పెద్ద-స్థాయి మోడళ్లకు FP8 మిక్స్డ్-ప్రెసిషన్ శిక్షణను ఉపయోగించడం.
- డ్యూయల్‌పైప్: కంప్యూటేషన్ మరియు కమ్యూనికేషన్‌ను అతివ్యాప్తి చేసే ఒక సమర్థవంతమైన పైప్‌లైన్ ప్యారలల్ అల్గోరిథం, ఇది కమ్యూనికేషన్ ఓవర్‌హెడ్‌ను తగ్గిస్తుంది.
MoE ఆర్కిటెక్చర్ 256 రూటింగ్ నిపుణులు మరియు 1 షేర్డ్ నిపుణుడిని కలిగి ఉంటుంది, ప్రతి టోకెన్ 8 నిపుణులను యాక్టివేట్ చేస్తుంది మరియు గరిష్టంగా 4 నోడ్‌లకు పంపబడుతుంది. అనుమితి సమయంలో లోడ్‌ను బ్యాలెన్స్ చేయడానికి అదనపు నిపుణులను మోహరించారు.
పనితీరు మరియు మూల్యాంకనం
డీప్‌సీక్ V3 AI నిపుణుల నుండి ప్రశంసలు అందుకుంది. ఇది Qwen2.5-72B మరియు Llama-3.1-405B వంటి ఇతర ఓపెన్-సోర్స్ మోడళ్లను వివిధ బెంచ్‌మార్క్‌లలో అధిగమించింది. మోడల్ పనితీరు GPT-4o మరియు Claude-3.5-Sonnet వంటి టాప్ క్లోజ్డ్-సోర్స్ మోడళ్లతో పోల్చదగినదిగా ఉంది.
- టోకెన్ జనరేషన్ వేగం: డీప్‌సీక్ V3 సెకనుకు 60 టోకెన్‌లను ఉత్పత్తి చేస్తుంది, ఇది 3x వేగవంతమైనది.
- API ధరలు: API ధరలు చాలా పోటీగా ఉన్నాయి, ఇన్‌పుట్ టోకెన్‌లు మిలియన్‌కు 0.5-2 RMB మరియు అవుట్‌పుట్ టోకెన్‌లు మిలియన్‌కు 8 RMB ఖర్చవుతాయి.
- కాగి మూల్యాంకనం: కాగి మూల్యాంకనం డీప్‌సీక్ V3ని ఓపెన్-సోర్స్ మోడళ్లలో అగ్రస్థానంలో ఉంచుతుంది, ఇది Sonnet-3.5 మరియు GPT-4oకి దగ్గరగా ఉంది.
- సూది-గడ్డివాములో ప్రయోగాలు: ఈ మోడల్ "సూది-గడ్డివాములో" ప్రయోగాలలో బాగా పనిచేస్తుంది, ఇది సుదీర్ఘ సందర్భాల నుండి నిర్దిష్ట సమాచారాన్ని తిరిగి పొందగల సామర్థ్యాన్ని ప్రదర్శిస్తుంది.
సంఘం భాగస్వామ్యం
డీప్‌సీక్ V3 అధికారిక ప్లాట్‌ఫారమ్‌లో పరీక్ష కోసం అందుబాటులో ఉంది మరియు డౌన్‌లోడ్ చేయడానికి కోడ్ ఓపెన్-సోర్స్ చేయబడింది. AI ఔత్సాహికులు స్టాక్డ్ మ్యాక్ మినీస్‌లో రన్ చేయడం వంటి అనేక రకాలుగా డీప్‌సీక్ V3తో ప్రయోగాలు చేస్తున్నారు. డెవలపర్‌లు సంక్లిష్టమైన సూచనలను స్పష్టమైన వివరణలు లేకుండా అర్థం చేసుకునే మోడల్ సామర్థ్యాన్ని చూసి ఆశ్చర్యపోయారు. ఒక డెవలపర్ తక్కువ సమయంలో డీప్‌సీక్ V3తో AI కంపెనీ లోగోలను ఉపయోగించి ఒక గేమ్ సృష్టించాడు.
- తక్కువ రన్నింగ్ ఖర్చు: డీప్‌సీక్ V3ని అమలు చేయడానికి తక్కువ ఖర్చు అవుతుంది, ఒక వినియోగదారుడు సెకనుకు 60 టోకెన్‌ల వద్ద రన్ చేయడానికి రోజుకు కేవలం $2 మాత్రమే ఖర్చవుతుందని పేర్కొన్నాడు.
అదనపు వనరులు
- సాంకేతిక నివేదిక: DeepSeek_V3.pdf
- హగ్గింగ్ ఫేస్: DeepSeek-V3
డీప్‌సీక్ V3 అనేది AI పరిశోధన మరియు అభివృద్ధిలో ఒక ముఖ్యమైన ముందడుగు. ఇది అధిక పనితీరు, తక్కువ ఖర్చు మరియు ఓపెన్-సోర్స్ లభ్యతను కలపడం ద్వారా AI సాంకేతికతను మరింత అందుబాటులోకి తీసుకువస్తుంది.