Published on

Meta's BLT Architecture Yaondoa Uwekaji Alama: Ufanisi na Ubunifu katika Miundo ya Lugha

Waandishi
  • avatar
    Jina
    Ajax
    Twitter

Utangulizi

Meta, kwa kushirikiana na watafiti kutoka Chuo Kikuu cha Chicago na taasisi zingine, hivi karibuni wamechapisha makala muhimu sana yenye kichwa "Byte Latent Transformer: Patches Scale Better Than Tokens." Utafiti huu umeleta mjadala mkubwa, hasa kwenye majukwaa kama vile Hacker News. Msingi wa dhana hii ni mbinu mpya ya miundo ya lugha ambayo inaweza kuchukua nafasi ya mchakato wa kawaida wa uwekaji alama. Msisimko unaonekana, huku baadhi ya watafiti wakionyesha hamu ya kuachana na uwekaji alama. Hata hivyo, kuna wasiwasi kuhusu uwezekano wa kuunganisha teknolojia hii mpya, kwa kuzingatia kwamba uwekaji alama ndio msingi wa miundo mingi iliyopo.

Tatizo la Uwekaji Alama

Miundo ya lugha ya kawaida hutegemea uwekaji alama ili kuandaa data. Hata hivyo, njia hii ina mapungufu kadhaa. Haya ni pamoja na:

  • Ukubwa wa msamiati usiobadilika, ambao unaweza kuwa hautoshi kwa lugha zote au mazingira.
  • Ufanisi mdogo katika kuchakata data za lugha nyingi au zenye kelele.
  • Kuanzishwa kwa upendeleo kutokana na mbinu za kubana data.

Byte Latent Transformer (BLT)

Utafiti huu unaleta Byte Latent Transformer (BLT) kama suluhisho ambalo linapinga mbinu ya kawaida ya uwekaji alama. Badala ya kufanya kazi na alama, BLT moja kwa moja huiga mitiririko ya baiti mbichi. Inakusanya baiti hizi kwa nguvu katika 'patches' kulingana na entropia yao, ikiboresha ufanisi wa kompyuta. Hii inamaanisha kuwa BLT inaweza kujifunza moja kwa moja kutoka kwa data asili ya baiti bila kutegemea msamiati tuli. BLT imeundwa ili kushughulikia data tofauti na zenye kelele kwa ufanisi zaidi.

Sifa muhimu za BLT ni pamoja na:

  • 'Entropy-Based Patching': BLT hukusanya baiti katika 'patches' kulingana na ugumu wa taarifa zao. Njia hii inatenga rasilimali zaidi za kompyuta kwa maeneo yenye entropia ya juu (magumu) na kuokoa rasilimali katika maeneo yenye entropia ya chini.
  • Upanuzi Wenye Ufanisi: BLT inaboresha ukubwa wa 'patches' na inatumia miundo midogo ya ndani, ikifikia utendaji unaolingana au bora kuliko miundo inayotumia alama kama LLaMA. Pia hupunguza gharama za kompyuta hadi 50% wakati wa hitimisho.
  • Uimara na Unyumbufu: BLT inaonyesha utendaji wa kipekee katika kazi zinazohitaji uelewa wa kiwango cha herufi, kushughulikia data zenye kelele, au kuweka ujumla kwa data ndefu, ikizidi miundo inayotumia alama katika viwango vingi.

Usanifu wa BLT

Usanifu wa BLT unajumuisha:

  1. Muundo Mkubwa wa Lugha wa Uhalisia wa Kimataifa ambao hufanya kazi kwenye uwakilishi wa 'patches'.
  2. Miundo miwili midogo ya ndani ambayo huweka misururu ya baiti katika 'patches' na kurejesha uwakilishi wa 'patches' kuwa baiti.

Muundo wa Kimataifa wa Latent Transformer

Transformer ya kimataifa ya latent ni muundo wa uhalisia ambao huweka uwakilishi wa 'patch' wa ingizo kwa uwakilishi wa 'patch' wa toleo. Inatumia 'block causal attention mask'.

'Local Encoder'

Muundo wa 'local encoder' ni muundo mwepesi wa Transformer ambao huweka misururu ya baiti za ingizo kwa uwakilishi wa 'patch' wenye maana. Ina tabaka za 'cross-attention' baada ya kila tabaka la Transformer, ikiunganisha uwakilishi wa baiti kuwa uwakilishi wa 'patch'.

  • Uwekaji wa Baiti: Misururu ya baiti za ingizo huwekwa kwa kutumia matrix.
  • Tabaka za Transformer: Msururu wa tabaka za Transformer na 'cross-attention' hufanya uwekaji kuwa uwakilishi wa 'patch'. Hii ni pamoja na 'local block causal attention mask'.

'Local Decoder'

'Local decoder' ni muundo mwingine mwepesi wa Transformer. Inafungua uwakilishi wa kimataifa wa 'patch' kuwa baiti asili. Inatumia msururu wa 'cross-attention' na tabaka za Transformer. Hii inaruhusu kutabiri misururu asili ya baiti kulingana na baiti zilizofunguliwa hapo awali.

Mielekeo ya Upandishaji

Utafiti huu unachunguza mielekeo ya upandishaji wa miundo ya kiwango cha baiti ili kuarifu maendeleo zaidi ya muundo wa BLT. Hii ni pamoja na:

  • Kulinganisha mielekeo katika miradi ya mafunzo iliyo bora kwa kompyuta.
  • Kufunza miundo ya vigezo 8B kwenye data kubwa na kutathmini utendaji kwenye kazi za chini.
  • Kupima mielekeo ya upandishaji katika mazingira yanayodhibitiwa na gharama za hitimisho.

Mielekeo ya Ulinganishaji wa Vigezo Ulio Bora kwa Kompyuta

Kwa kutumia data ya Llama 2, watafiti walifunza miundo mbalimbali ya BPE na BLT ya ukubwa tofauti (1B hadi 8B vigezo) kwa mipangilio iliyo bora kwa kompyuta. 'Flops' za mafunzo ziliwekwa kwenye grafu dhidi ya utendaji wa uigaji wa lugha. Miundo ya BLT ililingana au kuzidi miundo ya BPE, na mwelekeo huu uliendelea kadiri ukubwa wa miundo na 'flops' ulivyoendelea kuongezeka.

'BLT-1T Dataset'

Muundo wa BLT wa vigezo 8B ulifunzwa kwenye data kubwa ya ubora wa juu, BLT-1T. Matokeo yalionyesha kuwa muundo wa BLT-Entropy ulizidi muundo wa Llama 3 kwenye kazi 4 kati ya 7. Uboreshaji huu unatokana na matumizi bora ya kompyuta ya mafunzo kwa kutumia 'patches' zinazobadilika na kuiga taarifa za kiwango cha baiti badala ya alama.

Upandishaji wa 'Patch'

Utafiti huu unaonyesha kuwa 'patches' hupanda kwa urahisi zaidi kuliko alama. Utafiti kuhusu upandishaji wa urefu wa 'patch' unaonyesha kwamba usanifu wa BLT unaotumia 'patch' unaweza kufikia mielekeo bora ya upandishaji kwa kuongeza ukubwa wa 'patch' na muundo.

Uimara Kupitia Uigaji wa Baiti

Kazi za Kiwango cha Herufi

Muundo wa BLT unaonyesha uimara bora katika majaribio ya kelele ya HellaSwag, ukizidi miundo inayotumia alama kwa wastani wa asilimia 8. Hata ulizidi miundo ya Llama 3.1 iliyofunzwa kwenye data kubwa.

Lugha Zenye Rasilimali Chache

BLT hufanya kwa kulinganishwa au kidogo bora kuliko Llama 3 katika jozi maarufu za lugha. Hata hivyo, inazidi sana Llama 3 katika jozi za lugha zenye rasilimali chache, ikionyesha ufanisi wa uigaji wa baiti katika kuweka ujumla kwa misururu mirefu ya baiti.

Kutoka Llama 3 Hadi BLT

Waandishi walichunguza mchakato wa kazi ambapo miundo ya BLT inaweza kutumia miundo iliyofunzwa tayari inayotumia alama. Hii ilifanywa kwa kuanzisha vigezo vya kimataifa vya 'tokenizer' vya BLT na Llama 3.1 iliyofunzwa tayari. Matokeo yalionyesha kuwa BLT iliyoanzishwa na Llama 3.1 ilizidi Llama 3 na miundo ya msingi ya BLT iliyofunzwa kwa idadi sawa ya 'flops'.