A SaleForce hatása egy hatékony kódolási modell megtervezésére
Az LLM-ekről bebizonyosodott, hogy sokoldalúak, és nagyban leegyszerűsítették a felhasználói interakciót. Az utóbbi időben számos modellt adtak ki (különösen nyílt forráskódú).
Sikerük ellenére azonban még mindig vannak korlátok ezeknek a modelleknek a használatában, különösen, ha kódírásra használják.
LLM-ek, kód és korlátozások
Általában véve az LLM rendkívül sikeres volt. Ez egyrészt a transzformátor bevezetésének köszönhető, amely lehetővé tette hatalmas adatmennyiség felügyelet nélküli megemésztésére alkalmas modellek létrehozását. A ChatGPT kimutatta, hogy az igazítás lehetővé teszi a modell számára, hogy beszélgetés közben kommunikáljon a felhasználóval.
Ezen kívül az LLM-eknek számos büszkélkedésük van. A képzés viszonylag egyszerű más modellekhez képest, mert nagy mennyiségű szöveg használatára támaszkodik. A modell nem egyetlen feladatra van kiképezve, hanem számtalan feladatra használható. Ezenkívül a kívánt tulajdonságok a skálázással önmagukban jelennek meg, anélkül, hogy edzés közben kódolni kellene őket.
Másrészt az LLM-nek ára van. Mindezen paraméterekkel rendelkező modell betanítása nagy hardver- és energiaképességeket igényel. Ezenkívül léteznek különböző architektúrák, például kódoló és dekódoló, de ezeknek a lehetőségeknek nincs egységesítése. Arról nem is beszélve, hogy a legutóbbi munkák megkérdőjelezték a felbukkanó tulajdonság fogalmát és mindezen paraméterek szükségességét.
