- Hasznosak-e az előre betanított nyelvi modellek a Model Ensemble számára a kínai nyelvtani hibajavításban? (arXiv)
Szerző: Chenming Tang, Xiuyu Wu, Yunfang Wu
Absztrakt: A modellegyüttest széles körben használják nyelvtani hibajavításra (GEC), ami növeli a modell teljesítményét. Feltételezzük, hogy az előre betanított nyelvi modellek (PLM) által kiszámított perplexitáson (PPL) alapuló modellegyüttes előnyös a GEC rendszer számára. Ebből a célból számos olyan együttes stratégiát vizsgálunk meg, amelyek erős PLM-eken alapulnak négy kifinomult egyedi modellel. A teljesítmény azonban nem javul, hanem még rosszabb is a PLM-alapú együttes után. Ez a meglepő eredmény arra késztet bennünket, hogy részletes elemzést végezzünk az adatokon, és néhány betekintést nyerjünk a GEC-ről. A helyes mondatok emberi hivatkozásai korántsem elegendőek a tesztadatokban, a helyes mondat és az idiomatikus mondat közötti szakadék pedig figyelmet érdemel. Ezenkívül a PLM-alapú ensemble stratégiák hatékony módot biztosítanak a GEC benchmark adatok kiterjesztésére és javítására. Forráskódunk a „https://github.com/JamyDon/PLM-based-CGEC-Model-Ensemble” címen érhető el.
2. A tanuló lesz a mester: GPT3 egyeztetése a tudományos ténybeli hibajavításon (arXiv)
Szerző : Dhananjay Ashok, Atharva Kulkarni, Hai Pham, Póczos Barnabás
Absztrakt: A hibajavító adatkészletek létrehozásának rendkívül magas költsége miatt a legtöbb ténykérdés-javítási módszer egy hatékony ellenőrzési modellre támaszkodik, amely irányítja a javítási folyamatot. Ez a teljesítmény jelentős csökkenéséhez vezet az olyan területeken, mint a tudományos állítások korrekciója, ahol nem mindig léteznek jó ellenőrzési modellek. Ebben a munkában egy olyan állításkorrekciós rendszert mutatunk be, amely nem tesz tartományfeltevéseket, és nem igényel hitelesítőt, de képes egy nagyságrenddel felülmúlni a meglévő módszereket – 94%-os korrekciós pontosságot ér el a SciFact adatkészleten, és 62,5%-ot a SciFacton. -Nyitott adatkészlet, összehasonlítva a következő legjobb módszerekkel 0,5%, illetve 1,50%. Módszerünk kihasználja az LLM-ekkel való felkérés erejét a képzés során, hogy egy gazdagon jegyzett adatkészletet hozzon létre, amely felhasználható a teljesen felügyelt képzéshez és rendszeresítéshez. Ezenkívül követelés-tudatos dekódolási eljárást alkalmazunk a javított követelések minőségének javítására. Módszerünk versenyképes azzal az LLM-mel, amelyet a megjegyzésekkel ellátott adatkészlet előállításához használtunk – a GPT3.5 89,5%-os és 60%-os korrekciós pontosságot ért el SciFact és SciFact-Open esetén, annak ellenére, hogy 1250-szer annyi paramétert használt, mint a mi modellünk.
