- Feltételes adapterek: Paraméterhatékony transzfertanulás gyors következtetéssel (arXiv)
Szerző: Tao Lei, Junwen Bai, Siddhartha Brahma, Joshua Ainslie, Kenton Lee, Yanqi Zhou, Nan Du, Vincent Y. Zhao, Yuexin Wu, Bo Li, Yu Zhang, Ming-Wei Chang
Absztrakt: Javasoljuk a feltételes adaptert (CoDA), egy paraméter-hatékony átviteli tanulási módszert, amely a következtetések hatékonyságát is javítja. A CoDA a szabványos adapter-megközelítéseken túl általánosít, hogy lehetővé tegye a sebesség és a pontosság kiegyensúlyozásának új módját a feltételes számítások segítségével. Egy meglévő sűrű előképzett modelltől kezdve a CoDA ritka aktiválást tesz hozzá, néhány új paraméterrel és egy könnyű edzési fázissal. Kísérleteink azt mutatják, hogy a CoDA-megközelítés váratlanul hatékony módszert kínál a tudásátadásra. A különféle nyelvi, látási és beszédfeladatok során a CoDA 2-8-szoros következtetési sebességet ér el a legmodernebb Adapter-megközelítéshez képest, mérsékelt vagy pontosságveszteség nélkül, és ugyanaz a paraméterhatékonyság.
2. Tanulás átvitele az alacsony erőforrás-igényű érzelmek elemzéséhez (arXiv)
Szerző: Razhan Hameed, Sina Ahmadi, Fatemeh Daneshfar
Absztrakt: A hangulatelemzés a szubjektív információ azonosításának és a szövegből való kinyerésének folyamata. A többnyelvű megközelítések automatikus alkalmazásának előrehaladása ellenére a hangulatelemző rendszerek megvalósítása és értékelése nyelvspecifikus adatokat igényel a különféle szociokulturális és nyelvi sajátosságok figyelembevételéhez. Ebben a cikkben egy adathalmaz összegyűjtését és annotálását írjuk le a közép-kurdok hangulatelemzéséhez. Ehhez a feladathoz megvizsgálunk néhány klasszikus gépi tanulási és neurális hálózat alapú technikát. Ezenkívül egy megközelítést alkalmazunk a tanulás átvitelében, hogy kihasználjuk az adatbővítésre előképzett modelleket. Bemutatjuk, hogy az adatkiegészítés magas F1 pontszámot és pontosságot ér el a feladat nehézsége ellenére. △
