Szia, van saját korpuszom, és több Word2Vec modellt is oktatok rajta. Hogyan lehet a legjobban értékelni őket egymáshoz képest, és kiválasztani a legjobbat? (Nyilvánvalóan nem kézzel – különféle intézkedéseket keresek).
Érdemes megjegyezni, hogy a beágyazás elemekre vonatkozik, nem szóra, ezért nem tudok semmilyen meglévő benchmarkot használni.
Kösz!
Nincs általános módszer a token-vektor minőségének értékelésére, ha nem is használunk valódi szavakat, amelyekkel szemben más feladatokat (például a népszerű analógia-megoldást) meg lehetne próbálni.
Ha egyéni végső feladata van, akkor saját megismételhető pontozási módszert kell kidolgoznia. Ez valószínűleg vagy a tényleges végső feladat egy részhalmaza, vagy jól korrelál a végső feladattal. Lényegében bármilyen ad-hoc módszert használ is a „szemgolyó”-hoz, a józan észhez szükséges eredményeket rendszerezni kell, megmentve az egyes értékelésekből származó ítéleteket, hogy azokat ismételten le lehessen futtatni az iteratív modelljavításokkal szemben.
(További információra lenne szükségem az adatokról/elemekről és a végső célokról, hogy további javaslatokat tegyek.)
A word2vec modell értékelésének egyik módja az "alapigazság" szókészlet kialakítása. Az alapigazság olyan szavakat fog képviselni, amelyeknek ideális esetben a legközelebb kell lenniük egymáshoz a vektortérben. Például, ha a korpusz az ügyfélszolgálathoz kapcsolódik, akkor ideális esetben az „elégedetlen” és a „csalódott” vektorok rendelkeznek a legkisebb euklideszi távolsággal vagy a legnagyobb koszinusz hasonlósággal.
Ezt a táblázatot az alapigazságra hozod létre, talán 200 szópárból áll. Ez a 200 szó a legfontosabb páros szavak az Ön iparágában/témájában. Annak megállapításához, hogy melyik word2vec modell a legjobb, egyszerűen számítsa ki az egyes párok távolságát, végezze el 200-szor, összegezze a teljes távolságot, és a legkisebb teljes távolság lesz a legjobb modell.
Jobban szeretem ezt a módszert, mint a "szemgolyó" módszert, bármit is jelentsen ez.
A Word2Vec modell értékelésének egyik módja a K-Means algoritmus alkalmazása a Word2Vec által generált jellemzőkre. Ezzel együtt hozzon létre saját kézi címkéket / alapigazságot, amely az eseteket / rekordokat képviseli. A modell pontosságát úgy számíthatja ki, hogy összehasonlítja a fürtözött eredménycímkéket az alapigazság-címkével.
Pl.: CLuter 0 - Pozitív -{"Ez egy jó étterem", "Jó étel itt", "Nem olyan jó vacsora"} 1. klaszter - Negatív - {"Ez egy fantasztikus szálloda", "az étel elhalt volt"}
Most hasonlítsa össze a klaszterek által generált címkéket/címkéket a fürtökben lévő példányok/mondatok alapigazságértékeivel, és számítsa ki a pontosságot.
