WebHU - Programozási kérdések és válaszok

Sorozatcímkézés BERT-tel a szavak pozíciójához

Ha van egy mondatkészletem, és ezekben a mondatokban van néhány függőség a szavak között. Arra szeretném tanítani a BERT-et, hogy megjósolja, mely szavak függnek másoktól.

Példa, ha megvan ez a mondat:

Párizsban utaztunk, ami Franciaország fővárosa.

0------1-------2-------3------4----5------6-----7- --8-----9----10---11 (szavak indexei)

Azt akarom, hogy a BERT megjósolja a Paris szóhoz a France helyzetét. Tehát a feladatot sorozatcímkézési feladatként alakítani.

ide írja be a kép leírását

ahol egy szó címkéje -1 lehet, ha nincs kapcsolat e szó és a mondat többi szava, vagy a másik szó indexe között; a fenti példánkban a Paris szónak 11-nek kell lennie a France szó indexeként.

Helyes-e az indexeket címkeként elhelyezni?

python machine-learning tensorflow neural-network bert-language-model
09.01.2020

Válaszok:


1

Nem. A probléma az, hogy n minden mondatban a pozícióindex teljesen más jelentéssel bír, ezért rendkívül jó lenne, ha a hálózat megtanulná, mit kell tennie. Elképzelhető a paramétermátrix a végső vetítésben a célosztályok beágyazásaként, az osztályozás pedig az osztálybeágyazások kimeneti állapotának hasonlóságának méréseként.

Azt javaslom, hogy az osztályozást hasonlóan végezze el, mint amit az emberek néha a függőségi elemzőkben csinálnak, azaz minden szópár esetében osztályozzon, hogy van-e kapcsolat a szavak között, vagy sem.

A BERT minden mondathoz kontextuális beágyazással ellátott mátrixot ad. Hozzon létre belőle egy 3D tenzort, ahol a [i, j] pozíció a i és j szavak összefűzését tartalmazza. Ezután osztályozza ezeket a párokat igaz/hamis kategóriába, és mondja meg, hogy függőségi kapcsolat van-e a két szó között vagy sem.

10.01.2020
Új anyagok
A rádiógomb ellenőrzött eseményének használata a jQueryben
Ebben a cikkben látni fogjuk, hogyan kell dolgozni a jquery választógombbal ellenőrzött eseményeivel. A választógombok HTML gombok, amelyek segítenek kiválasztani egyetlen értéket egy csoportból...
Körkörös függőségek megoldása terraformban adatforrásokkal – lépésről lépésre
Mi az a körkörös függőségek Dolgozzunk egy egyszerű eseten, amikor az SQS-sor és az S3-vödör közötti körkörös függőség problémája van egy egymástól függő címkeérték miatt. provider..
Miért érdemes elkezdeni a kódolást 2023-ban?
01100011 01101111 01100100 01100101 — beep boop beep boop Világunk folyamatosan fejlődik a technológia körül, és naponta fejlesztenek új technológiákat a valós problémák megoldására. Amint..
🎙 Random Noise #2  – Örökbefogadás és hit
az analitika íratlan világának gondozása Szeretné, hogy ezek a frissítések a postaládájába kerüljenek? Iratkozzon fel itt . "Ha önvezető autókat gyártanak, akkor mi miért ne..
A legrosszabb politika és prediktív modellek májátültetésre jelöltek számára az Egyesült Államokban
A máj (vagy óangolul lifer) az emberi test legnehezebb belső szervére utal, amely csendesen működik a nap 24 órájában. Mit csinál a máj? 500 feladatot hajt végre a szervezet egészségének..
5 webhely, amely 2022-ben fejleszti front-end fejlesztői készségeit
Frontendmentor.io A tényleges projektek létrehozásával a Frontendmentor.io segítséget nyújt a front-end kódolási képességeinek fejlesztésében. A kódolást azután kezdheti meg, hogy..
Mikor kell használni a Type-t az interfészhez képest a TypeScriptben?
A TypeScript a JavaScript gépelt szuperkészlete, amely statikus gépelést ad a nyelvhez. Ez megkönnyíti a robusztus és karbantartható kód írását azáltal, hogy a hibákat a fordítási időben..