A Netflixnél azáltal szeretnénk szórakoztatni a világot, hogy vonzó tartalmat készítünk, és segítünk a tagoknak felfedezni azokat a címeket, amelyeket imádni fognak. Ennek kulcsa az ok-okozati hatások megértése, amelyek összekapcsolják a termékben végrehajtott változtatásainkat a tagok örömének mutatóival.
Az ok-okozati hatások méréséhez nagymértékben támaszkodunk az „AB-tesztelésre”, de a „kvázi-kísérletezést” is kihasználjuk olyan esetekben, amikor az AB-tesztelés korlátozott. A Netflix számos tudósa hozzájárult ahhoz, hogy a Netflix ezeket az okozati hatásokat elemezze.
Ennek a hatásnak a megünneplése és az egymástól való tanulás érdekében a Netflix tudósai a közelmúltban egy belső oksági következtetés és kísérleti csúcstalálkozóra gyűltek össze. Az egyhetes konferenciára a tartalom-, termék- és tagtapasztalat-csoportok minden részéről érkeztek előadók, hogy megismerjék az ok-okozati hatások becslésének módszertani fejlesztéseit és alkalmazásait. Témák széles skáláját fedtük le, többek között a különbség-különbség-becslést, a kettős gépi tanulást, a Bayes-féle AB-tesztelést és az ok-okozati következtetéseket az ajánlórendszerekben.
Izgatottan várjuk, hogy ebben a blogbejegyzésben megoszthassunk veled egy bepillantást az eseményből a beszélgetések kiválasztott példáin keresztül, bepillantást adva közösségünk kulisszái mögé és a Netflix ok-okozati következtetéseinek széles körébe. Várjuk, hogy kapcsolatba léphessünk Önnel egy jövőbeni külső eseményen és további blogbejegyzéseken keresztül!
A lokalizáció növekményes hatása
Yinghong Lan, Vinod Bakthavachalam, Lavanya Sharan, Marie Douriez, Bahar Azarnoush, Mason Kroll
A Netflixnél szenvedélyesen törekszünk arra, hogy tagjainkat nagyszerű történetekkel kapcsoljuk össze, amelyek bárhonnan származhatnak, és „mindenhol szerethetők”. Valójában több mint 30 nyelven és 190 országban streamelünk, és arra törekszünk, hogy a tartalmat feliratok és szinkronok segítségével lokalizáljuk, amelyet tagjaink a legjobban élveznek. A lokalizáció heterogén növekményes értékének megértése a tagok megtekintésére kulcsfontosságú ezekben az erőfeszítésekben!
A lokalizáció növekményes értékének becsléséhez történeti adatokat használó oksági következtetési módszerekhez fordultunk. A nagyszabású, véletlenszerű kísérletek futtatása technikai és működési kihívásokkal is jár, különösen azért, mert el akarjuk kerülni, hogy visszatartsák a lokalizációt azoktól a tagoktól, akiknek szükségük lehet rá az általuk kedvelt tartalom eléréséhez.
Különböző nyelveken elemeztük az adatokat, és kettős gépi tanulási módszereket alkalmaztunk a mért zavaró tényezők megfelelő ellenőrzésére. Nemcsak a lokalizáció hatását tanulmányoztuk a cím általános megtekintésére, hanem azt is, hogy a lokalizáció hogyan növeli az értéket a tagsági út különböző részein. A robusztusság ellenőrzéseként különféle szimulációkat vizsgáltunk, hogy értékeljük inkrementális becsléseink konzisztenciáját és varianciáját. Ezek a meglátások kulcsszerepet játszottak azon döntéseinkben, hogy méretezzük a lokalizációt, és örömet szerezzünk tagjainknak szerte a világon.
Az ok-okozati következtetés módszereinek kapcsolódó alkalmazása a lokalizációra akkor merült fel, amikor egyes szinkronok késtek a produkciós stúdiók világjárvány miatti leállása miatt. Ahhoz, hogy megértsük ezeknek a szinkron késleltetéseknek a címek megtekintésére gyakorolt hatását, szintetikus vezérlés módszerével szimuláltuk a késleltetés nélküli megtekintést. Összehasonlítottuk a szimulált megtekintést a cím indításakor (amikor a szinkronok hiányoznak) és a cím elindítása után (amikor a szinkronokat visszaadták).
A zavaró tényezők ellenőrzésére placebótesztet használtunk, hogy megismételjük az elemzést azon címeknél, amelyeket nem érintett a szinkron késleltetése. Ily módon meg tudtuk becsülni a késleltetett szinkronizálás növekvő hatását a tagok megtekintésére az érintett címek esetében. Ha újabb leállításra kerülne sor a szinkrongyártásban, ez az elemzés lehetővé teszi csapataink számára, hogy megalapozott döntéseket hozzanak a késésekről.
Visszatartó kísérletek a termékinnováció érdekében
"Travis Brooks", "Cassiano Coria", "Greg Nettles", "Molly Jackman", "Claire Lackner"
A Netflixnél számos példa van a visszatartási AB-tesztekre, amelyek bizonyos felhasználók számára konkrét funkció nélküli élményt mutatnak be. Lényegesen javították a tagok élményét az új funkciók hosszú távú hatásainak mérésével vagy a régi feltételezések újravizsgálásával. Ha azonban felvetődik a visszatartási tesztek témája, az túl bonyolultnak tűnhet a kísérleti tervezés és/vagy a tervezési költségek szempontjából.
Arra törekedtünk, hogy megosszuk a visszatartási tesztek tervezésével és végrehajtásával kapcsolatos bevált gyakorlatainkat annak érdekében, hogy egyértelműbbé tegyük a visszatartási teszteket a Netflixnél, hogy azokat szélesebb körben felhasználhassák a termékinnovációs csapatok között:
- A visszatartások típusainak és használati eseteinek meghatározása múltbéli példákkal
- Olyan jövőbeli lehetőségeket javasol, ahol a visszatartási tesztelés értékes lehet
- A visszatartó tesztek által jelentett kihívások felsorolása
- Azon jövőbeli beruházások azonosítása, amelyek csökkenthetik a visszatartó tesztek telepítési és karbantartási költségeit a termék- és mérnöki csapatok számára
A visszatartási tesztek számos termékterületen egyértelmű értékkel bírnak a tanulságok megerősítésére, a hosszú távú hatások megértésére, a régi feltételezések újbóli tesztelésére és a kumulatív érték mérésére. Arra is szolgálhatnak, hogy teszteljék a termék egyszerűsítését a nem használt funkciók eltávolításával, zökkenőmentesebb felhasználói élmény megteremtésével. A Netflix számos területén már általánosan használják erre a célra.
Hiszünk abban, hogy a bevált gyakorlatok egységesítésével és egyszerűbb eszközök biztosításával felgyorsíthatjuk tanulási folyamatainkat, és a legjobb termékélményt teremthetjük meg tagjaink számára, hogy hozzáférjenek az általuk kedvelt tartalmakhoz.
Oksági rangsor: Ok-okozati alkalmazkodási keret az ajánlási modellekhez
"Jeong-Yoon Lee", "Sudeep Das"
A legtöbb személyre szabott és keresésben használt gépi tanulási algoritmus, beleértve a mélytanulási algoritmusokat is, pusztán asszociatív jellegű. Megtanulják a jellemzők és az eredmények közötti összefüggésekből, hogyan lehet a legjobban megjósolni a célt.
Sok forgatókönyvben a pusztán asszociatív jellegen túllépve egy bizonyos cselekvés megtétele és az ebből eredő növekményes eredmény közötti oksági mechanizmus megértése válik kulcsfontosságúvá a döntéshozatalban. Az ok-okozati következtetések elvi módszert adnak az ilyen kapcsolatok megismerésére, és ha gépi tanulással párosulnak, akkor hatékony eszközzé válik, amelyet nagymértékben ki lehet használni.
A Netflixnél manapság sok felületet ajánlómodellek, például a kezdőlapon látható személyre szabott sorok működtetnek. Úgy gondoljuk, hogy ezen felületek közül sok profitálhat további algoritmusokból, amelyek arra összpontosítanak, hogy az egyes ajánlásokat a lehető leghasznosabbá tegyék tagjaink számára, azon túl, hogy azonosítják azt a címet vagy funkciót, amellyel valaki a legnagyobb valószínűséggel foglalkozik. Ha ezt az új modellt a meglévő rendszerek mellé adjuk, az javíthatja a javaslatokat azok számára, amelyek éppen aktuálisak, és segít megtalálni a pontos címet, amelyet a tagok most szeretnének streamelni.
Ez vezetett ahhoz, hogy létrehozzunk egy olyan keretrendszert, amely egy könnyű, oksági adaptív réteget alkalmaz a Causal Ranker Framework nevű alap ajánlási rendszerre. A keretrendszer több összetevőből áll: benyomás (kezelés) lejátszáshoz (eredmény) hozzárendelés, valódi negatív címkegyűjtés, ok-okozati becslés, offline értékelés és modellszolgáltatás.
Ezt a keretrendszert általános módon, újrafelhasználható összetevőkkel építjük fel, hogy a Netflix bármely érdeklődő csapata alkalmazhassa ezt a keretrendszert a saját használati esetére, javítva ajánlásainkat a termékben.
Bellmania: Növekményes számlaértékelés a Netflixnél és alkalmazásainál
"Reza Badri", "Allen Tran"
Az előfizetők megszerzésének vagy megtartásának értékének megértése alapvető fontosságú minden előfizetéses vállalkozás számára, mint például a Netflix. Míg az ügyfél élettartam-értékét (LTV) általában a tagok értékelésére használják, az LTV egyszerű mérőszámai valószínűleg túlértékelik a megszerzés vagy a megtartás valódi értékét, mivel mindig fennáll annak esélye, hogy a potenciális tagok a jövőben maguk csatlakoznak, mindenféle beavatkozás nélkül.
Módszertant és szükséges feltevéseket dolgozunk ki az előfizetők megszerzése vagy megtartása pénzbeli értékének becslésére a növekményes LTV ok-okozati értelmezése alapján. Ehhez a Netflixen és a Netflix LTV-n kívül is meg kell becsülnünk.
A Netflixen kívüli tagok adathiányának leküzdésére egy olyan Markov-láncokon alapuló megközelítést alkalmazunk, amely a Netflix LTV-n kívüli minimális adatmennyiséget állítja helyre az előfizetői lét és a lemondás közötti átmenetekre vonatkozóan.
Továbbá bemutatjuk, hogyan használható ez a módszertan (1) olyan összesített előfizetői számok előrejelzésére, amelyek figyelembe veszik a kezelhető piaci korlátokat és a fiókszintű dinamikát, (2) az árváltozások hatásának becslésére a bevételre és az előfizetések növekedésére, és (3) optimális politikák, például árengedmény, amelyek maximalizálják a tagok várható élettartamra szóló bevételét.
Az ok-okozati összefüggés mérése a Netflix „adattudományi kultúrájának” nagy részét képezi, és büszkék vagyunk arra, hogy olyan sok lenyűgöző kollégánk alkalmazza mind a kísérletezést, mind a kvázi kísérletezést a tagok hatásának növelése érdekében. A konferencia remek alkalom volt arra, hogy megünnepeljük egymás munkáját, és rávilágítsunk arra, hogy az oksági módszertan milyen módon tud értéket teremteni a vállalkozás számára.
Bízunk benne, hogy a következő bejegyzésekben többet megoszthatunk munkánkról a közösséggel. Ha naprakészen szeretnél maradni munkánkkal kapcsolatban, kövesd a Netflix Tech Blog-t, és ha szeretnél csatlakozni hozzánk, jelenleg új lenyűgöző kollégákat keresünk, hogy segítsenek szórakoztatni a világot!
