Általában arról írok, hogyan lehet integrálni és bevezetni az ML/AI-t a fogyasztói termékekbe. A munkám nagy része azonban az ML/AI fejlesztői eszközök készítése, amelyek egy része "nyílt forráskódú". Ezen a területen megszaporodnak az induló vállalkozások, amelyek szlogenje a mély tanulás, platform, vállalkozás, telepítés, képzés, méretezés, demokratizálódás szavak véletlenszerű permutációi közül véletlenszerűen kiválasztott. Kínálatuk az adatgyűjtéstől (ember általi adatmegjegyzés) az adattudományi munkakörnyezetekig és a hosztolt modellek telepítéséig terjed. Miután sok startuppal és befektetővel beszéltem a mély tanulási fejlesztői eszközökről, úgy éreztem, hasznos lenne, ha néhány gondolatomat szélesebb körben megosztanám.

Mit értek „mély tanulási eszközök vállalatok számára” alatt?

A mélytanulási módszer újdonsága

A módszerek és eszközök újdonságai minden területen folyamatosan jelen vannak. Az 1. ábrán a függőleges tengely bármely adott mélytanulási módszer újdonsága. A tetején a legújabb fejlesztések találhatók, amelyeket olyan konferenciákon publikálnak, mint a „NeurIPS”. Alul a legrégebben létező, jól ismert és széles körben alkalmazott módszerek láthatók. A vízszintes tengelyen a vállalkozásoknál ismert alkalmazások száma látható. Vegye figyelembe, hogy minden módszer természetes fejlődése az, hogy új kutatási eredményként indul ki, kevés alkalmazással, majd lassan szélesebb körben alkalmazzák, ahogy jobban érthető.

  • Speciális kutatás: A vörös terület a legtöbb kutató kényelmét jelenti. Ezen a téren nehéz magasabb szintű fejlesztői eszközöket vagy termelésre kész infrastruktúrát létrehozni, mert gyors ütemben változik. A kutatóknak sokféle nagyon rugalmas eszközre van szükségük munkájuk elvégzéséhez.
  • Újszerű alkalmazások: A zöld terület az, ahol ezek a fejlesztések elsőként alkalmazzák. Általában ezt először olyan nagy technológiai cégek teszik meg, mint a Google, a Facebook, az Apple vagy az Amazon. Megvan a türelmük, a tehetségük, az erőforrásaik és az üzleti alkalmazások széles skálája, hogy kipróbálhassák milliárdos üzleteik legújabb és legjobbjait.
  • Jól megértett alkalmazások: A kék területen azok a módszerek és alkalmazások találhatók, amelyek bizonyítottan működnek és széles körben elterjedtek. Ha egy módszer ebben a szakaszban van, általában elegendő könyvtár, eszköz és szolgáltatás áll rendelkezésre ahhoz, hogy a fejlesztők szélesebb köre alkalmazhassa azokat.

Kiemeltem azt a területet, amely általában a vállalkozások mély tanulási eszközeinek középpontjában áll. Ez a terület többnyire viszonylag alapvető és jól érthető módszerekből áll (pl. a jó öreg, teljesen összekapcsolt előrecsatolt neurális hálózat), de kiterjed néhány újszerűbb alkalmazásra is, amelyek működését nagy technológiai cégek bizonyították.

Vegye figyelembe, hogy lehetnek olyan induló vállalkozások, amelyek megpróbálnak eszközöket fejleszteni a kutatók számára (a piros terület), de ez még nehezebb terméket/üzletet bevinni.

Pozíció a veremben és a felhasználók

Egy másik fontos különbségtétel az ML/AI szoftververemben elfoglalt pozíció és a célfelhasználók. A 2. ábra túlságosan leegyszerűsített képet ad az ML/AI-veremről a hardvertől (legalacsonyabb) az üzleti megoldásokig (legmagasabb), és a megfelelő felhasználók/szerepek között.

Amikor az ML/AI fejlesztői eszközökre gondolunk, általában azokra az eszközökre utalunk, amelyeket az ML mérnökök vagy adatkutatók használnak adatok elemzésére, modellek betanítására, validálására és üzembe helyezésére (kék színnel kiemelve).

A grafikon másik részlete, hogy több üzleti érték jön létre a verem felső rétegeiben. A felhőajánlatokban a Software-as-a-Service (SaaS) általában nagyobb haszonkulcsot tud elérni, mint az Infrastructure-as-a-Service (IaaS), mivel az utóbbi közelebb áll az árucikké tételhez, az előbbi pedig specifikus megoldást nyújt a gyakori üzleti igényekre. . Még jobb, ha a professzionális szolgáltatások vagy tanácsadók testreszabott megoldást kínálnak egy adott üzleti igényre. A legtöbb technológiai startup azonban nem kezd bele a professzionális szolgáltatások nyújtásába.

Érdemes megemlíteni azt is, hogy történtek kísérletek vertikálisan integrált fejlesztői eszközök kínálatára, például olyan eszközökre, amelyek meghatározott számítási platformot vagy hardverkonfigurációt igényelnek. Általánosságban elmondható, hogy a hordozhatóság és az upstream és downstream komponensekkel való interoperabilitás hiánya mikropiachoz vezet, azaz a címezhető piac nagyon kicsivé válik. Erről a témáról lentebb a „Szükségesek, de nem elégségesek az eszközei” részben.

Miért fog kudarcot vallani az indítás?

Nos, miért érzem olyan erősen azt, hogy azok az induló vállalkozások, amelyek a vállalkozások mély tanulási eszközeire összpontosítanak, kudarcot vallanak? Íme néhány jól érthető ok, amiért nehéz bármit megépíteni a vállalkozások számára:

  • A beszerzési ciklusok hosszúak.
  • A szabványok/előírások széles körének való megfelelés költséges.
  • A vállalat jóváhagyott/megbízható szállítóinak listájára kerülés önmagában művészet.
  • Az elosztási csatornák nem mindig nyitottak az új belépők előtt.
  • Az örökölt rendszerek megnehezítik az új technológiák integrálását.

Feltételezem, hogy tisztában van ezekkel a kihívásokkal, és csak azokra a szempontokra fog összpontosítani, amelyek relevánsak a mély tanulási eszközökkel kapcsolatos induló vállalkozások legutóbbi hulláma számára.

Mielőtt belevágnánk, hadd tisztázzam, mit értek kudarc alatt. Úgy értem, hogy ezek a startupok nem fognak életképes és önfenntartó vállalkozásokká nőni. Lehetséges, hogy még mindig megszerzik őket tehetségükért, vagy egy nagyobb cégtől, amely átfogóbb kínálattal rendelkezik, de önálló cégként nem maradnak fenn.

Ezenkívül a legtöbb induló vállalkozás megbukik, ami jó kiindulási előrejelzést ad a kudarcnak. Ha azonban csak ezt kellett volna hozzátennem ehhez a vitához, akkor nem írtam volna meg ezt a cikket. Meggyőződésem okai három fő érvre bonthatók: 1) Nem minden a mély tanulás, 2) Tekintettel arra, hogy a vállalatoknak szélesebb igényeik vannak, nem tudnak speciális és szűk eszközökkel foglalkozni, és 3) A fejlesztői eszközök bevételszerzése nehéz. .

1) Nem minden mély tanulás

A mélytanulási eszközök minden bizonnyal szükségesek és hasznosak. Azonban nem minden üzleti alkalmazást lehet (vagy kell) megoldani mély tanulással. Érdemes lehet egy neurális hálózatot betanítani olyan gépi érzékelési feladatokra, mint például az áruk észlelése a képeken, de a csalások észleléséhez használjon gradiens-növelt fákat, vagy a kattintás előrejelzéséhez lineáris regressziót. A Kaggle¹ és KDnuggets² felmérések szerint az adatkutatók az esetek körülbelül egyharmadában neurális hálózatokat használnak. Következésképpen, ha a vállalati eszközei csak a mély tanulást támogatják, akkor felhasználói igényeinek körülbelül egyharmadát szolgálja ki. Íme néhány fő ok, amiért a mélytanulás nem mindenhol alkalmazható:

  • Következtetési késleltetés:Egyes alkalmazásokban a következtetés várakozási ideje alacsony egyjegyű ezredmásodpercben van, és csak ennyi mátrixszorzást végezhet ezredmásodperc alatt. Ilyen esetekben egyszerű lineáris modellekre lehet szükség (és gyakran elég jó).
  • Reproducálhatóság: A legtöbb mély tanulási módszer a sztochaszticitás velejárója. Sok valós esetben ugyanaz a modell ugyanazon az adatokon kétszer betanítva ugyanahhoz a teljes veszteség- és minőségi mutatóhoz konvergálhat, de részletesebb elemzéskor nagyon eltérően viselkedik. Egyes rendszerekben, pl. ajánlórendszereket, nem szeretné, hogy modellje viselkedése radikálisan megváltozzon csak azért, mert átképzett vagy több képzési adatot adott hozzá.
  • Értelmezhetőség: Azokban az esetekben, amikor előnyben részesítik, vagy néha törvényi előírás, hogy könnyen meg lehessen állapítani, miért készült egy előrejelzés, az olyan módszereket, mint a lineáris modellek vagy fák, általában előnyben részesítik a mélymodellekkel szemben. A fejlett mély tanulási modellek megértésének és értelmezésének területe nagyon aktív, de még nincs olyan helyen, ahol versenyezhetne más ML módszerekkel.
  • Tanulási kapacitás és adatok: Minél több együtthatóra van szüksége a betanításra (tanulási kapacitás), annál több adatra van szüksége egy jó modell megtanulásához. Másképpen fogalmazva, egy nagy neurális hálózatnak általában több betanítási példára van szüksége a konvergáláshoz, mint egy egyszerű lineáris modellnek. Ehhez kapcsolódó probléma a dimenzionalitás átka, ami azt feltételezi, hogy mivel egyre több jellemzőt szeretnénk bevonni modelljeinkbe, az adatok nagy dimenziós térben való megjelenítése megritkul. Ennek eredményeként a szükséges adatok mennyisége exponenciálisan növekszik.
  • Régi okok: Nem szabad alábecsülni a már szabadon lévő, nem mély tanulási modellek számát. Még ha mindenhol értelme is volt a mély tanulásnak, a meglévő telepítések új képzési módszerre való átállása évekbe telhet.

2) Az Ön eszközei szükségesek, de nem elegendőek

Az algoritmus (és a képzési keretrendszer) kiválasztása csak egy lépés az ML/AI fejlesztői munkafolyamatban. Ahogy fentebb említettük, ha a terméke csak mély tanulási célú felhasználási eseteket szolgál ki, a legtöbb vállalati felhasználó számára már nem éri el. Ezenkívül, ha a termék csak a munkafolyamat egy vagy néhány lépésére összpontosít, ugyanezek a hiányosságok érvényesek. A 3. ábra egy nagyon leegyszerűsített és magas szintű áttekintést mutat a fejlesztői munkafolyamatban szükséges összetevőkről és különböző rétegekről.

Tekintettel arra, hogy a vállalatoknak tágabb igényeik vannak, amelyek túlmutatnak a mély tanulás alkalmazási területén, figyelembe kell vennie azt a technikai és szervezeti bonyolultságot, amelyet a vállalati felhasználóknak kényszerítenek azáltal, hogy újabb eszközöket kell elfogadniuk. Íme néhány gyakori kihívás az ML/AI szoftvercsomagban:

Részmegoldások minden lépésben: Ha egy vállalkozás a fenti lépések mindegyikében csak részmegoldásokat talál, akkor sok különböző terméket kell alkalmaznia. A legkézenfekvőbb az ML keretrendszer, ahol egy tipikus vállalatnak három különböző keretrendszert kell elfogadnia, ha mély tanulási, fa-alapú és lineáris modelleket akar tanítani. Az alábbi idézet tökéletesen megragadja ennek a térnek a töredezettségét.

Napjaink adatmérnökei és adattudósai számos, szétválasztott eszközt használnak […], beleértve az ML keretrendszerek állatkertjét³

A hordozhatóság hiánya: A kapcsolódó kihívás a hordozhatóság hiánya. A telepítési környezetek nagyon heterogének a vállalatok között, és ha egy fejlesztői eszköz szorosan párosul egy, a veremben alacsonyabban lévő megoldással, akkor nem lesz sok környezetbe hordozható. Például egy olyan adatátalakítási terméket, amely csak a Sparkon fut, a Flinket használó vállalatok nem fogadhatják el. Hasonlóképpen, az ML keretrendszer, amely szorosan kapcsolódik egy adott hardveres gyorsítóhoz (vagy fordítva), nem lesz széles körben alkalmazható.

Inkompatibilitások a munkafolyamat során: Az eszközök sokfélesége miatt a legtöbb nem kompatibilis egymással. A közösség nem konvergált a szabványos formátumok és interfészek terén az ML/AI-veremben, így az eszközök integrálása a teljes munkafolyamatba rendkívül költséges lehet. Ez a probléma az adatformátumoktól (egyes képzési keretrendszerek korlátozott támogatása) a modell-szerializációs formátumokig terjed. Ahogy fentebb említettük, a részleges és inkompatibilis megoldások ebben a veremben azt jelenti, hogy csak nagyon kevés vállalat számára hasznosak, és Ön lényegében egy „mikropiacon” működik.

Folyamatosságok a munkafolyamat során: A fejlesztői eszközök gyakran csak a teljes munkafolyamat egy kis részére összpontosítanak. Különösen az ML/AI térben a különböző szerepek száma szervesen vezetett ehhez a széttagoltsághoz. Az adatmérnökök adatfolyamokat írnak, amelyek képzési adatokat biztosítanak, az adattudósok pedig mintavételezést végeznek az adatokból, és ML-keretrendszereket használnak notebook-környezetekben új modellek felépítéséhez és teszteléséhez, a termék-/infrastruktúramérnökök pedig megpróbálják ezt éles rendszerekbe lefordítani. Az e lépések közötti átadás hatékonyságcsökkenéshez és sok esetben termelési problémákhoz vezet.

Természetesen egy komplex technológiai halmazban célzott megoldást nyújtani önmagában nem rossz. A fejlesztői munkafolyamat egy kis részére történő összpontosítás azonban csak akkor működik, ha az ökoszisztéma jól megalapozott, és követi a közös interfészek és iparági szabványokat. Mivel ezek az interfészek és szabványok hiányoznak az ML/AI-térben, a verem többi részével összeegyeztethetetlen részmegoldások csak nagyon kis számú felhasználónál sikeresek lehetnek.

3) A bevételszerzési modellek nem nyilvánvalóak

Az ML/AI fejlesztői eszközök piaca viszonylag új, és az iparág még mindig azon dolgozik, hogy miből és hogyan lehet bevételt szerezni. Íme néhány észrevétel a leggyakoribb árképzési modellekkel kapcsolatban:

  • Felhasználásonkénti fizetés: A halom egyes részein a csökkenő használatonkénti fizetős árak azt a tényt jelzik, hogy ezeket az ajánlatokat árucikké alakítják (pl. következtetési API-k vagy címkézési szolgáltatások). Azokban az esetekben, amikor az ML/AI fejlesztői eszközök nem adnak sok hozzáadott értéket pusztán az általuk használt számításokhoz (IaaS), akkor előfordulhat, hogy az ára nulla.
  • Szoftverlicenc:A gyakori ülésenkénti árképzési modellek bármilyen típusú szoftverben megtalálhatók. A fejlesztői eszközök magas áraihoz azonban differenciáltnak és teljes körűnek kell lenniük. Az Adobe azért tudott pénzt keresni a Photoshopból, mert lényegesen jobb, mint a következő legjobb alternatíva, de az ML/AI-tér nem hozott egyenértékű aranystandardot.
  • Ökoszisztéma: Azokban az esetekben, amikor a bevételszerzés egy ökoszisztémából származik, a fejlesztői eszközök költségvezetők lehetnek. A Windows operációs rendszer értéke növekszik, ha több Windows-alkalmazás van, ezért az ilyen alkalmazások készítéséhez szükséges fejlesztői eszközöknek (Visual Studio) viszonylag hozzáférhetőnek kell lenniük. Nem világos azonban, hogy mi az operációs rendszer megfelelője az ML/AI térben.

Jó okai vannak annak, hogy az ML/AI fejlesztői eszközök bevételszerzési stratégiái még mindig tisztázatlanok. A fent leírt kihívások miatt még az eszközök kategóriáiban sincs egyetértés. Sok induló vállalkozás kerül olyan helyzetbe, amikor nem tudja bevételt szerezni fejlesztői eszközeiből, ilyenkor elforgatják és alkalmazzák szoftvereiket vagy adatvagyonukat, hogy megoldást kínáljanak egy adott iparági vertikumban (például egy adattudományi munkaasztallal foglalkozó vállalat, amely eladásokat épít ki) vezető pontozó eszközök a biztosítási ágazat számára).

Az ML Toolkit cégeknek

Ha idáig olvasott, valószínűleg kitalál néhány általános módszert a fent említett kihívások kezelésére az ML/AI szoftvercsomagban.

  • Ne adjon fejlesztői eszközöket, hanem megoldásokat. Amint azt a „Pozíció a veremben és a felhasználók” részben leírtuk, az üzleti érték nagy része magasabb szintű megoldásokban jön létre, és ezek kevésbé hajlamosak a gyakori buktatókra. fentebb vázoltuk. Ennek ellenére a vállalata döntésekbe fog ütközni, hogy mely fejlesztői eszközöket használja ezeknek a megoldásoknak a létrehozásához, de Ön hagyja, hogy az egyik fő felhőszolgáltató döntse el Ön helyett.
  • Teljes, végpontok közötti köteg létrehozása a munkafolyamat során. Ha a munkafolyamat lépései közötti interoperabilitás komoly probléma, dönthet úgy, hogy integrált megoldást hoz létre, amely lefedi a teljes munkafolyamatot. Valószínűleg itt is csak a vállalati ML/AI használati esetek egy részhalmazát fedi le, de legalább azok a használati esetek, amelyeket teljesíteni fog, teljes mértékben működni fognak.
  • Ha a munkafolyamatnak csak egy részét biztosítja, fektessen be sokat az interoperabilitásba. Tegyük fel, hogy modell-bevezetési megoldást készít a vállalatok számára. Javasoljuk, hogy támogassa az összes leggyakoribb modelltípust és szerializációs formátumot, amellyel az ML/AI térben találkozik. Csak egy vagy kettő támogatása nem lesz elegendő.
  • Ne integráljon függőlegesen, feltételezve, hogy egy adott számítási platform vagy hardverkonfiguráció van. Az eszköz alatti technológiai halmazzal kapcsolatos minden feltételezés korlátozza a megszólítható piacot. Keresse meg a megfelelő hordozhatósági rétegeket, amelyek lehetővé teszik, hogy eszközei a lehető legtöbb környezetben és a lehető legtöbb hardverkonfiguráción működjenek.
  • Gondolkodjon a mélyreható tanuláson túl. Egyetlen olyan vállalkozást sem láttam, amelynek csak egyfajta ML/AI problémája lett volna. Minden nagyobb vállalatnak több ML algoritmus kombinációjára lesz szüksége üzleti igényeinek megoldásához, és a mélytanulásra vonatkozó pontmegoldások biztosítása nem elegendő.

A jó hír az, hogy valószínűleg még lesz kilépésed

Ahogy fentebb említettük, ha nem sikerül önálló céget felépíteni, az nem jelenti azt, hogy nincs kilépés. Ezen a területen a legtöbb induló vállalkozást továbbra is tehetségük miatt vásárolják meg, vagy egy olyan vállalattól, amely képes lesz egy átfogóbb termékkínálatba integrálni egy pontmegoldást (valószínűleg az egyik legnagyobb felhőszolgáltató). A tehetségek piaca és a vállalati M&A továbbra is elég erős ahhoz, hogy vonzó kilépéseket biztosítson a startupok számára ezen a területen.

Remélem, hasznosnak találta ezt az írást, és segíthet döntéseinek meghozatalában, függetlenül attól, hogy saját vállalkozásáról vagy egy olyan cégről van szó, amelybe befektetni vagy felvásárolni szeretne.

[1] https://www.kaggle.com/surveys/2017

[2] https://www.kdnuggets.com/2018/05/poll-tools-analytics-data-science-machine-learning-results.html

[3] A Databricks Enterprise AI 2018. évi elfogadási jelentése

Clemens Mewald a Google Machine Learning X és TensorFlow X csapatainak termékvezetője. Szenvedélyesen törekszik arra, hogy a gépi tanulást mindenki számára elérhetővé tegye. Emellett „Google Developers Launchpad” mentor is.