Június 26-án lezárult a Introduction to Deep Learning and TensorFlow gyorstanfolyam új szekciója. Ez az intenzív kurzus, amelyet Aurélien Géron, a „Kézi gyakorlati gépi tanulás a Scikit-Learn and TensorFlow-val” című, legkelendőbb könyv szerzője tartott, három napban összesíti, hogy mit kell tudni a következőkről:

  • A mély tanulás (DL) alapjai a TensorFlow 2.0 és a Keras segítségével,
  • Konvolúciós neurális hálózatok (CNN) és
  • Ismétlődő neurális hálózatok (RNN).

Ez a második alkalom, hogy Aurélien a Criteo-ba érkezik, hogy megtartsa ezt a tanfolyamot a Criteo gyorstanfolyam-sorozat részeként. Ennek a sorozatnak valamivel több mint 6 hónappal ezelőtt készült, és két célja volt:

  • a Criteo dolgozóinak képzése a gépi tanulás témakörében a legjobb gyakorlati szakemberek által tartott workshopokon/gyakorlati képzéseken keresztül.
  • visszaadni a közösségnek azáltal, hogy ingyenesen meghívunk külső ML-gyakorlókat, hogy tanuljanak velünk.

A Criteo eddig három ilyen eseményt szervezett:

  • két gyorstanfolyam a Deep Learningről Aurélien által ("egy" januárban/februárban – nézze meg az esemény "rövid videóját" - és az aktuális "egyet" júniusban), valamint
  • Egy gyorstanfolyam az NLP-ről ("egy munkamenet" májusban), amelyet "Vincent Guigue", a LIP6 laboratórium professzora tartott.

Az 1ˢᵗ ülést követően, amely rendkívül pozitív visszajelzésekhez vezetett, úgy tűnik, a hír eléggé elterjedt, és szó szerint elárasztanak bennünket azok a kérések, akik szeretnének részt venni rajta belül és kívül egyaránt. (Egyébként köszönöm mindazoknak, akik jelentkeztek, és elnézést kérek mindazoktól, akik nem tudtak részt venni ezen a foglalkozáson).

Ha elsőként szeretne értesülni a következő eseményekről, ne felejtse el követni a „Criteo AI Lab on Twitter” oldalt.

Megragadtuk az alkalmat, hogy Aurélien Párizsban interjút készítsen vele az ML/DL projektekkel kapcsolatos tapasztalatairól, tanácsairól, amelyeket megosztana, tippjeiről és trükkjeiről, hogy lépést tarthasson a mezőny tempójával, jövőképéről stb.

Mivel sok kérdésünk volt, Auréliennek pedig sok érdekes mondanivalója volt, ezt a blogbejegyzést három részre kellett osztanunk:

  • 1. rész (lent): Korai tájékozódás és leszállás az ML-be.
  • "2. rész: ML csúcspontok és karrierreflexiók"
  • „3. rész: Terepi perspektívák és könyvbemutató”

Aurélien saját útja és tanácsai a csatlakozóknak

Hogyan kerültél az ML mezőnyébe?

Engem lenyűgözött A.I. gyerekkorom óta. Rengeteg sci-fit olvastam, leginkább Isaac Asimov robottörténeteit. Tinédzserként írtam egy kis programot, ami megverte a dámajátékot. Csak egy egyszerű minimax algoritmust használt, de még mindig meglepett, milyen okosnak tűnik. Rájöttem, hogy a magas szintű intelligencia lehet, hogy csak egy egyszerű algoritmus összetett eredménye. Aztán biológiára szakosodtam, és egy ponton a rovarok viselkedését tanulmányoztam, és megtanultam, hogyan használják a neurális hálózatokat a különféle vegyi anyagokra való reagálás modellezésére. Azonnal kiakadtam a neurális hálókon. Feliratkoztam minden olyan kurzusra, amelyre tudtam az A.I. és neurális hálózatokon, és az első neurális hálózatomat még 1995-ben programoztam: ez egy Hopfields hálózat volt, amely néhány kézzel írt számjegy felismerésére volt képes. A Kohonen hálózatokkal (más néven önszerveződő térképekkel) is eljátszottam, például az utazó eladó problémájának megoldására. Izgalmas volt látni, hogy egy program képes kezelni a homályos, pontatlan bemeneteket, valahogy úgy, mint egy ember. Ezután egy projekten dolgoztam, ahol többrétegű perceptronokat használtunk a joghurt savasságának előrejelzésére különféle bemeneti jellemzők, például a hőmérséklet és a cukor mennyisége alapján. Gyanítom, hogy nem sikerült olyan jól, mert nem sokra emlékszem erről a projektről! Akkoriban a tanáraimat nem nagyon izgatták a neurális hálózatok, és sikerült meggyőzniük arról, hogy ez a terület kudarcra van ítélve. Így hát más témákkal foglalkoztam, először tanácsadóként és trénerként különböző területeken, majd alapítottam egy vezeték nélküli internetszolgáltatót, és ott voltam 10 évig műszaki igazgató. 2013-ban úgy döntöttem, változok egy kicsit, és csatlakoztam a Google-hoz a YouTube videóbesorolási csapatának vezetőjeként. Itt kezdtem el igazán professzionálisan a gépi tanulással foglalkozni. Olyan volt, mint egy valóra vált álom. A valaha ismert legokosabb emberekkel dolgoztam együtt, és sok mindent megtanítottak arra, amit tudok. Azóta a könyvem megírásán kívül gépi tanulási tanácsadóként és trénerként dolgozom.

Kötelező szakirányú végzettség ma a teljesítményhez?

nem hiszem el. A mélytanulás meglehetősen hozzáférhető terület, nem olyan, mint a kvantumfizika vagy az orvostudomány. Ismernie kell néhány főiskolai szintű matematikát, főleg lineáris algebrát (tudnia kell a mátrixokkal és vektorokkal való munkát), rendelkeznie kell bizonyos intuíciókkal a számítással kapcsolatban (tudnia kell, mi a derivált), és ismernie kell a statisztika néhány alapját (átlag, szórás, megbízhatósági tartomány). …). Legtöbbször csak erre lesz szüksége, sőt, sok feladathoz egyszerűen használhatja a meglévő eszközöket anélkül, hogy mindezt tudnia kellene. Egyes részterületek további ismereteket igényelnek, különösen a Bayes-i mélytanulás. Ma már akkora hiány van tapasztalt ML-gyakorlóból, hogy a cégeknek általában nem kell diploma. De ez megváltozik, ahogy egyre több diák érettségizik, a cégek elkezdhetnek igényesebbé válni.

Milyen tanácsot szeretett volna, ha valaki adna önnek, amikor elkezdte a pályát?

Csábító, hogy egyenesen a Deep Learningbe ugorjak és neurális hálókat oktassak, de eltartott egy ideig, míg rájöttem, hogy az egyszerűbb modellek, például a lineáris modellek vagy a Random Forests gyakran jobban teljesítenek, különösen akkor, ha a képzési készlet nem hatalmas, vagy ha a jel-to- a zajarány alacsony. Különösen, ha idősorokkal foglalkozom, nagyobb sikereket értem el a jó öreg ARIMA modellekkel, mint a Deep RNN-ekkel. Sőt, a modell valójában egy gépi tanulási projekt meglehetősen kis része: ezt próbáltam kiemelni könyvemben úgy, hogy egy teljes projekt áttekintésével kezdem, ahelyett, hogy közvetlenül a neurális hálózatokra vagy más modellekre ugrottam volna. .

Jó támpontok ahhoz, hogy lépést tartsunk a terület fejlődési ütemével

Hogyan értesülhet az ML előrehaladásáról?

Nagyon sok csodálatos embert követek a Twitteren, és azt gondolom, hogy ez egy nagyszerű platform a forró új témák nyomon követésére. Kell egy kis munka, hogy a takarmány a lehető legtisztább és hasznosabb legyen, de tényleg megéri az erőfeszítést. Igyekszem főleg azokat követni, akik technikai információkat tweetelnek, és habozás nélkül leiratkozom, ha a fiókok túl sokat csiripelnek más témákban. A www.arxiv-sanity.com-ot is használom, hogy érdekes olvasmányokat találjak.

Kit követsz?

Yann LeCun, Andrej Karpathy, Andreas Mueller, Jeremy Howard, Jake VanderPlas, Olivier Grisel, Jeff Dean, Rachel Thomas, Ian Goodfellow, François Chollet, és még sok más.

Olyan nagyszerű gyakorlókat is követek, akikkel volt alkalmam együtt dolgozni, mint például Eric Lebigot, Martin Andrews, Sam Witteveen, Jason Zaman és még sokan mások.

Végezetül olyan cégeket és projekteket is követek, mint a TensorFlow, DeepMind, Facebook, és sok ember dolgozik ezekben a csapatokban, mint például a Martin Wicke vagy Paige Bailey.

Melyik blogot olvasod?

Nagyon élvezem a "Disztill"-t. Időnként olvasok más blogokat, például a Google és a DeepMind blogjait. De leginkább a twitteren található linkeken keresztül találok érdekes blogbejegyzéseket.

Melyik konferencián vesz részt?

Szeretem a NeurIPS konferenciát a legújabb kutatásokhoz, a TensorFlow Dev Summit-ot a TF-specifikus tartalmakhoz, az O'Reilly Data és az AI-konferenciákat az iparág-orientáltabb felhasználási esetekhez, és szeretek ML-találkozókra járni.

Mi az a jó információforrás, amelyre az emberek nem gondolnak?

Nagyon sok nagyszerű információt találtam közvetlenül a forráskódban! Újságokat olvasni nagyszerű, de néha nehéz igazán felfognom a részleteket anélkül, hogy ténylegesen látnám a megvalósítást. A paperswithcode.com weboldal kiválóan alkalmas erre.

A második rész „itt”…