A szerkesztő megjegyzése: Ray Reed az ODSC APAC 2022 előadója szeptember 7-8. Feltétlenül nézze meg a „„CV-rendszerek monitorozása: Egyedi megoldás egyedi problémára” című előadását, ahol többet megtudhat a képadatok megfigyeléséről.
Ahogy a gépi tanulás ökoszisztémák egyre összetettebbé válnak, és az adatmennyiség szédületes ütemben növekszik, az adatok megfigyelhetőségének és a modell állapotának fenntartása kritikusabb, mint valaha. Az adatok eltolódása, a koncepciók eltolódása és az adatminőség romlása a modellek meghibásodását okozhatja. A legrosszabb esetben ezek csendes hibák, és hónapokig észrevétlenül maradhatnak.
Ha táblázatos adatkészletekkel dolgozik, az adatok minősége nyomon követhető a hiányzó értékek, a számosság és az adattípusok telemetriájának rögzítésével az adatkészlet egyes funkcióihoz. Az „adatsodródás” leíró statisztikák rögzítésével és az adatok hozzávetőleges eloszlásával, valamint statisztikai távolságok kiszámításával követhető nyomon, mint például a „Hellinger-távolság” vagy a „KL Divergence”. Nem nyilvánvaló azonban, hogyan lehet hasonló megközelítést alkalmazni a képadatokra. Amint látni fogjuk, a strukturálatlan adatok, például a képek figyelése megvalósítható telemetria rögzítésével, amely strukturált, és ezért kompatibilis az általános statisztikai megközelítésekkel.
Mielőtt továbblépnénk, mérlegelnünk kell, hogy milyen típusú problémák fenyegetik a számítógépes látórendszereket. Ha már ennyit megállapítottunk, megoldást tudunk tervezni ezekre a kihívásokra.
Fizikai tényezők
Számos fizikai tényező befolyásolhatja a képadatok konzisztenciáját és minőségét, például…
- Használt eszköz
- Eszköz beállítások
- Változások a környezetben
- Változások az észlelt objektum(ok)ban
A hardver nyilvánvaló példa. A különböző eszközök (vagy eszközbeállítások) befolyásolhatják a képek méretét és felbontását, valamint számos más tulajdonságot. Tegyük fel, hogy egy egészségügyi vállalat nagyobb felbontású orvosi képalkotó eszközre frissít. Bár ezek a képek megkönnyíthetik a diagnózist az orvosok számára, az eredeti eszköz által generált képekre kiképzett számítógépes látórendszerek valójában rosszabbul teljesítenek.
A környezet fizikai változásai újabb kihívást jelentenek. Vegyünk például egy számítógépes látórendszert, amely az összeszerelősoron lévő termékek ellenőrzéséért felelős. Ha a gyár más típusú izzót kezd használni, az olyan hatással lehet a képekre, amelyek kezelésére a gépi tanulási modell nem volt felkészülve. Bár ez valószínűleg nem okoz súlyos hibát, a modell teljesítménye zuhanhat, anélkül, hogy a modellért felelős személyek tudnák.
A hardveren és a világításon kívül számtalan olyan potenciális kihívás létezik, amelyek közvetlenül a leképezett jelenetben jelentkezhetnek. Változások lehetnek a kép hátterében, a célobjektumok méretében vagy számában (objektumészlelés), vagy a célobjektumokban, amelyek jelentősen eltérnek a betanító készletben találttól.
A képek megvilágítása, háttere, képminősége, tárgymérete, számozása stb. gyakran nem egységes.
Adatfolyam-tényezők
Még ha biztosítani is tudjuk, hogy a nyers képek következetesen reprezentálják a képzési adatainkat, ezek a képek gyakran egy összetett csővezetéken haladnak keresztül, amely számos lehetséges hibapontot vezet be, mint pl.
- Színcsatornát cseréltek
- Inkonzisztens színterek
- Inkonzisztens méretezés
A különböző képfeldolgozó keretrendszerek eltérő sorrendben olvashatnak a színes csatornákban, ami csatornacserét okozhat az új eszközre való áttéréskor. Egy újonnan bevezetett hiba következetlenséget eredményezhet a szürkeárnyalatos vagy színes képek modellünkbe való átadásában, illetve a pixelértékek méretezésében. Tegyük fel, hogy betanítunk egy modellt, amely 0 és 255 közötti pixelértékeket vár. Ha ezeket az értékeket 0,0 és 1,0 között kezdjük skálázni, ez azt eredményezheti, hogy a modell hatékonyan fekete, jellegtelen képeket kap.
Az adatfolyam-problémák inkonzisztenciát okozhatnak a pixelértékek skálázásában, a csatornák sorrendjében vagy a csatornák számában.
A megoldás
A fent leírt problémák hatékony nyomon követése érdekében olyan mérőszámokat kell kiszámítanunk, amelyek érzékenyek ezekre az eseményekre. Például egy kép átlagos pixelértékének kiszámítása a kép fényerejének mértékeként szolgálhat, és felhasználható a kép megvilágításának változásainak megfigyelésére. A legtöbb képfeldolgozó eszköz képes kiszámítani a színárnyalatot és a telítettséget, amelyek információt szolgáltatnak a kép színpalettájáról. Ezek a mennyiségek felhasználhatók olyan dolgok megfigyelésére, mint például a kép hátterében bekövetkezett változások vagy olyan problémák, mint a kép színcsatornáinak felcserélése. A képmagasság monitorozása triviálisan elvégezhető a nyers képadatokat reprezentáló tenzor alakjának rögzítésével. Az ebben a tenzorban lévő csatornák számából következtethetünk egy kép színterére (RGB, CMYK, szürkeárnyalatos).
Sok esetben értékes metaadatok érhetők el a képfájlban Exif adatok formájában. Az Exif-adatok gyakran tartalmaznak olyan információkat, mint az eszköz gyártmánya és modellje, a fényképezés közbeni kamerabeállítások, valamint a képhez társított földrajzi hely, dátum és idő. Tekintsünk egy modellt, amely képes a növényfajok képek alapján történő azonosítására. A geolokáció rögzítése a képek exif adataiból segíthet tájékoztatni az ML mérnököket arról, hogy az új képek várhatóan tartalmaznak-e olyan növényfajokat, amelyek nem szerepeltek a képzési adatkészletben.
Példa az Exif-adatokból kinyert kamerabeállításokra
Monitoring a Scale-ban
Most, hogy tudjuk, milyen telemetriát szeretnénk rögzíteni a képekhez, hogyan alakíthatjuk ezt teljes értékű monitorozási megoldássá? A WhyLabs csapata kifejlesztett egy nyílt forráskódú adatnaplózó könyvtárat, a whylogs-t, amelyet arra terveztek, hogy az értékes telemetriai adatokat hatékonyan és testreszabható módon rögzítse bármely adatkészlethez. A Whylogs elsődleges szempont a testreszabhatóság, lehetővé téve a felhasználók számára, hogy integrálják a Whylogokat bármilyen adatfolyamba, függetlenül attól, hogy képadatokkal, táblázatos adatokkal, szöveggel vagy valami mással dolgozik.
Ezen túlmenően a felhasználók hatékony anomália-észlelést, informatív vizualizációkat és automatikus értesítéseket használhatnak fel, ha profilokat töltenek fel a WhyLabs AI Observatory-ba egy végpontok közötti megfigyelési megoldás érdekében. Az első modelled ingyenes!
Ha többet szeretne megtudni a számítógépes látásrendszerek nagyarányú felügyeletéről, feltétlenül vegyen részt az „ODSC APAC, 2022” című előadásomban, melynek címe „CV-rendszerek monitorozása: egyedi megoldás egy egyedi problémára”.
A szerzőről/ODSC APAC 2022 előadóról a képadatok megfigyeléséről:
Ray Reed a WhyLabs, az AI megfigyelési vállalat ügyfél-sikeradat-kutatója. Régóta szenvedélye a gépi tanulás, és szeret segíteni ügyfeleinek időt és pénzt takarítani az ML-rendszereik széles körű figyelésével. Ray korábban Senior Success Engineer volt a Datorama-nál, a Salesforce Company-nál, ahol a nagyvállalati ügyfelek sikerét hajtotta végre azzal a céllal, hogy javítsa a lekérdezések teljesítményét a vállalaton belül. Szabadidejében Ray szeret túrázni, zenélni és túrázni.
További adattudományi cikkeket olvashat az OpenDataScience.com oldalon, beleértve az oktatóanyagokat és útmutatókat a kezdőtől a haladó szintig! „Iratkozzon fel heti hírlevelünkre itt”, és minden csütörtökön megkapja a legfrissebb híreket. Az Ai+ Training platformunkkal igény szerint adattudományi képzést is kaphat, bárhol is van. Iratkozzon fel gyorsan növekvő Közepes kiadványunkra, az ODSC Journal-ra is, és érdeklődjön arról, hogy íróvá válhat.
