A df1.printSchema() kiírja az oszlopneveket és az adattípusokat, amelyekkel rendelkeznek.
A df1.drop($"colName") eldobja az oszlopokat a nevük alapján.
Van mód arra, hogy ezt a parancsot az adattípus szerint módosítsa?
Oszlopok eldobása adattípus szerint a Scala Sparkban
29.01.2017
Válaszok:
1
Ha konkrét oszlopokat szeretne eldobni az adatkeretben a típusok alapján, akkor az alábbi részlet segít. Ebben a példában van egy adatkeretem két oszlopból, amelyek String és Int típusúak. Eldobom a String (minden String típusú mező kikerül) mezőmet a sémából annak típusa alapján.
import sqlContext.implicits._
val df = sc.parallelize(('a' to 'l').map(_.toString) zip (1 to 10)).toDF("c1","c2")
df.schema.fields
.collect({case x if x.dataType.typeName == "string" => x.name})
.foldLeft(df)({case(dframe,field) => dframe.drop(field)})
A newDf sémája org.apache.spark.sql.DataFrame = [c2: int]
29.01.2017
2
Íme egy divatos módszer a scala alkalmazásban:
var categoricalFeatColNames = df.schema.fields filter { _.dataType.isInstanceOf[org.apache.spark.sql.types.StringType] } map { _.name }
04.09.2017
Új anyagok
A rádiógomb ellenőrzött eseményének használata a jQueryben
Ebben a cikkben látni fogjuk, hogyan kell dolgozni a jquery választógombbal ellenőrzött eseményeivel. A választógombok HTML gombok, amelyek segítenek kiválasztani egyetlen értéket egy csoportból...
Körkörös függőségek megoldása terraformban adatforrásokkal – lépésről lépésre
Mi az a körkörös függőségek
Dolgozzunk egy egyszerű eseten, amikor az SQS-sor és az S3-vödör közötti körkörös függőség problémája van egy egymástól függő címkeérték miatt.
provider..
Miért érdemes elkezdeni a kódolást 2023-ban?
01100011 01101111 01100100 01100101 — beep boop beep boop
Világunk folyamatosan fejlődik a technológia körül, és naponta fejlesztenek új technológiákat a valós problémák megoldására. Amint..
🎙 Random Noise #2 – Örökbefogadás és hit
az analitika íratlan világának gondozása
Szeretné, hogy ezek a frissítések a postaládájába kerüljenek? Iratkozzon fel itt .
"Ha önvezető autókat gyártanak, akkor mi miért ne..
A legrosszabb politika és prediktív modellek májátültetésre jelöltek számára az Egyesült Államokban
A máj (vagy óangolul lifer) az emberi test legnehezebb belső szervére utal, amely csendesen működik a nap 24 órájában.
Mit csinál a máj? 500 feladatot hajt végre a szervezet egészségének..
5 webhely, amely 2022-ben fejleszti front-end fejlesztői készségeit
Frontendmentor.io
A tényleges projektek létrehozásával a Frontendmentor.io segítséget nyújt a front-end kódolási képességeinek fejlesztésében. A kódolást azután kezdheti meg, hogy..
Mikor kell használni a Type-t az interfészhez képest a TypeScriptben?
A TypeScript a JavaScript gépelt szuperkészlete, amely statikus gépelést ad a nyelvhez. Ez megkönnyíti a robusztus és karbantartható kód írását azáltal, hogy a hibákat a fordítási időben..