스파크 데이터 프레임에서 상수 열을 추가하고 스파크에

각 행에 대한 특정 값이있는 데이터 프레임에 상수 열을 추가하는 다양한 방법을 사용하여 달성 할 수 있습니다. 상수 열을 추가하기 위해 Dataframe.withColumn의 두 번째 인수로 사용될 수있는 문자 값 :

에서 pyspark.sql.functions import lit df.withcolumn ( 'new_column', lit (10))

더 복잡한 열, 배열, 맵 및 구조와 같은 기능을 사용하여 원하는 열 값을 구축하는 데 사용될 수 있습니다 :

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

import array, map, map, struct df.withcolumn ( "some_array", 배열 (lit (1), lit (2), lit (3)))) df.withcolumn ( "some_map", map (lit ( "key1"), lit (1), lit ( "key2"), lit (2))

from pyspark.sql.functions import array, map, struct

df.withColumn("some_array", array(lit(1), lit(2), lit(3)))
df.withColumn("some_map", map(lit("key1"), lit(1), lit("key2"), lit(2)))

seq, map 및 duples를 지원하는 입력 기능을 소개합니다. org.apache.spark.sql.functions.typledlit df.withcolumn ( "some_array", typedlit (seq (1, 2, 3)))) df.withcolumn ( "some_struct", typedlit (( "foo", 1, 0.3))

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

를 사용하여 문자 그대로 값을 사용하는 대안으로 각 행에 일정한 값을 반환하고

를 추가 할 수있는 사용자 정의 함수 (UDF)를 사용하는 것이 가능합니다. pyspark.sql.functions import udf, lit def add_ten (행) : 반환 10 add_ten_udf = udf (add_ten, integertype ()) df.withcolumn ( 'new_column', add_ten_udf (lit (1.0))

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))