]

добавление постоянных столбцов в Spark DataFrames

в Spark, добавление постоянного столбца в DataFrame с определенным значением для каждой строки может быть достигнуто с использованием различных методов.

Значение, которое можно использовать в качестве второго аргумента для dataframe.withcolumn для добавления постоянного столбца:

из pyspark.sql.functions Импорт Lit df.withcolumn ('new_column', lit (10))

] для более сложных столбцов, функции, такие как массив, карта и структура, можно использовать для создания желаемых значений столбцов:

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

из pyspark.sql.functions df.withcolumn ("some_array", массив (Lit (1), Lit (2), Lit (3))) df.withcolumn ("some_map", map (lit ("key1"), lit (1), lit ("key2"), lit (2)))

typedlit (Spark 2.2)

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

Spark 2.2 вводит функцию TypedLit, которая поддерживает Seq, Map, и tuples as as Constants: & & Puls: org.apache.spark.sql.functions.typedlit df.withcolumn ("some_array", typedlit (seq (1, 2, 3))))))) df.withcolumn ("soce_struct", typedlit (("foo", 1, 0.3))

с использованием UDF

в качестве альтернативы использованию буквальных значений, можно создать пользовательскую функцию (udf), которая возвращает константную стоимость для каждой строки и используется, чтобы добавить в колонку: & pyspark.sql.functions Импорт UDF, горит def add_ten (row): возврат 10 add_ten_udf = udf (add_ten, integertype ()) df.withcolumn ('new_column', add_ten_udf (lit (1.0)))

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

примечание:

постоянные значения также могут передаваться в качестве аргументов для функций UDF или SQL с использованием тех же конструкций. &&?