Я новичок в искры. Там все равно, что я мог бы работать с командой Update в spark-SQL. Я уже создал таблицу hive, в которой я манипулировал некоторыми синтаксическими запросами SQL, такими как insert,
df:
[Row(split(value,,)=[u'21.0', u'1',u'2']),Row(split(value,,)=[u'22.0', u'3',u'4'])]
как преобразовать каждую строку в DF в LabeledPoint объект, который состоит из метки и функций, где первое зн
У меня есть RDD, который я преобразовал в Spark SQL DataFrame. Я хочу сделать ряд преобразований столбцов с UDF,, который заканчивает тем, что ищет что-то вроде этого: df = df.withColumn("col1", udf1(
Предположим, у меня есть искра dataframe, data.show() ID URL
1 https://www.sitename.com/&q=To+Be+Parsed+out&oq=Dont+Need+to+be+parsed
2 https://www.sitename.com/&q=To+Be+Parsed+out&oq=Dont+