Spark Map函數

在Spark中,Map通過函數傳遞源的每個元素,並形成新的分佈式數據集。

Map函數示例

在此示例中,我們爲每個元素添加一個常量值10。要在Scala模式下打開Spark,請按照以下命令操作 -

$ spark-shell

Spark Map函數

使用並行化集合創建RDD。

scala> val data = sc.parallelize(List(10,20,30))

現在,可以使用以下命令讀取生成的結果。

scala> data.collect

Spark Map函數

應用map函數並傳遞執行所需的表達式。

scala> val mapfunc = data.map(x => x+10)

現在,可以使用以下命令讀取生成的結果。

scala> mapfunc.collect

在這裏,得到了所需的輸出。

Spark Map函數