大数据分布式计算工具Spark实战讲解(数据输入实战）

Python数据容器转RDD对象

PySpark���持通过SparkContext对象的parallelize成员方法，将：

- list

- tuple

- set

- dict

- str

转换为PySpark的RDD对象

注意：

•字符串会被拆分出1个个的字符，存入RDD对象

•字典仅有key会被存入RDD对象

from pyspark import SparkConf, SparkContext#创建一个sparkconf类对象conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")#基于sparkconf类对象创建sparkcontext类对象sc = SparkContext(conf=conf)#通过parallelize方法将python对象加载到spark内，成为rdd对象rdd1 = sc.parallelize([1,2,3,4,5])rdd2 = sc.parallelize((1,2,3,4,5,6))rdd3 = sc.parallelize("absdad")rdd4 = sc.parallelize({1,2,3,4,5})rdd5 = sc.parallelize({"key1":"value1"})#如果要查看rdd里面有什么内容，需要用collect（）方法print(rdd1.collect())print(rdd2.collect())print(rdd3.collect())print(rdd4.collect())print(rdd5.collect())sc.stop()#通过textfile方法，读取文件数据加载到spark内，成为rdd对象[1, 2, 3, 4, 5][1, 2, 3, 4, 5, 6]['a', 'b', 's', 'd', 'a', 'd'][1, 2, 3, 4, 5]['key1']

读取文件转RDD对象

PySpark也支持通过SparkContext入口对象，来读取文件，来构建出RDD对象。

from pyspark import SparkConf, SparkContext#创建一个sparkconf类对象conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")#基于sparkconf类对象创建sparkcontext类对象sc = SparkContext(conf=conf)rdd = sc.textFile("D:/hello.txt")print(rdd.collect())sc.stop()#['qweeqweqweqe']