搜索资源列表
Spark快速大数据分析
- 利用Python和Spark进行海量数据的实时分析,解决商业方案(Using Python and Spark to do real-time analysis of mass data, and to solve business solutions)
Spark快速大数据分析
- 每个spark应用都由一个驱动器程序来发起集群上的各种分布式并行操作。驱动器程序包含应用的main函数,并且定义了集群上的分布式数据集,还对这些分布式数据集应用了相关操作。 在上面的例子中,实际的驱动器程序就是spark shell本身,只要输入想运行的程序就可以了。 驱动器程序通过一个SparkContext对象来访问spark.这个对象代表对计算集群的一个连接。shell启动时已经自己创建了一个SparkContext对象,是一