欢迎光临
一个有态度、有温度的分享型博客

标签:spark

Spark中map和flatMap的区别详解-容休博客
技术

Spark中map和flatMap的区别详解

rxwangwb阅读(3120)评论(0)赞(0)

本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。 函数原型 1.map(func) 将原数据的每个元素传给函数func进行格式化,返回一个新的分布式数据集。(原文:Return a new d...

使用Idea在Windows上开发spark程序-容休博客
技术

使用Idea在Windows上开发spark程序

rxwangwb阅读(432)评论(0)赞(0)

环境搭建 由于平时开发工作主要在windows平台进行,所以在Windows平台搭建spark开发环境很有必要,在开始进行程序开发之前你可能需要参考以下文章: 在Windows平台安装Hadoop(不借助cygwin); 在Windows上...

Spark配置参数-容休博客
技术

Spark配置参数

rxwangwb阅读(594)评论(0)赞(0)

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置; 环境变量...

Spark三种部署方式比较-容休博客
技术

Spark三种部署方式比较

rxwangwb阅读(354)评论(0)赞(0)

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来...