欢迎光临
一个有态度、有温度的分享型博客

标签:spark

Spark中map和flatMap的区别详解-容休博客
技术

Spark中map和flatMap的区别详解

rxwangwb阅读(1686)评论(0)

本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。 函数原型 1.map(func) 将原数据的每个元素传给函数func进行格式化,返回一个新的分布式数据集。(原文:Return a new d...

在Windows上运行Apache Spark-容休博客
技术

在Windows上运行Apache Spark

rxwangwb阅读(600)评论(0)

这篇文章介绍如何在Windows上运行Apache Spark 。 一、环境要求 运行spark需要以下条件的支持: Java6+ Scala 2.10.x Hadoop 2.7.x 二、安装步骤 安装Jdk 7 或更高版本,设置Java_...

使用Idea在Windows上开发spark程序-容休博客
技术

使用Idea在Windows上开发spark程序

rxwangwb阅读(240)评论(0)

环境搭建 由于平时开发工作主要在windows平台进行,所以在Windows平台搭建spark开发环境很有必要,在开始进行程序开发之前你可能需要参考以下文章: 在Windows平台安装Hadoop(不借助cygwin); 在Windows上...

Spark配置参数-容休博客
技术

Spark配置参数

rxwangwb阅读(351)评论(0)

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置; 环境变量...

Spark三种部署方式比较-容休博客
技术

Spark三种部署方式比较

rxwangwb阅读(184)评论(0)

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来...

Spark中reduceByKey和groupByKey的区别-容休博客
技术

Spark中reduceByKey和groupByKey的区别

rxwangwb阅读(501)评论(0)

方法定义: 1.reduceByKey(func[,num Tasks]) 当键值相同的键值对(K,V)数据集调用此方法,他们的键对应的值会根据指定的函数(func)进行聚合,而键值(V,V)也进行合并,返回键值(V),最终返回一个键值对(...

一个有温度、有态度的分享型博客

广告合作联系我们