数据结构论坛

注册

 

发新话题 回复该主题

SparkRedis入门到解决执行海量 [复制链接]

1#

Spark是专为大规模数据处理而设计的快速通用的计算引擎,起源于UCBerkeleyAMPlab的一个研究项目。相比传统的Hadoop(MapReduce),Spark的性能快了将近x倍。

Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上,其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题,于是诞生了Spark-Redis。

01

Spark-Redis入门

入门篇包含一些基础概念和重要的类、方法。

1.1

配置Config

在maven的pom.xml中添加依赖:

dependencies

dependency

groupId

分享 转发
TOP
发新话题 回复该主题