Spark and Redis整合解决方案

Spark,是一种大规模数据计算引擎,比Hadoop MapReduce引擎有明显的优势,由于它循环数据流和使用内存计算。Redis超快的性能和优化内存数据结构,可以降低Spark处理时间高达98%
Redis+Spark使用优势
Redis可以加速Spark性能高达50倍,在一些情况下Spark处理时间序列数据
Redis共享分布式存储基础设施提供给Spark
Redis数据结构允许单个元素数据访问,最大限度地减少序列化/反序列化的开销,避免传输大的数据块
Redis可以使用SSD作为RAM内存的扩展,提供很高的性能和低的成本
Redis-Spark Connector连接器将Redis数据结构和SparkI连接起来,通过Spark API非常容易使用
Databricks’ Spark 平台现在已整合了Redis Lab’s Redis Cloud。The Databricks Spark notebook描述如何连接Redis Cloud请访问这里,查看集成演示请访问这里
qq20161018-02x

推荐文章

沪公网安备 31010702002009号