Spark SQL优化与硬件选型

在Spark大数据应用中,如何让硬件得到更好的效能发挥和更高的性价比一直是我们关心的话题。如何收集硬件利用率和Spark应用程序性能瓶颈分析;当新硬件采购时,如何验证怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比。在这个主题中,我们将展示不同特性的典型Spark应用的性能分析和调优手段,揭示如何释放硬件资源,监控硬件性能发挥,并在此基础上,测试不同硬件配置诸如内存、网络、磁盘、CPU选型,对于Spark大数据应用程序性能的影响,指导运维人员决策购买或者升级新的硬件零部件时候,可能可以采取的测试验证方法。此外,我们也将比较Spark应用程序在物理机、虚拟机以及容器技术下的性能分析和对比,提供大数据应用部署在不同基础设施架构下的硬件性价比参考。

程浩,Intel亚太研发中心Spark团队研发经理,Apache Spark活跃开发者,致力于Spark框架在Intel平台架构上的性能分析与优化。

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

Spark SQL优化与硬件选型

推荐文章

沪公网安备 31010702002009号