课程介绍：大数据实时处理–基于Spark的大数据实时处理及应用技术

课程中结合实例，介绍图工具GraphX如何发现社交网络中的人际关系，大数据挖掘工具MLlib如何进行商品聚类和电影推荐，以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合，分析了其应用前景。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题，并介绍了Spark生产环境搭建的相关知识。

第一讲 Spark大数据实时处理技术

第二讲 Spark安装配置及监控

第三讲 Scala编程语言使用概述

第四讲 Spark分布式计算框架

第五讲 Spark内部工作机制详解

第六讲 Spark数据读取与存储

第七讲 Spark通信模块和容错机制

第八讲 SQL On Spark

第九讲 Spark流数据处理工具Streaming

第十讲 Spark中的大数据挖掘工具MLlib

第十一讲 Spark大规模图处理工具GraphX

第十二讲 Spark与其他大数据技术的融合与应用

14年设计工作经验 8年营销推广经验

参与项目

腾讯

美赞臣

中国电信

QQbaby

一线设计精英担纲课程讲师

       天琥通过“面试、项目测试、复试、试讲、教研培训”五大步骤严格选拔设计讲师，确保每位讲师都拥有丰富的项目经验。

       进入天琥的他们大多是来自4A广告公司的一线设计精英、知名设计总监、艺术院校教授。他们凭借自身强大的项目经验，手把手教授学员，让学员迅速掌握项目精髓。

　   随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄。

　　上面的这些是大数据从事的工作岗位的大方向，还有很多细分岗位小编就不一一列举了。大数据知识更新迭代非常迅速，想要在工作岗位上处于不败之地，是需要不断学习进步给自己充电。

数据挖掘是相关学科充分发展的基础上被提出和发展的，主要的相关技术：

ID3算法的性能分析：

ID3算法的假设空间包含所有的决策树，它是关于现有属性的有限离散值函数的一个完整空间。所以ID3算法避免了搜索不完整假设空间的一个主要风险：假设空间可能不包含目标函数。

ID3算法在搜索的每一步都使用当前的所有训练样例，大大降低了对个别训练样例错误的敏感性。因此，通过修改终止准则，可以容易地扩展到处理含有噪声的训练数据。

ID3算法在搜索过程中不进行回溯。所以，它易受无回溯的爬山搜索中的常见风险影响：收敛到局部最优而不是全局最优。