重庆大数据开发工程师培训

01 Linux技术：

Linux 简介与安装部署，Linux命令，Linux 用户和权限，Linux Shell脚本… …

02 数据库开发：

MySQL安装和管理，SQL语句，SQL语句原理，SQL语句优化，表、表设计原则，视图、序列、索引，数据库设计原则，SQL优化技巧和原则… …

03 JDBC技术：

JDBC 核心API，CRUP操作，Statement应用，PreparedStatement应用，预防SQL注入攻击，事务安全控制，数据库高并发控制，批处理技术，DAO封装模式，连接池应用… …

04 H5/CSS3/JS技术：

HTML5(H5)基本文档结构，标题、图片标记，链接、列表、表格标记，表单标记，CSS基础语法，CSS文本、列表、表格样式，CSS盒子模型，CSS浮动布局、定位，JavaScript语言基础，JavaScript闭包和自执行，JavaScript DOM编程，JavaScript事件模型，Window对象模型，HTML5画布，Web存储，地理定位，音频/视频、拖放，WebSocket技术等，CSS3边框，CSS3背景、文本效果，CSS3字体、动画等… …

05 Servlet技术：

Tomcat配置和部署，Servlet生命周期，Servlet编写规范和配置，中文接收乱码处理，Servlet过滤器和监听器，Servlet+DAO工厂模式应用… …

06 JSP技术：

JSP 基本语法，JSP标记应用，JSP内置对象request、session、application、exception等，JSTL和 EL表达式，JSP新特性，MVC设计模式… …

07 AJAX技术：

Ajax作用和原理，XMLHttpRequest对象，Ajax设计模式，JSON技术及Ajax应用，jQuery与Ajax技术… …

某电商平台案例：

涉及MySQL，JDBC，HTML5/CSS3，Servlet，JSP，Filter，JSTL，EL，MVC，Ajax等技术的应用

01 大数据概论：

大数据背景，认识Hadoop，Hadoop架构和组件，Hadoop生态系统，Hadoop经典落地案例，Hadoop安装部署及集群搭建……

02 访问HDFS：

HDFS特性和目标，HDFS核心设计，HDFS体系结构，命令行接口、Java接口… …

03 HDFS分布式文件系统的运行机制：

HDFS中数据流的读写，HDFS的HA机制，HDFS的Federation机制… …

04 Hadoop I/O详解：

数据完整性，文件压缩，文件序列化，Hadoop文件的数据结构… …

05 MapReduce应用编程开发：

MapReduce编程模型简介，WordCount编程实例，Hadoop MapReduce架构，MapReduce的编程，在集群上的运作，MapReduce类型与格式… …

06 MapReduce的工作机制与YARN平台：

通过案例剖析MapReduce作业运行过程，shuffle和排序，YARN平台简介，YARN的架构，作业的调度…

01 Hive基础：

Hive基本概念，Hive数据类型和文件编码 … …

02 Hive数据定义与操作：

HiveQL:数据定义，HiveQL:数据操作，Hive数据查询，视图和索引… …

03 Hive内置函数和UDF：

Hive内置函数和UDF，Sqoop安装部署，Sqoop使用案例… …

04 Azkaban工作流引擎：

Azkaban简介，安装部署，使用Azkaban… …

05 Ooize：

Ooize安装部署，使用Ooize… …

06 Impala：

Impala简介，Impala安装与部署，Impala系统架构，Impala运行机制… …

1、 Zookeeper分布式协调系统与HBase安装部署：

Zookeeper分布式协调系统，HBase分布式数据库… …

2、 HBase核心功能模块和基本概念：

HBase与Hadoop的关系，HBase的核心功能模块，HBase的使用场景和经典案例，HBase基本概念、HBase表结构设计，HBase客户端，HBase核心概念、高级特性… …

3、 MapReduce批量操作HBase：

MapReduce批量操作HBase，使用Sqoop将数据导入HBase，通过WEB UI工具查看HBase状态… …

4、 Redis集群及应用：

redis简介及安装部署，redis常用命令及数据结构，基于Java语言的开发，redis集群、redis案例… …

5、 MongoDB数据库：

MongoDB简介，MongoDB安装与配置，MongoDB的CRUD基本使用，MongoDB常见的查询索引… …

6、 Kudu列式存储系统：

Kudu的简介，Kudu的架构、安装及部署，Kudu的基本操作… …

7、 Storm：

Storm简介，Storm应用开发，Storm消息可靠处理，Storm 案例… …

8、 Kafaka：

Kafka介绍、Kafka原理与架构，Kafka使用场景，Kafka的核心概念，Kafka安装、部署，Kafka文件消费者案例………

9、 Flume海量日志采集系统：

Flume简介、Flume安装，Flume内部原理，Source、Channel、Sink，Flume应用案例… …

1、 Scala基础知识：

Scala基础，控制结构和函数，数组、映射和元组… …

2、 Scala面向对象编程：

类、对象、包和引入，继承，文件操作，高阶函数、集合、样例类与模式匹配.… …

3、 Spark简介+安装部署：

Spark简介，Spark生态系统，基础环境搭建，搭建Spark运行集群，Spark生产环境的搭建… …

4、 Spark 核心机制/Spark 核心原理：

RDD的实现，编程接口、创建操作，转换操作、控制操作、消息通信原理，作业执行原理、调度算法、容错及HA，实例演示… …

5、 Spark SQL与Dataset开发：

Spark SQL简介，Spark SQL运行原理，使用Hive-Console，使用SQLConsole，使用Spark SQL CLI，使用Thrift Server，实例演示… …

6、 Spark Streaming开发：

Spark Streaming简介，Spark Streaming运行架构，Spark Streaming运行原理，Spark Streaming数据接口、窗口操作、数据转换，实例演示… …

7、 SparkR语言与GraphX：

GraphX介绍、GraphX实现分析，SparkR、SparkR与DataFrame，编译安装SparkR… …

8、 Mllib和机器学习算法：

MLlib简介、MLlib的数据存储，机器学习常见算法，KNN、Kmeans，决策树、线性回归，逻辑回归、关联规则协同过滤，算法应用案例… …

9、 Spark进阶：

集群搭建，内存管理，性能优化，资源配置，数据倾斜，数据仓库… …

10、 Python应用：

语句和语法、变量赋值，标识符、内存管理、条件和循环… …

11、 映像和集合类型：

影像类型：字典，映像类型操作符，内建函数和工厂函数，内建方法、集合类型，集合类型操作符、正则表达式 … …

12、面向对象编程：

类的定义、类的属性，实例、实例属性、绑定和方法调用，继承… …

13、 网络编程和多线程：

套接字：通信端点，python中网络编程，线程和进程，thread模块、threading模块… …

14、 Python大数据算法实例：

聚类实例，回归算法实例、协同过滤实例，手机短信分类实例，Python版网络爬虫… …