网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

宋老师  

优就业Python+人工智能高级讲师

自然科学基金参与专家

河南大学控制工程专业硕士，曾参与自然科学基金“面向复杂系统估计的采样型非线性滤波方法研究”、河南省科学技术研究重点项目“多模采样型非线性滤波器研究”、井下人员、车辆精准定位系统等研发工作。曾与中国电子科技集团公司第二十七研究所合作研究多传感器信息融合仿真软件横向课题。

主要科研成果：参与研发基于卡尔曼一致性滤波的系统误差和状态联合估计算法;参与研发基于Rao-blackwekkized 扩展卡尔曼滤波的系统误差和状态联合估计算法。

教学理念

业界特有 面授+实战

面授：优就业依托遍布全国的500多家直营分部，在各地市开设有不同形式、不同层次的辅导课程，满足学生的差异化、个性化需求。优就业不断提高教学水准，以研发为核心竞争力，为学生提供科学、有效的教学服务。拥有行业强大师资，打造实力专家团队，以保证教学效果为导向，设置特色化辅导内容和教学方式。

无论你在哪个城市，都能方便就近入学，参与面授培训。与远程在线教学相比，面授课程能够让学员真切感受班集体的学习氛围，更有老师面对面的讲授，手把手的教学，保时保量。

实战：优就业与多家企业实体达成亲密合作关系，国内创造“实训教学”模式，学员在实训课程中，可以直接进入合作企业研发团队，亲自参与项目的运作，真正做到学以致用、学有所成，避免了培训带来的理论与实践脱节的弊端。目前优就业为百度、新浪、搜狐、联想、阿里巴巴、中软、华为、摩托罗拉、IBM等多家知名企业培养输送IT人才。

网络爬虫：

也称网络蜘蛛，是大数据行业获取数据的核心工具。没有网络爬虫自动地、不分昼夜地、高智能地在互联网上爬取免费的数据，那些大数据相关的公司恐怕要少四分之三。能够编写网络爬虫的编程语言有不少，但Python绝对是其中的主流之一，其Scripy爬虫框架应用非常广泛。

结对编程：

结对编程是一种技术，是两个开发者在一台计算机上工作，共同完成一项任务。两个开发者在“驾驶员”和“领航员”之间切换角色，“驾驶员”负责写代码，而“领航员”引导问题的解决，以及回顾检查写好的代码。频繁交换角色，都两个开发者都帮助很大。 结对编程有很多的好处：不仅可以让别人检查你的代码，还可以看别人是如何解决问题的。思想的碰撞能够帮助你们彼此都得到提高。