网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

宋老师  

优就业Python+人工智能高级讲师

自然科学基金参与专家

河南大学控制工程专业硕士，曾参与自然科学基金“面向复杂系统估计的采样型非线性滤波方法研究”、河南省科学技术研究重点项目“多模采样型非线性滤波器研究”、井下人员、车辆精准定位系统等研发工作。曾与中国电子科技集团公司第二十七研究所合作研究多传感器信息融合仿真软件横向课题。

主要科研成果：参与研发基于卡尔曼一致性滤波的系统误差和状态联合估计算法;参与研发基于Rao-blackwekkized 扩展卡尔曼滤波的系统误差和状态联合估计算法。

学中

三位一体化授课方式搭配CTS云端在线教学系统 教学品质更高

优就业开设有面授班、直播课、视频课多种形式、不同层次的辅导课程，满足学生的差异化、个性化需求。以保证教学效果为导向，设置特色化辅导内容和教学方式。 创造“实训教学”模式，学员在实训课程中，可以亲自参与项目的运作，真正做到学以致用、学有所成，避免了培训带来的理论与实践脱节的弊端。

CTS系统是优就业自主研发的云端智能化在线教学系统，是目前国内技术较为先进的可支持线上、线下一体化互动式教学管理系统。该系统可辅助学员完成面授各阶段的学习，实现课程的标准化、可视化的高质量学习效果。学员有任何疑问，可以随时通过学习平台留言，老师会及时为学员们答疑解惑。同时，学习平台也是学员与学员之间、学员与老师之间沟通交流的专属平台。

三位一体的授课方式搭配CTS教学平台，开创互动式教学模式，让学员不仅掌握课堂所学知识，更能够实时获取教辅资料，及时与老师交流学习成果，扎实地学习职业理论技能，不断地积累项目实训经验。

Python基础阶段的全部技术要点：

Python第一个程序：变量、标识符和关键字、输入和输出、数据类型转换

条件控制语句和循环语句：比较关系运算符、逻辑运算符、三目运算符、while循环、for循环、break和continue

容器类型：列表、元组、字典、有序字典、公共函数、字符串

函数：函数的定义和调用、不定长参数函数、匿名函数、递归函数、可变和不可变类型

文件操作：文件打开和关闭、文件的读写、文件、目录相关操作、文件应用案例

面向对象：面向对象介绍、类的定义和对象的创建、添加和获取对象属性、init方法、私有方法和私有属性、继承、多态、类方法、对象方法、静态方法

异常处理：捕获异常、异常的传递、自定义异常

模块和包：模块介绍、模块的导入、模块中的 __all__、模块中 __name__ 的作用、包的介绍、包的导入。

结对编程：

结对编程是一种技术，是两个开发者在一台计算机上工作，共同完成一项任务。两个开发者在“驾驶员”和“领航员”之间切换角色，“驾驶员”负责写代码，而“领航员”引导问题的解决，以及回顾检查写好的代码。频繁交换角色，都两个开发者都帮助很大。 结对编程有很多的好处：不仅可以让别人检查你的代码，还可以看别人是如何解决问题的。思想的碰撞能够帮助你们彼此都得到提高。

问“好的”问题

在学习以及实际的编程过程中，我们总会遇到很多问题，需要向别人求助。但是很多时候，我们所问的问题并能让别人很好的理解。那么，如何提“好的”问题呢？有以下原则。

给出上下文，更能清晰描述问题。

描述出你已经解决的问题的轮廓。

给出你自己的猜想。

演示发生的错误，让别人更清楚的明白。

好的问题可以节省大量的时间。作为一个初学者，你要确保你问的问题能够让别人理解，这样别人才能更好的帮助你。

第三篇：参与项目，淬火试金

大部分的Python开发者都会告诉你，有参加过具体项目，你才能学的更深刻。