网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

张老师

优就业PHP研究院院长、Linux云计算/Python人工智能高级讲师

原大型企业项目开发经理

10年PHP项目开发经验，5年大型企业项目管理经验，熟悉项目开发的整体流 程。曾带领团队开发过多个大型项目，如大型商城系统、ERP管理系统、OA办公 系统、图书管理系统，有着丰富的项目开发和优化经验。对人工智能、Python等 方面也有着深入的研究。

授课风格：对待学员认真负责，授课方式轻松自然，思路清晰，逻辑严谨，讲解细致入微，让学生在静静的思考中获得知识。

教学理念

业界特有 面授+实战

面授：优就业依托遍布全国的500多家直营分部，在各地市开设有不同形式、不同层次的辅导课程，满足学生的差异化、个性化需求。优就业不断提高教学水准，以研发为核心竞争力，为学生提供科学、有效的教学服务。拥有行业强大师资，打造实力专家团队，以保证教学效果为导向，设置特色化辅导内容和教学方式。

无论你在哪个城市，都能方便就近入学，参与面授培训。与远程在线教学相比，面授课程能够让学员真切感受班集体的学习氛围，更有老师面对面的讲授，手把手的教学，保时保量。

实战：优就业与多家企业实体达成亲密合作关系，国内创造“实训教学”模式，学员在实训课程中，可以直接进入合作企业研发团队，亲自参与项目的运作，真正做到学以致用、学有所成，避免了培训带来的理论与实践脱节的弊端。目前优就业为百度、新浪、搜狐、联想、阿里巴巴、中软、华为、摩托罗拉、IBM等多家知名企业培养输送IT人才。

字典推导：

teams = ["Packers", "49ers", "Ravens", "Patriots"]

print {key: value for value, key in enumerate(teams)}

>>> {'49ers': 1, 'Ravens': 2, 'Patriots': 3, 'Packers': 0}

控制语句

if语句，当条件成立时运行语句块。经常与else, elif(相当于else if) 配合使用。

for语句，遍历列表、字符串、字典、集合等迭代器，依次处理迭代器中的每个元素。

while语句，当条件为真时，循环运行语句块。

try语句，与except,finally配合使用处理在程序运行中出现的异常情况。

class语句，用于定义类型。

def语句，用于定义函数和类型的方法。

pass语句，表示此行为空，不运行任何操作。

assert语句，用于程序调试阶段时测试运行条件是否满足。

with语句，Python2.6以后定义的语法，在一个场景中运行语句块。比如，运行语句块前加密，然后在语句块运行退出后解密。

yield语句，在迭代器函数内使用，用于返回一个元素。自从Python 2.5版本以后。这个语句变成一个运算符。

raise语句，制造一个错误。

import语句，导入一个模块或包。

from import语句，从包导入模块或从模块导入某个对象。

import as语句，将导入的对象赋值给一个变量。

in语句，判断一个对象是否在一个字符串/列表/元组里。