网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

许老师

优就业VR/AR游戏开发高级讲师、大前端高级讲师

原大型旅游类互联网企业开发工程师

某大型旅游类互联网企业HTML5开发工程师，项目实战经验丰富，负责过某旅游APP产品H5页面开发，H5小游戏开发。设计的多个H5旅游活动页面访问人数达上百万。后担任Web前端讲师，在教育行业积累了丰富的教学经验，曾主导研发某教育机构H5整套课程，累计授课学员达数千人，口碑极佳。

授课风格：授课有激情，善于引导学生思考，极具耐心，责任心。

教学理念

业界特有 面授+实战

面授：优就业依托遍布全国的500多家直营分部，在各地市开设有不同形式、不同层次的辅导课程，满足学生的差异化、个性化需求。优就业不断提高教学水准，以研发为核心竞争力，为学生提供科学、有效的教学服务。拥有行业强大师资，打造实力专家团队，以保证教学效果为导向，设置特色化辅导内容和教学方式。

无论你在哪个城市，都能方便就近入学，参与面授培训。与远程在线教学相比，面授课程能够让学员真切感受班集体的学习氛围，更有老师面对面的讲授，手把手的教学，保时保量。

实战：优就业与多家企业实体达成亲密合作关系，国内创造“实训教学”模式，学员在实训课程中，可以直接进入合作企业研发团队，亲自参与项目的运作，真正做到学以致用、学有所成，避免了培训带来的理论与实践脱节的弊端。目前优就业为百度、新浪、搜狐、联想、阿里巴巴、中软、华为、摩托罗拉、IBM等多家知名企业培养输送IT人才。

字典推导：

teams = ["Packers", "49ers", "Ravens", "Patriots"]

print {key: value for value, key in enumerate(teams)}

>>> {'49ers': 1, 'Ravens': 2, 'Patriots': 3, 'Packers': 0}

Python使用'(单引号)和"(双引号)来表示字符串。与Perl、Unix Shell语言或者Ruby、Groovy等语言不一样，两种符号作用相同。一般地，如果字符串中出现了双引号，就使用单引号来表示字符串;反之则使用双引号。如果都没有出现，就依个人喜好选择。出现在字符串中的\(反斜杠)被解释为特殊字符，比如\n表示换行符。表达式前加r指示Python不解释字符串中出现的\。这种写法通常用于编写正则表达式或者Windows文件路径。

Python支持列表切割(list slices)，可以取得完整列表的一部分。支持切割操作的类型有str, bytes, list, tuple等。它的语法是...[left:right]或者...[left:right:stride]。假定nums变量的值是[1, 3, 5, 7, 8, 13, 20]，那么下面几个语句为真：

nums[2:5] == [5, 7, 8] 从下标为2的元素切割到下标为5的元素，但不包含下标为5的元素。

nums[1:] == [3, 5, 7, 8, 13, 20] 切割到最后一个元素。

nums[:-3] == [1, 3, 5, 7] 从最开始的元素一直切割到倒数第3个元素。

nums[:] == [1, 3, 5, 7, 8, 13, 20] 返回所有元素。改变新的列表不会影响到nums。

nums[1:5:2] == [3, 7] 从下标为1的元素切割到下标为5的元素但不包含下标为5的元素，且步长为2。