2019-08-21
网络爬虫
课程内容:
爬虫与数据
Scrapy框架
Mongodb+Redis
Scrapy-redis框架
培养目标:
可掌握的核心能力: 1.掌握爬虫的工作原理和设计思想;2.掌握反爬虫机制; 3.通过学习NoSql数据库和Scrapy-redis框架,可以独立运用分布式爬虫框架实现海量数据的爬取。
刘老师
Python+人工智能研究院院长
原中国日报社客户端研发工程师
天津大学计算机科学与技术专业。8年开发经验,4年授课经验,曾就职于中国日报社和中国建设银行广开研发中心,从事新闻大数据汇总和建行手机银行客户端研发工作,有着丰富的前后台开发经验。精通网络编程、基于CCPP人工智能方向数据挖掘、Python框架设计等核心技术。
授课风格:通过形象的比喻使学员更容易理解课程内容,深入浅出,乐于分享研究成果。使学员学到的不仅仅是知识,还有实战经验。
学后
就业指导:全部理论+实战课程完成后,学员可以登录学习平台,接受一对一的就业指导。优就业将根据学员自身条件、性格特点等,为学员指明职业方向,挖掘求职亮点, 并对学员进行面试技巧培训,帮助学员做好就职准备。
简历修改:优就业提供专属简历修改服务,帮助学员根据求职企业要求和特点,进行有针对性的修改。简历亮点突出,契合职位需求,才是卓有成效的名企敲门砖。
名企求职:工作技能get√、实战能力get√、就业准备get√以后,相信有志者,不懈努力,能够进入名企。
带索引的列表迭代
teams = ["Packers", "49ers", "Ravens", "Patriots"]
for index, team in enumerate(teams):
print index, team
>>> 0 Packers
>>> 1 49ers
>>> 2 Ravens
>>> 3 Patriots
Python使用'(单引号)和"(双引号)来表示字符串。与Perl、Unix Shell语言或者Ruby、Groovy等语言不一样,两种符号作用相同。一般地,如果字符串中出现了双引号,就使用单引号来表示字符串;反之则使用双引号。如果都没有出现,就依个人喜好选择。出现在字符串中的\(反斜杠)被解释为特殊字符,比如\n表示换行符。表达式前加r指示Python不解释字符串中出现的\。这种写法通常用于编写正则表达式或者Windows文件路径。
Python支持列表切割(list slices),可以取得完整列表的一部分。支持切割操作的类型有str, bytes, list, tuple等。它的语法是...[left:right]或者...[left:right:stride]。假定nums变量的值是[1, 3, 5, 7, 8, 13, 20],那么下面几个语句为真:
nums[2:5] == [5, 7, 8] 从下标为2的元素切割到下标为5的元素,但不包含下标为5的元素。
nums[1:] == [3, 5, 7, 8, 13, 20] 切割到最后一个元素。
nums[:-3] == [1, 3, 5, 7] 从最开始的元素一直切割到倒数第3个元素。
nums[:] == [1, 3, 5, 7, 8, 13, 20] 返回所有元素。改变新的列表不会影响到nums。
nums[1:5:2] == [3, 7] 从下标为1的元素切割到下标为5的元素但不包含下标为5的元素,且步长为2。