python爬虫技术的选择:爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块requests:这种方案适合简单的页面爬虫，比如爬取博客园推荐文章。urllib2和urllib是python自带模块可用来发送处理请求，虽然比较灵活但API易用性较差，所以一般都要进行二次封装，我曾经也进行过封装，发现自己封装出来的模块无限趋近于非常成熟的requests库，所以还是直接使用requests吧，当然requests只发送和接受请求，对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求，还需要处理异常，请求速度控制等问题，这就需要我们写额外的代码去控制，当然我们可以自己写只是时间问题，但完全没有必要，接下来我会介绍第二种方案。二、scrapy框架:scrapy是爬虫领取的佼佼者，目前我做的项目无论复杂与否，都采用scrapy进行，对于请求调度，异常处理都已经封装好了，而且有第三方的scrapy-redis还可以支持分布式，我们把关注点放在更重要的页面分析和规则编写上，代码可以参考我github上的例子。三、python selenium:这种方式我称为终极必杀器，一般是实在没办法的时候才用，以前我在利用某家搜索引擎抓取文章时，该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律，最典型的特点就是cookie会随机隐藏到某个页面js和图片中，解决方案就是模拟浏览器的行为加载所有js等静态资源文件，如果自己写个浏览器取解析太扯蛋了，如果chrome浏览器能开放接口，通过chrome的加载方式获取页面的内容就好了，这就是selenium了，selenium加上随机等待时间可以模拟出和人非常类似的操作行为，缺点就是速度较慢，但是一般爬虫对抓取速度要求不高，重要的是稳定性，这种方式对于抓取反爬虫机制做的好的大型网站比较适用。总结，对于大部分爬虫需求直接用scrapy解决，如果解决不了再采用第一种或第三种方案，就这么简单。

python的就业方向和前景:常规软件开发:Python支持函数式编程和面向对象的OOP编程，并且可以进行任何类型的软件开发，所以常规的软件开发、脚本编制、网络编程等等都属于标配能力。现在，Python开发人员的平均月薪超过20000元，这绝对是一个值得选择的方向。科学计算:随着NumPy、SciPy、Matplotlib、Enthoughtlibrarys等库的发展，Python越来越适合于进行科学计算和绘制高质量的2D和3D图像。与科学计算领域最流行的商业软件Matlab相比，Python是一种通用的编程语言，比Matlab所采用的脚本语言使用范围更广，并且有更多的库支持。虽然Matlab中的许多高级特性和工具箱目前是不可替代的，但在日常的科研开发中，Python仍有很多工作可以做。自动化运维:这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python已经深深扎根于自动化运维之中。例如，Saltstack和Ansible就是著名的自动化平台。由于自动化运维工程师是一个稀缺的岗位，所以一般的工资可以达到15000元以上，工程师有5年的工作经验，年薪达到30多万以上还是很容易的。Web开发:目前还没有太多基于Python的Web开发框架，比如Django、Tornado和Flask。其中，Python+Django的架构具有应用范围广、开发速度快、学习门槛低的特点，可以帮助你快速构建可用的WEB服务。网络爬虫程序:又称web spider，是大数据行业获取数据核心的工具。如果没有一个网络爬虫自动地、不分昼夜地、智能地在互联网上爬行检索免费数据，那些大数据相关的公司恐怕要少四分之三。有很多编程语言可以编写web爬虫程序，但是Python绝对是主流语言之一，并且它的Scripy爬虫框架被广泛使用。爬虫类工程师的薪资也有2万多，是值得学习的方向。数据分析:在海量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性分析是大数据产业的基石。Python是数据分析的主要语言之一。随着大数据的兴起，对数据分析人才的需求也在不断增长。由于数据分析在几乎所有的行业和公司中都有应用，所以数据分析的工作岗位非常多，并且超过20K月薪的从业者超过16.7%。

python的就业方向和前景:常规软件开发:Python支持函数式编程和面向对象的OOP编程，并且可以进行任何类型的软件开发，所以常规的软件开发、脚本编制、网络编程等等都属于标配能力。现在，Python开发人员的平均月薪超过20000元，这绝对是一个值得选择的方向。科学计算:随着NumPy、SciPy、Matplotlib、Enthoughtlibrarys等库的发展，Python越来越适合于进行科学计算和绘制高质量的2D和3D图像。与科学计算领域最流行的商业软件Matlab相比，Python是一种通用的编程语言，比Matlab所采用的脚本语言使用范围更广，并且有更多的库支持。虽然Matlab中的许多高级特性和工具箱目前是不可替代的，但在日常的科研开发中，Python仍有很多工作可以做。自动化运维:这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python已经深深扎根于自动化运维之中。例如，Saltstack和Ansible就是著名的自动化平台。由于自动化运维工程师是一个稀缺的岗位，所以一般的工资可以达到15000元以上，工程师有5年的工作经验，年薪达到30多万以上还是很容易的。Web开发:目前还没有太多基于Python的Web开发框架，比如Django、Tornado和Flask。其中，Python+Django的架构具有应用范围广、开发速度快、学习门槛低的特点，可以帮助你快速构建可用的WEB服务。网络爬虫程序:又称web spider，是大数据行业获取数据核心的工具。如果没有一个网络爬虫自动地、不分昼夜地、智能地在互联网上爬行检索免费数据，那些大数据相关的公司恐怕要少四分之三。有很多编程语言可以编写web爬虫程序，但是Python绝对是主流语言之一，并且它的Scripy爬虫框架被广泛使用。爬虫类工程师的薪资也有2万多，是值得学习的方向。数据分析:在海量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性分析是大数据产业的基石。Python是数据分析的主要语言之一。随着大数据的兴起，对数据分析人才的需求也在不断增长。由于数据分析在几乎所有的行业和公司中都有应用，所以数据分析的工作岗位非常多，并且超过20K月薪的从业者超过16.7%。