python爬虫技术的选择:爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块requests:这种方案适合简单的页面爬虫，比如爬取博客园推荐文章。urllib2和urllib是python自带模块可用来发送处理请求，虽然比较灵活但API易用性较差，所以一般都要进行二次封装，我曾经也进行过封装，发现自己封装出来的模块无限趋近于非常成熟的requests库，所以还是直接使用requests吧，当然requests只发送和接受请求，对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求，还需要处理异常，请求速度控制等问题，这就需要我们写额外的代码去控制，当然我们可以自己写只是时间问题，但完全没有必要，接下来我会介绍第二种方案。二、scrapy框架:scrapy是爬虫领取的佼佼者，目前我做的项目无论复杂与否，都采用scrapy进行，对于请求调度，异常处理都已经封装好了，而且有第三方的scrapy-redis还可以支持分布式，我们把关注点放在更重要的页面分析和规则编写上，代码可以参考我github上的例子。三、python selenium:这种方式我称为终极必杀器，一般是实在没办法的时候才用，以前我在利用某家搜索引擎抓取文章时，该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律，最典型的特点就是cookie会随机隐藏到某个页面js和图片中，解决方案就是模拟浏览器的行为加载所有js等静态资源文件，如果自己写个浏览器取解析太扯蛋了，如果chrome浏览器能开放接口，通过chrome的加载方式获取页面的内容就好了，这就是selenium了，selenium加上随机等待时间可以模拟出和人非常类似的操作行为，缺点就是速度较慢，但是一般爬虫对抓取速度要求不高，重要的是稳定性，这种方式对于抓取反爬虫机制做的好的大型网站比较适用。总结，对于大部分爬虫需求直接用scrapy解决，如果解决不了再采用第一种或第三种方案，就这么简单。

python爬虫上可以干什么:(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general?purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

零基础入门学python:作为一名IT行业的一员，从零基础学习python，那么怎么利用网络学习python语言呢?以下是小编为你整理的零基础入门学python选择你喜欢的感觉对你帮助会很大的视频，可以通过一些网友的推荐来进行选择以保证视频的更高价值。利用网路搜索一些精简扼要的python文档(或者书籍)辅助自己先前所看过的视频，以便于让自己更好地消化吸收;此类资料最好是跟你所选择的视频对应或者配套的，这样主要是为了让自己两面一致，反复学习减少些许枯燥感。注意：文档最好是一些精益求精之类的，如果实在找不到，那么也要次之;切不可随便信手拾起一些没有多少价值的文档，那样只是浪费时间而已。利用网路搜索一些高价值的论坛。论坛上面有很多适合新手或者老手们的资料，而且很多牛人都喜欢在上面表达一些自己的观点等。这些内容对学习python而言很有帮助。(百度python论坛会有很多，选择适合自己的)加入一些python交流群，可以让你更快更方便的分享自己所学到的知识;当然，碰到什么疑问什么的，可以通过交流群让自己获得解答(毕竟大家都是很喜欢相互分享交流的)利用python官网。通过python官网来学习python，你可以了解原汁原味的知识(毕竟都是用英文写的，而且python也是最先从外国传进来的嘛)