python爬虫上可以干什么:(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general?purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

python爬虫技术的选择:爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块requests:这种方案适合简单的页面爬虫，比如爬取博客园推荐文章。urllib2和urllib是python自带模块可用来发送处理请求，虽然比较灵活但API易用性较差，所以一般都要进行二次封装，我曾经也进行过封装，发现自己封装出来的模块无限趋近于非常成熟的requests库，所以还是直接使用requests吧，当然requests只发送和接受请求，对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求，还需要处理异常，请求速度控制等问题，这就需要我们写额外的代码去控制，当然我们可以自己写只是时间问题，但完全没有必要，接下来我会介绍第二种方案。二、scrapy框架:scrapy是爬虫领取的佼佼者，目前我做的项目无论复杂与否，都采用scrapy进行，对于请求调度，异常处理都已经封装好了，而且有第三方的scrapy-redis还可以支持分布式，我们把关注点放在更重要的页面分析和规则编写上，代码可以参考我github上的例子。三、python selenium:这种方式我称为终极必杀器，一般是实在没办法的时候才用，以前我在利用某家搜索引擎抓取文章时，该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律，最典型的特点就是cookie会随机隐藏到某个页面js和图片中，解决方案就是模拟浏览器的行为加载所有js等静态资源文件，如果自己写个浏览器取解析太扯蛋了，如果chrome浏览器能开放接口，通过chrome的加载方式获取页面的内容就好了，这就是selenium了，selenium加上随机等待时间可以模拟出和人非常类似的操作行为，缺点就是速度较慢，但是一般爬虫对抓取速度要求不高，重要的是稳定性，这种方式对于抓取反爬虫机制做的好的大型网站比较适用。总结，对于大部分爬虫需求直接用scrapy解决，如果解决不了再采用第一种或第三种方案，就这么简单。

学Python需要分几步学习:学Python可以分这些步骤、阶段学习：第一阶段：了解 Python 编程基础;第二阶段：学习Python函数及流程控制;第三阶段：利用Python进行实战;第四阶段：深入学习 Python 编程。以下是关于学Python需要分几步学习的具体介绍。第一阶段：了解 Python 编程基础首先要了解的就是变量、编程规范、基础语法等等，这是能够保证你上手编写 Python 代码的前提。其次就是数据结构，字符串、列表、字典、元组，这些也需要非常熟练，因为数据类型将贯穿你学习Python并且使用Python的始终。第二阶段：学习Python函数及流程控制:当你学到了Python 函数和控制语句的时候，就可以尝试去真正的解决问题了，学会如何实现判断和循坏，怎样把固定的功能模块封装成函数，这些都是保证写出代码的必要条件。函数主要学习定义，调用以及参数传递的方法，能够熟练地写出函数实现对应的不同功能，这个过程中比较注重细节，所以需要反复的练习。流程控制则则是需要掌握条件语句和循坏语句，能在不同的场景下使用，知道判断和循环实现的过程，学完这些基本就差不多了。第三阶段：利用Python进行实战:说到实战，这就关系到第三方库的了解，因为这样才能利用Python完成更多的事情，比如用pandas作数据处理、用BeautifulSoup写爬虫、用Flask搭建网站、用matplotlib做数据可视化分析......熟练的使用第三方库能给你节省不少时间，因为这些都是大家使用过的，所以更加稳定，不容易出现bug，根本不需要去自己编代码，能删改别人的代码拿来自己使用就可以了，如果想要学爬虫或者搭建网站的话，还需要了解其他的知识，学得越多会得越多嘛。第四阶段：深入学习 Python 编程:如果你只是想利用Python完成一些简单的工作任务，那前三个阶段学习差不多就够用了，因为你已经能进行基本的数据分析、网络爬虫、写工具脚本，用来提升工作效率绰绰有余。但如果想要往跟更深领域发展，以就业转行为目的的话，那就得选择一个自己看好的方向深入学习了，要了解Python的高级特性，如迭代器、生成器、装饰器，了解类和面向对象的理念。继续深入下去，可以探索Python的实现原理，性能优化方式，跳出语言本身，了解计算机的交互原理，还有很长的路要走，这不是短时间能实现的过程，也需要做好心理准备。