python爬虫技术的选择:爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块requests:这种方案适合简单的页面爬虫，比如爬取博客园推荐文章。urllib2和urllib是python自带模块可用来发送处理请求，虽然比较灵活但API易用性较差，所以一般都要进行二次封装，我曾经也进行过封装，发现自己封装出来的模块无限趋近于非常成熟的requests库，所以还是直接使用requests吧，当然requests只发送和接受请求，对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求，还需要处理异常，请求速度控制等问题，这就需要我们写额外的代码去控制，当然我们可以自己写只是时间问题，但完全没有必要，接下来我会介绍第二种方案。二、scrapy框架:scrapy是爬虫领取的佼佼者，目前我做的项目无论复杂与否，都采用scrapy进行，对于请求调度，异常处理都已经封装好了，而且有第三方的scrapy-redis还可以支持分布式，我们把关注点放在更重要的页面分析和规则编写上，代码可以参考我github上的例子。三、python selenium:这种方式我称为终极必杀器，一般是实在没办法的时候才用，以前我在利用某家搜索引擎抓取文章时，该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律，最典型的特点就是cookie会随机隐藏到某个页面js和图片中，解决方案就是模拟浏览器的行为加载所有js等静态资源文件，如果自己写个浏览器取解析太扯蛋了，如果chrome浏览器能开放接口，通过chrome的加载方式获取页面的内容就好了，这就是selenium了，selenium加上随机等待时间可以模拟出和人非常类似的操作行为，缺点就是速度较慢，但是一般爬虫对抓取速度要求不高，重要的是稳定性，这种方式对于抓取反爬虫机制做的好的大型网站比较适用。总结，对于大部分爬虫需求直接用scrapy解决，如果解决不了再采用第一种或第三种方案，就这么简单。

学好python的要领：要想真正学习一门知识，就要先尽量保持将其保持为一种爱好，才能一步一步的学习，还要保持耐心，不能为了成果跳跃学习。这两句话很重要，请在任何时候都要记住，无论那一门课。首先，第一件事，要对自己家的电脑有一个充分的了解，包括他的位数(64位，32位)，内存，型号，和版本，如果要编程的话，一定要对电脑的各个功能有详细的了解，比如右键，键盘上的一些快捷键都要了解，要想看清自己的电脑，点击桌面上的“我的电脑(或者是"计算机")”右键点击“属性”即可查看第二步，也就是正式入门了，先确定自己要学的编程语言，将其语言环境和编程工具准备好。如果要学习c/c++(记住，这是两种几乎不同的语言，不要混为一谈)入门最好使用c-free，或Java(要准备语言环境)入门或是深入都可以使用eclipse，python(要准备语言环境)可以使用editplus(要自己配置)......还有许多种语言，目前前五名编程语言分别为：Java，c++，c，python，c#。他们各有利弊，请慎重选择。想好一门语言后，我想为大家带来一个推荐，至于是否采纳可自己选择。无论是什么语言，最好先学c(选择c的盆友可以跳过这一段)，c语言可谓是所有编程语言的父亲。学过的都知道，只有c是学不完的的，通俗来讲就是其他的语言都有一个知识限度，而C无论是在学习还是工作时，都能获取新的知识，仿佛一个无底洞，我认为这是利大于弊的，哪怕你选择的语言不是C，也最好先学习一下C，仅用了解基础即可，我认为这会对未来的学习很有帮助。可在学习的时候，一定不要养成过于固定的习惯，因为不同的语言会有不同的编程习惯，不过我不建议大家把C定义为基础语言，因为它本身就是一个高级语言，也是五大流行语言之一，效率快速而功能也不少。

选择操作系统:学习任何一门语言，选择操作系统，搭建开发环境是必不可少的。学习Python，这里推荐Linux系统，在Linux平台一般都是配置好Python开发平台，安装好系统就可以写程序。如果你选择windows，就要自己下载并配置好Python开发环境。【开发环境的选择】选择一门重视大脑学习的书籍，在这里推荐《Head First Python》，这是我看过最注重大脑学习的书籍，对于新手入门极有好处。【书籍】仔细阅读有关Python的书籍，好记心不如烂不同，一定要做笔记，过后回顾笔记。书上给出的练习，一定要做，并且争取全部弄懂。书上有的练习代码，一定要自己调试一遍，知其所以然。【看书练习】每天的编码必不可少，既然选择学习编程，学习Python，坚持编码应该是必须做到的。没有代码积累，要写出高质量的代码，几乎不可能。【坚持编码】