python爬虫技术的选择:爬虫又是另外一个领域，涉及的知识点比较多，不仅要熟悉web开发，有时候还涉及机器学习等知识，不过在python里一切变的简单，有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块，最简单的功能就是能发送和处理请求， 下面就介绍几个常用的抓取的方式。一、python 自带的urlib2和urlib或者第三方模块requests:这种方案适合简单的页面爬虫，比如爬取博客园推荐文章。urllib2和urllib是python自带模块可用来发送处理请求，虽然比较灵活但API易用性较差，所以一般都要进行二次封装，我曾经也进行过封装，发现自己封装出来的模块无限趋近于非常成熟的requests库，所以还是直接使用requests吧，当然requests只发送和接受请求，对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求，还需要处理异常，请求速度控制等问题，这就需要我们写额外的代码去控制，当然我们可以自己写只是时间问题，但完全没有必要，接下来我会介绍第二种方案。二、scrapy框架:scrapy是爬虫领取的佼佼者，目前我做的项目无论复杂与否，都采用scrapy进行，对于请求调度，异常处理都已经封装好了，而且有第三方的scrapy-redis还可以支持分布式，我们把关注点放在更重要的页面分析和规则编写上，代码可以参考我github上的例子。三、python selenium:这种方式我称为终极必杀器，一般是实在没办法的时候才用，以前我在利用某家搜索引擎抓取文章时，该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律，最典型的特点就是cookie会随机隐藏到某个页面js和图片中，解决方案就是模拟浏览器的行为加载所有js等静态资源文件，如果自己写个浏览器取解析太扯蛋了，如果chrome浏览器能开放接口，通过chrome的加载方式获取页面的内容就好了，这就是selenium了，selenium加上随机等待时间可以模拟出和人非常类似的操作行为，缺点就是速度较慢，但是一般爬虫对抓取速度要求不高，重要的是稳定性，这种方式对于抓取反爬虫机制做的好的大型网站比较适用。总结，对于大部分爬虫需求直接用scrapy解决，如果解决不了再采用第一种或第三种方案，就这么简单。

高效学习Python要怎么做:1、确定好学习方向:学Python的目的不仅是为了解这门语言，最重要的是学会运用这门语言来解决问题。所以可以在学习之前想好，是为了做些什么，是数据分析、网络爬虫、人工智能、还是网站搭建、因为Python的应用方向实在是太广了。想要一次性学会所有明显是不现实的，而且在Python基础知识学完之后，应用方向不同，要学习的东西也会大不同吗，这个要提前考虑。2、明确Python就业方向:因为Python相关的工作也很多，这里简要的帮大家概括一下不同行业的工作需要利用Python做些什么，也给大家就业作为参考：后端程序员：使用它单间网站，后台服务比较容易维护。自动化测试：编写为简单的实现脚本，运用在Selenium/lr中，实现自动化。数据分析师：快速开发快速验证，分析数据得到结果。网站开发：借助django,flask框架自己搭建网站。自动化运维：自动化处理大量的运维任务。游戏开发者：一般是作为游戏脚本内嵌在游戏中。学会了Python就业还是不用愁的，这些行业在薪资待遇上可能会有一些区别，但是整体来看还是很好的，不说往哪个方向发展是最好的，各取所长选择自己最感兴趣的去学习就好。3、规划Python学习路线:规划学习路线是要确定每个部分需要完成的目标是什么，需要学习哪些知识点，哪些知识是暂时不必要的，大家需要针对自己的实际情况来制定学习计划，保证每学习一个部分就能够有实际的成果输出，利用学习成果产出来形成正向刺激，激励后续的学习。反正只有一个宗旨：由浅入深的学习Python基础、函数、面向对象、模块、等Python知识，饭要一口一口吃，切记急于求成!

python机器人编程入门教程：脚本在运行之前会首先检查python文件的最后编辑日期和预编译模块的编译时间，从而决定是否需要重新编译。预编译模块也是跨平台的，所以不同的模块是可以在不同的系统和不同的架构之间共享的。Python在两种情况下不检查缓存。第一种，从命令行中直接加载的模块总是会重新编译并且结果不保存。第二种，如果没有源模块，则不会检查缓存。为了支持无源代码的部署方式，应该将预编译模块放在源代码文件夹中而不是__pycache__中，并且不要包含源代码模块。你可以使用-O和-OO参数来降低预编译模块的大小。-O开关会去除assert语句，-OO开关会去除assert语句和__doc__字符串。因为有些模块要依赖这些语句，因此只有当你确认模块的内容时才去使用这些开关。优化模块的后缀名是.pyo。.pyo和.pyc文件的执行速度不会比.py文件快，快的地方在于模块加载的速度。compileall模块可以用来把某个文件夹的中的所有文件都编译成为.pyc或者.pyo文件。