厦门零基础Python人工智能培训

★ 课程名称

Python人工智能

★ 课程内容

1.Python语言核心教程   2、系统高级编程  3、互联网全栈开发  4、人工智能

★ Python介绍

Python由于简单易用，是人工智能领域中使用最广泛的编程语言之一，它可以无缝的与数据结构和其他常用的AI算法一起使用。Python虽然是脚本语言，但是因为容易学，迅速成为科学家的工具，从而积累了大量的工具库、架构，人工智能涉及大量的数据计算，用Python是很自然的，简单高效。

(1)爬虫框架或模块

Python自带爬虫模块：urllib、urllib2；

第三方爬虫模块：requests，aiohttp；

爬虫框架：Scrapy、pyspider。

(2)爬虫框架或模块的优缺点

urllib和urllib2模块都用于请求URL相关的操作，但他们提供了不同的功能。urllib2模块中urllib2.urlopen可以接受一个Request对象或者url，(在接受Request对象时候，并以此可以来设置一个URL的headers)，且只接收一个url；urllib中有urlencode，而urllib2中没有。因此，开发人员在实际开发中经常会将urllib与urllib2一起使用。

requests是一个HTTP库，它仅仅用于发送请求。对于HTTP请求而言，request是一个强大的库，可以自己处理下载、解析，灵活性更高，高并发与分布式部署也非常灵活，对于功能可以更好实现。

aiohttp是一个基于python3的asyncio携程机制实现的一个http库。相比requests，aiohttp自身就具备了异步功能。但只能在python3环境中使用。

Scrapy是封装起来的框架，它包含了下载器、解析器、日志及异常处理，是基于多线程的，采用twisted的方式处理。对于固定单个网站的爬取开发，Scrapy具有优势；对于多网站爬取，并发及分布式处理方面，Scrapy不够灵活，不便调整与扩展。

Scrapy具有以下优点：

1：Scrapy是异步的；2：采取可读性更强的XPath代替正则表达式；3：强大的统计和log系统；4：可同时在不同的URL上爬行；5：支持shell方式，方便独立调试；6：方便写一些统一的过滤器；7：通过管道的方式存入数据库。

Scrapy是基于python实现的爬虫框架，扩展性比较差。

Pyspider是一个重量级的爬虫框架。我们知道Scrapy没有数据库集成、分布式、断点续爬的支持、UI控制界面等等，若Scrapy想要实现这些功能，需要自行开发。Pyspider已经集成了前面这些功能，也正因如此，Pyspider的扩展性太差，学习难度较大。