如何用Scrapy爬取豆瓣TOP250-创新互联
如何用Scrapy爬取豆瓣TOP250，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。
最好的学习方式就是输入之后再输出，分享一个自己学习scrapy框架的小案例，方便快速的掌握使用scrapy的基本方法。
本想从零开始写一个用Scrapy爬取教程，但是官方已经有了样例，所以还是不写了，尽量分享在网上不太容易找到的东西。自己近期在封闭培训，更文像蜗牛一样，抱歉。
Scrapy简介
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
如果此前对scrapy没有了解，请先查看下面的官方教程链接。
架构概览：https://docs.pythontab.com/scrapy/scrapy0.24/topics/architecture.html
Scrapy入门教程：https://docs.pythontab.com/scrapy/scrapy0.24/intro/tutorial.html
爬虫教程
首先，我们看一下豆瓣TOP250页面，发现可以从中提取电影名称、排名、评分、评论人数、导演、年份、地区、类型、电影描述。
Item对象是种简单的容器，保存了爬取到得数据。其提供了类似于词典的API以及用于声明可用字段的简单语法。所以可以声明Item为如下形式。
class DoubanItem(scrapy.Item):
# 排名
ranking = scrapy.Field()
# 电影名称
title = scrapy.Field()
# 评分
score = scrapy.Field()
# 评论人数
pople_num = scrapy.Field()
# 导演
director = scrapy.Field()
# 年份
year = scrapy.Field()
# 地区
area = scrapy.Field()
# 类型
clazz = scrapy.Field()
# 电影描述
decsription = scrapy.Field()
我们抓取到相应的网页后，需要从网页中提取自己需要的信息，可以使用xpath语法，我使用的是BeautifulSoup网页解析器，经过BeautifulSoup解析的网页，可以直接使用选择器筛选需要的信息。有一些说明写到代码注释里面去了，就不再赘述。
Chrome 也可以直接复制选择器或者XPath，如下图所示。
class douban_spider(Spider):
count = 1
# 爬虫启动命令
name = 'douban'
# 头部信息，伪装自己不是爬虫程序
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
}
# 爬虫启动链接
def start_requests(self):
url = 'https://movie.douban.com/top250'
yield Request(url, headers=self.headers)
# 处理爬取的数据
def parse(self, response):
print('第', self.count, '页')
self.count += 1
item = DoubanItem()
soup = BeautifulSoup(response.text, 'html.parser')
# 选出电影列表
movies = soup.select('#content div div.article ol li')
for movie in movies:
item['title'] = movie.select('.title')[0].text
item['ranking'] = movie.select('em')[0].text
item['score'] = movie.select('.rating_num')[0].text
item['pople_num'] = movie.select('.star span')[3].text
# 包含导演、年份、地区、类别
info = movie.select('.bd p')[0].text
director = info.strip().split('\n')[0].split(' ')
yac = info.strip().split('\n')[1].strip().split(' / ')
item['director'] = director[0].split(': ')[1]
item['year'] = yac[0]
item['area'] = yac[1]
item['clazz'] = yac[2]
# 电影描述有为空的，所以需要判断
if len(movie.select('.inq')) is not 0:
item['decsription'] = movie.select('.inq')[0].text
else:
item['decsription'] = 'None'
yield item
# 下一页：
# 1，可以在页面中找到下一页的地址
# 2，自己根据url规律构造地址，这里使用的是第二种方法
next_url = soup.select('.paginator .next a')[0]['href']
if next_url:
next_url = 'https://movie.douban.com/top250' + next_url
yield Request(next_url, headers=self.headers)
然后在项目文件夹内打开cmd命令，运行scrapy crawl douban -o movies.csv就会发现提取的信息就写入指定文件了，下面是爬取的结果，效果很理想。
看完上述内容，你们掌握如何用Scrapy爬取豆瓣TOP250的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注创新互联-成都网站建设公司行业资讯频道，感谢各位的阅读！
当前文章：如何用Scrapy爬取豆瓣TOP250-创新互联
文章网址：http://shouzuofang.com/article/jpjie.html