scrapy爬虫实现千库网美图数据获取和热门分享排名
随着互联网的普及，人们对图像的需求逐渐增加，美图网站也应运而生。千库网是一个专门提供高清美图和素材资源的平台，这里面有海量精美的图片素材，可供使用者免费下载，也可以替代商业美术资源。然而，手动下载这些美图耗费时间且效率低下。因此，本文介绍如何用Scrapy爬虫实现千库网上的美图数据获取和热门分享排名。
一、安装Scrapy
安装Scrapy前，我们需要提前安装Python环境。在Python环境下，通过pip install scrapy的命令即可安装Scrapy。
二、创建Scrapy工程
打开命令行 terminal，进入想要创建工程的目录下，输入命令 scrapy startproject qkspider，即可在该目录下创建一个名为“qkspider”的Scrapy工程。
三、创建爬虫
进入工程目录，输入命令 scrapy genspider qk qkpic.com ，即可在spiders文件夹下创建一个名为“qk”的爬虫。
四、编写代码
1.修改settings.py文件
首先，打开qkspider目录下的settings.py文件，在其中添加以下代码：
ITEM_PIPELINES = {'qkspider.pipelines.QkspiderPipeline':100,}这是为了将获取到的美图数据存储到数据库中。
2.修改pipelines.py文件
接着，我们需要打开qkspider目录下的pipelines.py文件，在其中添加以下代码：
import pymongo
class QkspiderPipeline(object):
def __init__(self):
client = pymongo.MongoClient("mongodb://localhost:27017/")
db = client['qkdb']
self.collection = db['qkpic']
def process_item(self, item, spider):
self.collection.insert(dict(item))
return item这是为了将获取到的美图数据存储到MongoDB中。
3.修改items.py文件
打开qkspider目录下的items.py文件，在其中添加以下代码：
import scrapy
class QkspiderItem(scrapy.Item):
title = scrapy.Field()
img_url = scrapy.Field()
share_num = scrapy.Field()这是为了定义要获取的数据类型。
4.修改qk.py文件
打开spiders文件夹下的qk.py文件，在其中添加以下代码：
import scrapy
from qkspider.items import QkspiderItem
class QkSpider(scrapy.Spider):
name = "qk"
allowed_domains = ["qkpic.com"]
start_urls = ["http://www.qkpic.com/"]
def parse(self, response):
items = []
pic_lists = response.xpath('//div[@class="index_mianpic"]/ul/li')
for i, pic in enumerate(pic_lists):
item = QkspiderItem()
item['title'] = pic.xpath('./a/@title').extract_first()
item['img_url'] = pic.xpath('./a/img/@src').extract_first()
item['share_num'] = int(pic.xpath('./span/em/text()').extract_first())
items.append(item)
return items这是为了定义何种规则爬取千库网站的美图数据，并将数据存入MongoDB中。在该代码中，我们指定了要获取的美图信息，包括美图标题、URL地址、以及分享量。
五、运行爬虫
现在，我们可以在命令行 terminal 中运行刚刚编写的爬虫程序了。在qkspider目录下输入命令 scrapy crawl qk，即可运行qk.py文件中的程序，开始爬取千库网站的美图数据并存储到MongoDB中。
六、实现热门分享排名
为了获得千库网站热门分享排行榜，我们需要获取热门榜单页面的URL，并在qk.py文件中加入如下代码：
class QkSpider(scrapy.Spider):
name = "qk"
allowed_domains = ["qkpic.com"]
start_urls = ["http://www.qkpic.com/", "http://www.qkpic.com/top/"]
def parse(self, response):
if response.url.startswith('http://www.qkpic.com/top/'):
items = self.parse_rank_list(response)
else:
items = self.parse_pic_info(response)
return items
# 爬取热门榜单信息
def parse_rank_list(self, response):
items = []
pic_lists = response.xpath('//div[@class="topcont"]/ul/li')
for i, pic in enumerate(pic_lists):
item = QkspiderItem()
item['title'] = pic.xpath('./a/@title').extract_first()
item['img_url'] = pic.xpath('./a/img/@src').extract_first()
item['share_num'] = int(pic.xpath('./div[1]/i[2]/text()').extract_first())
items.append(item)
return items在该代码中，我们对start_urls赋值为网站首页以及热门榜单页面，并添加了一个新的函数parse_rank_list。
七、总结
本文介绍了如何使用Scrapy爬虫框架来爬取千库网站的美图数据。在爬虫的过程中，我们定义了需要获取的数据类型，并使用MongoDB存储获取到的数据。除此之外，本文还介绍了如何获取千库网站的热门分享排行榜，以拓展该爬虫程序的功能。
