使用Scapy爬虫时，管道文件无法写入的原因是什么？-Python教程-PHP中文网

使用Scapy爬虫时，管道文件无法写入的原因是什么？

霞舞

发布： 2025-03-21 10:10:23

原创

395人浏览过

使用scapy爬虫时，管道文件无法写入的原因是什么？

Scapy爬虫数据持久化存储问题分析及解决方案

使用Scapy编写爬虫时，数据持久化存储至管道文件经常会遇到写入失败的情况。本文将针对一个实际案例，分析问题原因并提供解决方案。

问题描述:

用户尝试使用管道存储爬取数据，但文件始终为空，无法写入。

代码示例:

spider文件 (biedou.py):

import scrapy
import sys
sys.path.append(r'd:\project_test\pydemo\demo1\xunlian\myspider\qiubai')
from ..items import qiubaiitem

class biedouspider(scrapy.Spider):
    name = "biedou"
    start_urls = ["https://www.biedoul.com/wenzi/"]

    def parse(self, response):
        dl_list = response.xpath('/html/body/div[4]/div[1]/div[1]/dl')

        for dl in dl_list:
            title = dl.xpath('./span/dd/a/strong/text()')[0].extract()
            content = dl.xpath('./dd//text()').extract()
            content = ''.join(content)

            item = qiubaiitem()
            item['title'] = title
            item['content'] = content
            yield item
            break

登录后复制

item文件 (item.py):

import scrapy

class qiubaiitem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()

登录后复制

pipeline文件 (pipelines.py): (原代码存在拼写错误)

class qiubaipipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self, spider):  #原代码此处拼写错误
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title + ':' + content + '\n')
        return item

登录后复制

错误信息:

百灵大模型

蚂蚁集团自研的多模态AI大模型系列

331

查看详情

<code>...
typeerror: object of type qiubaiitem is not json serializable
结束爬虫
...
attributeerror: 'nonetype' object has no attribute 'close'</code>

登录后复制

问题分析:

错误信息提示'nonetype' object has no attribute 'close'，表明self.fp为None，导致无法关闭文件。这是因为pipelines.py文件中open_spider方法的拼写错误（原代码为open_spdier），导致该方法未被Scrapy框架调用，self.fp未被初始化。

解决方案:

将pipelines.py文件中open_spdier方法名更正为open_spider：

class QiubaiPipeline(object): # 类名也建议使用驼峰命名法
    def __init__(self):
        self.fp = None

    def open_spider(self, spider):
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title + ':' + content + '\n')
        return item

登录后复制

更正拼写错误后，open_spider方法会被Scrapy框架正确调用，self.fp将被初始化，从而解决文件写入失败的问题。此外，建议使用更规范的类名和变量名，例如将qiubaipipeline改为QiubaiPipeline。

通过以上修改，Scapy爬虫的数据即可正确写入管道文件。记住检查代码中的拼写错误，这往往是许多问题的根源。

以上就是使用Scapy爬虫时，管道文件无法写入的原因是什么？的详细内容，更多请关注php中文网其它相关文章！