scrapy数据保存为excel

py3study

发布于 2021-04-25 10:54:32

1.2K0

发布于 2021-04-25 10:54:32

文章被收录于专栏：python3python3

一、概述

scrapy爬取的数据，需要保存到excel中，根据中文标题，将对应的数据写入。

二、实现方法

安装模块

pip3?install?openpyxl

修改pipelines.py

#?-*-?coding:?utf-8?-*-

#?Define?your?item?pipelines?here
#
#?Don't?forget?to?add?your?pipeline?to?the?ITEM_PIPELINES?setting
#?See:?https://docs.scrapy.org/en/latest/topics/item-pipeline.html
from?openpyxl?import?Workbook


class?ExcelPipeline(object):
????def?__init__(self):
????????self.wb?=?Workbook()
????????self.ws?=?self.wb.active
????????self.ws.append(['姓名',?'年龄',?'地址')
????????self.file_name?=?"test.xlsx"

????def?process_item(self,?item,?spider):
????????line?=?[item['name'],?item['age'],?item['address']]
????????self.ws.append(line)
????????self.wb.save(self.file_name)
????????return?item

????def?close_spider(self,?spider):
????????#?关闭
????????self.wb.close()

本文参考链接：

https://blog.csdn.net/qq_42336560/article/details/80951401

本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2021-04-23 ，如有侵权请联系 cloudcommunity@tencent.com 删除

scrapy