今天扼要总结一个处理csv文件乱码问题,可能你有类似经历,用excel打开一个csv文件,中文全部显示乱码。然后,手动用notepad++打开,修改编码为utf-8并保存后,再用excel打开显示正常。
今天使用Python,很少代码就能将上面过程自动化。首先,导入3个模块:
- # coding: utf-8
- # @author: zhenguo
- # @date: 2020-12-16
- # @describe: functions about automatic file processing
- import pandas as pd
- import os
- import chardet
chardet 模块用于得到文件的编码格式,pandas 按照这个格式读取,然后保存为xlsx格式。
获取filename文件的编码格式:
- def get_encoding(filename):
- """
- 返回文件编码格式
- """
- with open(filename,'rb') as f:
- return chardet.detect(f.read())['encoding']
保存为utf-8编码xlsx格式文件,支持csv, xls, xlsx 格式的文件乱码处理。需要注意,如果读入文件为csv格式,保存时要使用xlsx格式:
- def to_utf8(filename):
- """
- 保存为 to_utf-8
- """
- encoding = get_encoding(filename)
- ext = os.path.splitext(filename)
- if ext[1] =='.csv':
- if 'gb' in encoding or 'GB' in encoding:
- df = pd.read_csv(filename,engine='python',encoding='GBK')
- else:
- df = pd.read_csv(filename,engine='python',encoding='utf-8')
- df.to_excel(ext[0]+'.xlsx')
- elif ext[1]=='.xls' or ext[1] == '.xlsx':
- if 'gb' in encoding or 'GB' in encoding:
- df = pd.read_excel(filename,encoding='GBK')
- else:
- df = pd.read_excel(filename,encoding='utf-8')
- df.to_excel(filename)
- else:
- print('only support csv, xls, xlsx format')
上面函数实现单个文件转化,下面batch_to_utf8 实现目录 path 下所有后缀为ext_name文件的批量乱码转化:
- def batch_to_utf8(path,ext_name='csv'):
- """
- path下,后缀为 ext_name的乱码文件,批量转化为可读文件
- """
- for file in os.listdir(path):
- if os.path.splitext(file)[1]=='.'+ext_name:
- to_utf8(os.path.join(path,file))
调用:
- if __name__ == '__main__':
- batch_to_utf8('.') # 对当前目录下的所有csv文件保存为xlsx格式,utf-8编码的文件
文件读写时乱码问题,经常会遇到,相信今天这篇文章里的to_utf8,batch_to_utf8函数会解决这个问题,你如果后面遇到,不妨直接引用这两个函数尝试下。
如果问到便宜的 服务器租用 选择哪家服务商比较好?这里我推荐TOP云(zuntop.com...
国外 服务器租用 如何选择满意的服务商 一般情况下专业电信星级机房,防火墙都有...
三月份才过去一半,又一枚.io 域名 被爆交易。外媒称,skin.io在Park.io平台以49...
IDC评述网(idcps.com)12月25日报道:根据ntldstats.com发布的最新数据显示,截...
在 Java 中操作文件的方法本质上只有两种:字符流和字节流,而字节流和字符流的...
上篇文章介绍了对对碰游戏的理论部分和介绍了JLabel、JButton、JPanel、ImageIco...
今天在GitHub上发现了个非常不错的项目,目前star 4700+,项目主要讲数据结构和...
【51CTO.com原创稿件】我们正从IT悄然迈进DT时代。 随着互联网时代商业模式的多...
往期精选合集包 戳我前往 囊括了 AI、架构师、 Serverless 、AIoT、DevOps、容器...
前言 在上一则教程中,通过与 C 语言相比较引出了 C++ 的相关特性,其中就包括函...