当前位置:主页 > 查看内容

csv 文件读写乱码问题的一个简单解决方法

发布时间:2021-08-18 00:00| 位朋友查看

简介:今天扼要总结一个处理csv文件乱码问题,可能你有类似经历,用excel打开一个csv文件,中文全部显示乱码。然后,手动用notepad++打开,修改编码为utf-8并保存后,再用excel打开显示正常。 今天使用Python,很少代码就能将上面过程自动化。首先,导入3个模块:……

今天扼要总结一个处理csv文件乱码问题,可能你有类似经历,用excel打开一个csv文件,中文全部显示乱码。然后,手动用notepad++打开,修改编码为utf-8并保存后,再用excel打开显示正常。

今天使用Python,很少代码就能将上面过程自动化。首先,导入3个模块:

  1. # coding: utf-8 
  2. # @author: zhenguo 
  3. # @date: 2020-12-16 
  4. # @describe: functions about automatic file processing 
  5.  
  6. import pandas as pd   
  7. import os  
  8. import chardet 

chardet 模块用于得到文件的编码格式,pandas 按照这个格式读取,然后保存为xlsx格式。

获取filename文件的编码格式:

  1. def get_encoding(filename): 
  2.     """ 
  3.     返回文件编码格式 
  4.     """ 
  5.     with open(filename,'rb') as f: 
  6.         return chardet.detect(f.read())['encoding'] 

保存为utf-8编码xlsx格式文件,支持csv, xls, xlsx 格式的文件乱码处理。需要注意,如果读入文件为csv格式,保存时要使用xlsx格式:

  1. def to_utf8(filename): 
  2.     """ 
  3.     保存为 to_utf-8 
  4.     """ 
  5.     encoding = get_encoding(filename) 
  6.     ext = os.path.splitext(filename) 
  7.     if ext[1] =='.csv': 
  8.         if 'gb' in encoding or 'GB' in encoding: 
  9.             df = pd.read_csv(filename,engine='python',encoding='GBK'
  10.         else: 
  11.             df = pd.read_csv(filename,engine='python',encoding='utf-8'
  12.         df.to_excel(ext[0]+'.xlsx') 
  13.     elif ext[1]=='.xls' or ext[1] == '.xlsx': 
  14.         if 'gb' in encoding or 'GB' in encoding: 
  15.             df = pd.read_excel(filename,encoding='GBK'
  16.         else: 
  17.             df = pd.read_excel(filename,encoding='utf-8'
  18.         df.to_excel(filename) 
  19.     else: 
  20.         print('only support csv, xls, xlsx format') 

上面函数实现单个文件转化,下面batch_to_utf8 实现目录 path 下所有后缀为ext_name文件的批量乱码转化:

  1. def batch_to_utf8(path,ext_name='csv'): 
  2.     """ 
  3.     path下,后缀为 ext_name的乱码文件,批量转化为可读文件 
  4.     """ 
  5.     for file in os.listdir(path): 
  6.         if os.path.splitext(file)[1]=='.'+ext_name: 
  7.             to_utf8(os.path.join(path,file)) 

调用:

  1. if __name__ == '__main__': 
  2.   batch_to_utf8('.') # 对当前目录下的所有csv文件保存为xlsx格式,utf-8编码的文件 

文件读写时乱码问题,经常会遇到,相信今天这篇文章里的to_utf8,batch_to_utf8函数会解决这个问题,你如果后面遇到,不妨直接引用这两个函数尝试下。

【责任编辑:赵宁宁 TEL:(010)68476606】
本文转载自网络,原文链接:http://mp.weixin.qq.com/s?__biz=MzI3NTkyMjA4NA==&mid=2247499798&idx=1&sn=f0e1339914ddc23b60d680f2e3f12841&chksm=eb7feddddc0864cb5a0854bc6d4a491a7dc10a1a26e7b7d7a5db5fc88143a3cd56cfadab3bd5&mpshare=1&s
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!
上一篇:一篇带给你JavaScript的Class语法介绍 下一篇:没有了

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐