目录
- 问题
- 原因分析
- 1. **编码不匹配**
- 2. **常见场景**
- 解决方案
- **方案1：设置正确的字符集连接MySQL**
- **方案2：Python脚本中的解决方案**
- **方案3：检查并设置系统环境编码**
- **方案4：MySQL服务器端配置检查**
- **方案5：在代码中明确处理编码**
- 预防措施
- 调试步骤
问题
连接MySQL服务，查询到结果后，本地解析报错UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 17: character maps to <undefined>
这个错误通常是由于字符编码不一致导致的。
原因分析
1.编码不匹配
- MySQL服务器使用的字符集（如UTF-8）与本地解码时使用的字符集（如Windows的cp1252、gbk等）不一致
- 特别是当数据中包含非ASCII字符（如中文、特殊符号）时容易出现
2.常见场景
- 在Windows系统或某些终端环境中运行Linux命令/脚本
- MySQL数据包含中文或其他多字节字符
- 默认编码设置不正确
解决方案
方案1：设置正确的字符集连接MySQL
# 在连接时指定字符集mysql -hhostname-u username -p --default-character-set=utf8mb4 database_name# 或者在查询前设置mysql -hhostname-u username -p mysql>SET NAMES'utf8mb4';mysql>SELECT * FROM table;方案2：Python脚本中的解决方案
如果使用Python连接MySQL：
importpymysql# 正确设置连接字符集connection=pymysql.connect(host='localhost',user='username',password='password',database='dbname',charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)# 或者使用mysql-connectorimportmysql.connector conn=mysql.connector.connect(charset='utf8mb4',use_unicode=True,# ... 其他参数)方案3：检查并设置系统环境编码
# 查看当前系统编码echo$LANGlocale# 设置正确的编码（添加到~/.bashrc或~/.profile）exportLANG=en_US.UTF-8exportLC_ALL=en_US.UTF-8# 临时设置exportPYTHONIOENCODING=utf-8方案4：MySQL服务器端配置检查
-- 查看当前字符集设置SHOWVARIABLESLIKE'character_set%';SHOWVARIABLESLIKE'collation%';-- 修改表的字符集（如果需要）ALTERTABLEyour_tableCONVERTTOCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;方案5：在代码中明确处理编码
对于Python脚本：
# 方法1：指定编码打开文件withopen('output.txt','w',encoding='utf-8')asf:f.write(data)# 方法2：手动解码decoded_string=byte_data.decode('utf-8',errors='ignore')# 或 errors='replace'# 方法3：使用编解码器模块importcodecswithcodecs.open('file.txt','r',encoding='utf-8')asf:content=f.read()预防措施
统一使用UTF-8/UTF8MB4
- MySQL连接、表字段、应用程序统一使用utf8mb4
- 这是最推荐的做法
检查MySQL配置
-- 永久修改配置（在my.cnf中）[client]default-character-set=utf8mb4[mysql]default-character-set=utf8mb4[mysqld]character-set-server=utf8mb4 collation-server=utf8mb4_unicode_ciPython环境设置
# 在脚本开头添加importsysimportio sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
调试步骤
- 首先确认MySQL数据的实际编码
- 检查连接时的字符集设置
- 验证本地环境的编码配置
- 逐步测试每个环节的编码转换
建议使用UTF-8系列编码（特别是utf8mb4）作为标准，可以避免大部分字符编码问题。
最后排查下来，上面报错问题原因是连接MySQL 8时，连接参数中字符集使用了’utf-8’ 导致的。
)