Pandas -从SQL server读取，并输出到csv编码问题

Question

我正在从SQL Server2014 12.0.4100 SP1数据库中将数据读入pandas。数据以Windows-1252编码存储。

我使用的是python 2.7。

我想将生成的数据帧输出到Excel或csv。具体地说：

import pyodbc
cnxn = pyodbc.connect(r'Driver={SQL Server};Server=.\my_server;Database=my_db;Trusted_Connection=yes;')
sql = "select * from my_table"
df = pd.read_sql(sql, cnxn)
df.to_csv("my_csv.csv", encoding="utf-8")

但是，此操作将失败，并显示以下错误消息：

UnicodeDecodeError: 'utf8' codec can't decode byte 0x92 in position 13966: invalid start byte

我需要做什么才能成功导出到utf-8 csv？

Answer 1

解决方案是显式地将任何具有非ASCII字符的列转换为UTF-8。

您可以使用以下代码来完成此操作：

def convert(my_str):
    return my_str.decode('Windows-1252').encode('utf-8')
df["Name"] = df["Name"].apply(convert)

一旦转换，您将能够写入.csv和Excel格式没有问题。

Answer 2

您是否尝试使用'ISO-8859-2‘作为编码？

df.to_csv("my_csv.csv", encoding="ISO-8859-2")