首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何更正文件的字符编码?

问如何更正文件的字符编码?
EN

Stack Overflow用户
提问于 2008-09-25 09:31:23
回答 12查看 201.5K关注 0票数 56

我有一个ANSI编码的文本文件,它不应该编码为ANSI,因为有ANSI不支持的重音字符。我更愿意使用UTF-8。

数据能否正确解码,或者在转码过程中丢失?

我可以使用哪些工具?

以下是我所拥有的示例:

代码语言:javascript
复制
ç é

我可以从上下文(cafç©应该是café)看出,这应该是这两个字符:

代码语言:javascript
复制
ç é
EN

回答 12

Stack Overflow用户

回答已采纳

发布于 2008-09-25 18:31:46

编辑:在进入更复杂的解决方案之前,有一种简单的可能性需要排除:您是否尝试过在读取文件的文本编辑器中将字符集设置为utf8?这可能只是有人向您发送了一个utf8文件,您正在设置为cp1252的编辑器中读取该文件。

仅以这两个示例为例,这是通过单字节编码的镜头读取utf8的情况,可能是iso-8859-1、iso-8859-15或cp1252之一。如果您可以发布其他问题字符的示例,则应该可以进一步缩小范围。

由于目视检查字符可能会产生误导,您还需要查看底层字节:您在屏幕上看到的§可能是0xa7或0xc2a7,这将决定您必须执行的字符集转换类型。

你能假设你所有的数据都以完全相同的方式被扭曲了吗--它来自相同的来源,经过了相同的转换序列,所以例如,在你的文本中没有一个é,它总是§?如果是这样,这个问题可以通过一系列字符集转换来解决。如果您可以更具体地了解您所处的环境和正在使用的数据库,这里的某个人可能会告诉您如何执行适当的转换。

否则,如果问题字符只出现在您的数据中的某些地方,您将不得不逐个实例地处理它,基于这样的假设:“没有作者打算在他们的文本中添加§,所以无论何时您看到它,都要替换为ç”。后一种选择风险更大,首先是因为那些关于作者意图的假设可能是错误的,其次是因为你必须自己发现每个问题字符,如果有太多的文本需要视觉检查,或者如果它是用你不熟悉的语言或书写系统编写的,这可能是不可能的。

票数 21
EN

Stack Overflow用户

发布于 2013-12-18 14:15:40

使用Notepad++时,请执行以下步骤

1-复制原始文本

2-在Notepad++中,打开新文件,更改编码->选择您认为原始文本遵循的编码。也可以尝试编码" ANSI“,因为某些程序有时会将Unicode文件读取为ANSI

3-粘贴

4-然后再通过相同的菜单转换为Unicode :编码-> "Encode in UTF-8“(而不是”转换为UTF-8"),希望它能变得可读。

以上步骤适用于大多数语言。在粘贴到notepad++之前,您只需要猜测原始编码,然后通过相同的菜单转换为另一种基于Unicode的编码,看看是否变得可读。

大多数语言有两种编码形式: 1-旧的传统ANSI (ASCII)形式,只有8位,最初被大多数计算机使用。8位仅允许256种可能性,其中128位为常规拉丁语和控制字符,最后128位根据PC语言设置的不同进行读取2-新的Unicode标准(最多32位)为所有当前已知语言中的每个字符提供了唯一的代码,而且还会有更多的代码。如果文件是unicode,则在任何安装了该语言字体的PC上都应能识别。请注意,即使是UTF-8也达到了32位,并且与UTF-16和UTF-32一样宽,只是为了节省磁盘空间,它试图保持8位的拉丁字符

票数 29
EN

Stack Overflow用户

发布于 2008-09-25 12:40:30

当你看到像§和©这样的字符序列时,通常表示UTF-8文件已被程序打开,该程序将其读入为ANSI (或类似)。像这样的Unicode字符:

U+00C2拉丁文大写字母A随以扬抑符

带代字符的U+00C3拉丁文大写字母A

此处允许U+0082中断

U+0083此处无中断

由于UTF-8使用的是可变字节策略,所以它倾向于在ANSI文本中显示。这个策略在here得到了很好的解释。

这样做的好处是,这些奇怪字符的出现使得查找和替换不正确转换的实例相对容易。

我相信,由于ANSI总是对每个字符使用1个字节,您可以通过一个简单的搜索和替换操作来处理这种情况。或者更方便的是,使用包含违规序列和所需字符之间的表映射的程序,如下所示:

- ->œ“#应该是一个双曲引号

- curly?->“#应为右双曲引号

任何给定的文本,假设它是英文的,都会有相对较少的不同类型的替换。

希望这能有所帮助。

票数 9
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/132318

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档