我有一个ANSI编码的文本文件,它不应该编码为ANSI,因为有ANSI不支持的重音字符。我更愿意使用UTF-8。
数据能否正确解码,或者在转码过程中丢失?
我可以使用哪些工具?
以下是我所拥有的示例:
ç é我可以从上下文(cafç©应该是café)看出,这应该是这两个字符:
ç é发布于 2008-09-25 18:31:46
编辑:在进入更复杂的解决方案之前,有一种简单的可能性需要排除:您是否尝试过在读取文件的文本编辑器中将字符集设置为utf8?这可能只是有人向您发送了一个utf8文件,您正在设置为cp1252的编辑器中读取该文件。
仅以这两个示例为例,这是通过单字节编码的镜头读取utf8的情况,可能是iso-8859-1、iso-8859-15或cp1252之一。如果您可以发布其他问题字符的示例,则应该可以进一步缩小范围。
由于目视检查字符可能会产生误导,您还需要查看底层字节:您在屏幕上看到的§可能是0xa7或0xc2a7,这将决定您必须执行的字符集转换类型。
你能假设你所有的数据都以完全相同的方式被扭曲了吗--它来自相同的来源,经过了相同的转换序列,所以例如,在你的文本中没有一个é,它总是§?如果是这样,这个问题可以通过一系列字符集转换来解决。如果您可以更具体地了解您所处的环境和正在使用的数据库,这里的某个人可能会告诉您如何执行适当的转换。
否则,如果问题字符只出现在您的数据中的某些地方,您将不得不逐个实例地处理它,基于这样的假设:“没有作者打算在他们的文本中添加§,所以无论何时您看到它,都要替换为ç”。后一种选择风险更大,首先是因为那些关于作者意图的假设可能是错误的,其次是因为你必须自己发现每个问题字符,如果有太多的文本需要视觉检查,或者如果它是用你不熟悉的语言或书写系统编写的,这可能是不可能的。
发布于 2013-12-18 14:15:40
使用Notepad++时,请执行以下步骤
1-复制原始文本
2-在Notepad++中,打开新文件,更改编码->选择您认为原始文本遵循的编码。也可以尝试编码" ANSI“,因为某些程序有时会将Unicode文件读取为ANSI
3-粘贴
4-然后再通过相同的菜单转换为Unicode :编码-> "Encode in UTF-8“(而不是”转换为UTF-8"),希望它能变得可读。
以上步骤适用于大多数语言。在粘贴到notepad++之前,您只需要猜测原始编码,然后通过相同的菜单转换为另一种基于Unicode的编码,看看是否变得可读。
大多数语言有两种编码形式: 1-旧的传统ANSI (ASCII)形式,只有8位,最初被大多数计算机使用。8位仅允许256种可能性,其中128位为常规拉丁语和控制字符,最后128位根据PC语言设置的不同进行读取2-新的Unicode标准(最多32位)为所有当前已知语言中的每个字符提供了唯一的代码,而且还会有更多的代码。如果文件是unicode,则在任何安装了该语言字体的PC上都应能识别。请注意,即使是UTF-8也达到了32位,并且与UTF-16和UTF-32一样宽,只是为了节省磁盘空间,它试图保持8位的拉丁字符
发布于 2008-09-25 12:40:30
当你看到像§和©这样的字符序列时,通常表示UTF-8文件已被程序打开,该程序将其读入为ANSI (或类似)。像这样的Unicode字符:
U+00C2拉丁文大写字母A随以扬抑符
带代字符的U+00C3拉丁文大写字母A
此处允许U+0082中断
U+0083此处无中断
由于UTF-8使用的是可变字节策略,所以它倾向于在ANSI文本中显示。这个策略在here得到了很好的解释。
这样做的好处是,这些奇怪字符的出现使得查找和替换不正确转换的实例相对容易。
我相信,由于ANSI总是对每个字符使用1个字节,您可以通过一个简单的搜索和替换操作来处理这种情况。或者更方便的是,使用包含违规序列和所需字符之间的表映射的程序,如下所示:
- ->œ“#应该是一个双曲引号
- curly?->“#应为右双曲引号
任何给定的文本,假设它是英文的,都会有相对较少的不同类型的替换。
希望这能有所帮助。
https://stackoverflow.com/questions/132318
复制相似问题