UTF8编码的字符串在MySQL中没有正确显示

Question

因此，我已经编写了一个爬虫程序，从一个带有字符集utf8的网站上抓取信息和数据。但是，当我试图将内容存储到MySQL中时，一些特殊字符(如西班牙字母)在MySQL中没有正确显示。

以下是我所做的：

1. 将header("Content-Type: text/html; charset=utf-8")放在PHP中
2. 将MySQL中的所有字符集设置为utf8-unicode-ci
3. 在连接时有$conn->query("SET NAMES 'utf8'")
4. 再次检查我解析的html是否用utf-8编码。

那么这里有哪些潜在的问题呢？

Answer 1

也许您使用不应该管理多字节字符的函数来编写爬虫代码。

例如，strlen而不是mb_strlen。

试着放：

mb_internal_encoding("UTF-8");

作为您的php coce的第一行，然后检查是否必须在它们各自的mb版本中转换某些函数。看看多字节字符串引用

作为最后一次机会，您可以在将字符串插入mysql之前使用凸函数。

某些东西，如：

$utf8_string = iconv(iconv_get_encoding($string), "UTF-8", $string);

应该做点什么

Answer 2

首先要检查数据库中数据是否存储错误，在这种情况下，问题在于爬虫。否则问题就在你的演讲中。

为了测试这一点，我建议您使用专用的mysql客户机(例如命令行客户机)来检查数据。

Answer 3

我记得我在处理UTF8问题时把头发拔了出来，直到我开始把这个添加到我的头上：

setlocale(LC_ALL, 'en_US.UTF-8');