未按预期处理UTF8值的鲁门UTF8查询

Question

我正在处理一个使用UTF8编码的数据库，它有许多包含特殊字符的用户名，例如“Ғђ▫索尼”

当查询用户表时，Lumen使用不正确的数据进行响应。我尝试使用mysqli和PDO查询同一个表，并收到预期的结果。我设置了一个示例路径来测试它：

$app->get("charset", function() {
    $mysqli = new mysqli("localhost", "user", "password", "database");
    $res = $mysqli->query("select name from users where id = 1");

    $dbh = new PDO('mysql:host=localhost;dbname=database', "user", "password");
    $stmt = $dbh->query("select name from users where id = 1");

    $lumen = DB::select("select name from users where id = 1");

    return response()->json([
        "mysqli" => $res->fetch_assoc(),
        "pdo" => $stmt->fetchAll(PDO::FETCH_ASSOC),
        "framework" => $lumen
    ]);
});

在访问路由时，我会得到以下响应：

{
  "mysqli": {
    "name": "Ғђ ▫ Sony"
  },
  "pdo": [
    {
      "name": "Ғђ ▫ Sony"
    }
  ],
  "framework": [
    {
      "name": "Ò’Ñ’ â–« Sony"
    }
  ]
}

如果上面的文本没有正确显示，下面是响应的屏幕截图：

​

据我所知，Lumen的MySQL配置默认为UTF8，是不可更改的--我在vendor/laravel/lumen-framework/config/database中找到了以下内容

'mysql' => [
    'driver'    => 'mysql',
    'host'      => env('DB_HOST', 'localhost'),
    'database'  => env('DB_DATABASE', 'forge'),
    'username'  => env('DB_USERNAME', 'forge'),
    'password'  => env('DB_PASSWORD', ''),
    'charset'   => 'utf8',
    'collation' => 'utf8_unicode_ci',
    'prefix'    => env('DB_PREFIX', ''),
    'timezone'  => env('DB_TIMEZONE','+00:00'),
    'strict'    => false,
],

我不知道是什么导致了这一切。我还能做些什么来找出这种差异呢？

Answer 1

这个答案是基于我先前的评论。

MySQL连接字符集定义了用于MySQL客户端(MySQL)和服务器之间通信的编码。在实际的MySQL表中，使用什么编码作为内部编码并不重要。MySQL服务器将自动转换表编码和连接编码之间的数据。因此，连接编码基本上定义了希望从MySQL获取数据的格式，也定义了将数据插入到MySQL的格式。

确定数据库中的数据在utf8中被正确编码了吗？

看起来，您只使用UTF8进行流明DB连接(如果这是默认的)，但是您不会在mysqli或PDO连接示例中使用UTF8。如果使用$mysqli->set_charset("utf8");设置mysqli字符集，使用new PDO('mysql:host=localhost;dbname=database;charset=utf8', "user", "password");设置mysqli字符集，结果是否相同？

根据您的代码和输出示例，您似乎正确地从流明DB连接中获得了UTF8中的数据，但是输出并没有显示为UTF8。

这也解释了为什么mysqli和PDO输出显示正确，因为它们没有在UTF8中返回数据(因为您没有将它们的连接字符集设置为UTF8)，但在默认情况下，它们似乎与您在其中显示输出的任何编码(显然是"latin1“或兼容)相匹配。

如果您在web浏览器中查看输出，请确保输出页字符集定义正确(例如使用标题)。

编辑：

顺便说一句，只要连接编码与通过连接发送的数据的编码匹配，在插入数据的其他系统中使用什么连接编码就不重要了。

将连接编码设置为latin1意味着在进行选择时将获得字符串数据为latin1。因此，您的输出似乎是作为latin1而不是UTF-8处理的。如果您的输出环境(例如web浏览器)支持它，那么如果您将脚本输出正确地显示为"as UTF-8“，可能会更好。否则，如果需要处理不能在latin1中显示的字符，就会遇到问题。虽然如果您输出到CLI终端/控制台，那么当然，您应该使用与默认终端编码相同的编码(可以是UTF-8或其他什么)。我更喜欢我的Linux终端也被配置为UTF-8。