我正在运行perl 5,version 24,subversion 3 (v5.24.3),它是为MSWin32 32-x64-多线程(带有一个注册补丁,请参阅perl -V获得更多详细信息)构建的(活动状态)。
试图解析以UTF-8编码的HTML页面:
$request = new HTTP::Request('GET', $url);
$response = $ua->request($request);
$content = $response->content();我使用索引和SUBSTR函数将$content解析为一个巨大的字符串,这很好。HTML页面包含值为BB的字符串,当我打印它并插入到db中时,我需要将它插入到数据库中,而不是在数据库中插入一些ascii字符。
注意:这个问题与数据库无关;MySQL可以很好地处理utf-8,所以如果我插入值“BB”,就不会有问题。
我在这里和其他论坛上看过许多类似的问题/答案,但我一点也不明智。
使用utf-8和binmode(STDOUT,“:utf 8”)没有为我工作.非常感谢能解决这个问题的代码片段,谢谢。
发布于 2020-01-06 01:52:31
这就是起作用的地方:
use Win32::API;
binmode(STDOUT, ":unix:utf8");
$SetConsoleOutputCP= new Win32::API( 'kernel32.dll',
'SetConsoleOutputCP', 'N','N' );
$SetConsoleOutputCP->Call(65001);所有这些都是表面上的,我只是忽略了这一点;-)
要使MySQL db正确工作并接受utf-8编码的字符串,必须启用此连接参数: mysql_enable_utf8 => 1,
发布于 2020-01-04 05:40:46
解码输入;编码输出。
首先,你不能解码你的输入。
$response->content返回任何编码中可能包含的原始内容。如果是HTML,使用$response->decoded_content();获取解码后的响应。
其次,您可能没有对输出进行编码。
您没有指定使用哪个数据库驱动程序。大多数DBI驱动程序都有您需要指定的选项。例如,对于MySQL,您希望
my $dbh = DBI->connect(
'dbi:mysql:...',
$user, $password,
{
mysql_enable_utf8mb4 => 1,
...
},
);你提到了use utf8;。这告诉Perl,您的源代码是使用UTF-8而不是ASCII编码的。如果您的源代码是使用UTF-8编码的,请使用它。
这与你的问题没有直接关系。
你提到了binmode(STDOUT, ":utf8")。这是一种非常糟糕的写作方式
use open ':std', ':encoding(UTF-8)';上面的代码处理STDIN、STDOUT和STDERR,并在编译时这样做。它还设置了在杂注范围内打开的文件的默认设置。
但这是假设终端机预期UTF-8。如果您使用chcp 65001,就会出现这种情况。对于处理终端所期望的任何编码的版本,可以使用以下方法:
BEGIN {
require Win32;
my $cie = "cp" . Win32::GetConsoleCP();
my $coe = "cp" . Win32::GetConsoleOutputCP();
my $ae = "cp" . Win32::GetACP();
binmode(STDIN, ":encoding($cie)");
binmode(STDOUT, ":encoding($coe)");
binmode(STDERR, ":encoding($coe)");
require open;
"open"->import(":encoding($ae)");
}这还有更多的细节。
这与你的问题没有直接关系。
发布于 2020-01-04 05:17:51
当您捕获网页并将其输出到屏幕时,涉及到几个组件。
现在,让我们假设您使用了Windows并在终端窗口中运行以下脚本。
首先,您需要确认终端是否支持UTF8编码。输入命令chcp,看看它是否会输出65001。
如果它这样做了,那么您可以设置,如果它没有设置,则发出以下命令chcp 65001。
使用命令perl script_name.pl运行脚本,您应该获得包含在终端窗口中的ÖBB的输出
use strict;
use warnings;
use utf8;
use feature 'say';
use HTTP::Tiny;
my $url = shift || 'https://www.thetrainline.com/en/train-companies/obb';
my $response = HTTP::Tiny->new->get($url);
if ($response->{success}) {
my $html = $response->{content};
$html =~ m/(<p>Planning.+pets.<\/p>)/;
say $1;
}要将数据存储在UTF8编码中数据库中,应将数据库配置为支持UTF8编码。
对于MYSQL数据库,命令应该如下所示
CREATE DATABASE mydb
CHARACTER SET utf8
COLLATE utf8_general_ci;请参阅下面的MYSQL文档网页。


https://stackoverflow.com/questions/59584569
复制相似问题