除去坏字符，但保留所有语言中的所有字符。

Question

我正在努力清除PHP中的播客描述，以消除诸如不可见性、表情符号、随机字节等不良字符，以便写入MySQL。问题是播客的描述是以所有的语言和包含合法的文本，我需要保存在每一个可想象的字符集，可能包括一些难以想象的。我看不到一种创建字符白名单或字符黑名单的方法。有什么建议吗？

Answer 1

如果可以确保字符串位于UTF-8中(例如使用utf8_encode()或iconv() )，则可以在表达式中使用字符类别黑色/白名单。

首先，我将删除\p{C} ("other")和\p{S} (“符号”) 类别中的所有字符。那应该能抓住大部分的污垢。

$description = "Some random string, with a  emoji";
$filtered = preg_replace('/[\p{C}\p{S}]/u', '', $description);
// string(33) "Some random string, with a  emoji"

请注意，您需要使用u修饰符。

这应该是一个很好的起点，但它可能太严格了。它可能会从描述中移除太多。例如，货币符号在一些经济播客描述中可能是有效的，而数学符号在基于数学的播客的描述中可能是绝对必要的。

在此基础上，您可以调整它，以便在必要时只替换特定的子类别。因此，与其删除整个\p{S}类别，不如只删除\p{Sk} (“修饰符”)和\p{So} (“其他符号”)类别中的字符。或者您可能希望包括其他类别，如\p{Pc} (“连接器标点符号”)。