特殊字符(重音、撇号、换行符)在自定义源代码测试中有效，但在部署到停靠的流集时不再有效

Question

我已经编写了一个自定义的Streamsets源文件。有些记录包含像é或ë这样的字符。当运行我的自动化测试时，我可以验证数据是否按照预期以SDC记录列表的形式发出。

但是，当我在however化的Streamsets Data Collector上的管道中使用我的自定义原点时，所有这些特殊字符都显示在UI中(预览)，并作为'?‘推送到我的Target。

Streamsets是否正在解释我的源的输出并应用一些字符编码？

Answer 1

问题根本不在自定义源或Streamsets中，而是Docker容器本身的问题。我继承的官方Streamsets容器是基于高山Linux的。默认情况下没有安装语言环境支持，所以诀窍是自己添加它。

这个post帮助我在容器中安装它并配置容器。之后，所有的工作都像预期的那样。