从PubSub摄取CDAP

Question

我正在尝试将PubSub消息中的数据加载到GCS文件中。简单的管道: PubSub源-> JSON解析器-> GCS接收器。

由于PubSub只接受utf-8格式的数据参数，如何在CDAP中解码？我应该构建一个实现解码函数的自定义插件，还是使用PuSub消息中的属性而不是' data‘将我的数据作为字符串传递更好？

Answer 1

我用一个投影器插件解决了这个问题，而不是在PubSub源和GCS接收器之间使用JSON解析器。投影仪将PubSub源的字节消息属性转换为字符串(纯文本)。