构建数据管道时云数据融合中的输入零值处理

Question

我已经开始尝试google云数据融合作为一种可能的ETL工具，我最终可以决定使用use.When构建一个数据管道，从REST源获取数据并将其加载到MySQL数据库中，面对这个错误，预期会有一个字符串，但在第221行时为NULL。请查看系统日志以获得更多详细信息。是正确的，我在JSON响应中看到了一个null字段

"systemanswertime": null

如何处理空值，因为云数据融合演播室中可用的下拉列表字符串不能工作，它们是我可以使用的其他可选数据类型吗？下面是两个屏幕截图，显示我当前的数据管道结构广义视图

视图显示映射和输出模式。

谢谢！！

Answer 1

您需要做的是通过检查右侧输出前面的null复选框，告诉HTTP您正在等待null。见下面的例子

​

Answer 2

您可能会收到此错误，因为在JSON模式中，您正在定义值属性。应该允许systemanswertime参数为NULL。

您可以尝试解析JSON值，如下所示：

    "systemanswertime": {
      "type": [
        "string",
        "null"
      ]
    }

在无法访问JSON文件的情况下，您可以尝试使用这插件，以便通过动态替换HTTP可以提供的配置来使HTTP能够管理可取消的值。您将需要访问HTTP端点，以便构造一个可访问的HTTP端点，该端点可以提供类似于以下内容的内容：

{
      "name" : "output.schema", "type" : "schema", "value" : 
      [
        { "name" : "id", "type" : "int", "nullable" : true},
        { "name" : "first_name", "type" : "string", "nullable" : true},
        { "name" : "last_name", "type" : "string", "nullable" : true},
        { "name" : "email", "type" : "string", "nullable" : true},
      ]
},

Answer 3

如果遇到错误，例如:未为联合类型找到匹配的架构："string“、"null"，则可以尝试以下解决方法。造成此错误的根本原因是，来自API的响应中的条目没有它需要的所有字段。例如，一些条目可能具有callerId、信道、last_channel、最后数据等.但其他条目可能没有last_channel或来自JSON的任何其他字段。这导致HTTP源中提供的模式不匹配，管道立即失败。

作为pear，当节点遇到空值、逻辑错误或其他错误源时，可以使用错误处理程序插件来捕获错误。办法如下：

在HTTP源插件中，更改以下内容：

• 要说明自定义字段的输出架构。
• JSON/XML字段映射到自定义字段。更改非HTTP错误处理字段以发送到错误。这样，它通过错误收集器推送记录，管道继续进行后续记录。
• 添加了错误收集器和接收器来捕获错误记录。使用此方法，您将能够运行管道并检测到有问题的字段。

你好，曼纽尔