映射数据流通用数据模型源连接器日期时间/时间戳列无效？

Question

我们使用Azure数据工厂映射数据流从公共数据模型(model.json)中读取数据。

我们使用动态模式-其中实体是参数化的，我们不投影任何列，我们选择了Allow schema drift.。

问题:我们在映射数据流时遇到了“Source”问题(Source是公共数据模型)。在源活动中，所有日期时间/时间戳列都被读取为null。。

我们还尝试在投影选项卡Infer drifted column types中提供时间戳列的格式，但是它只满足特定的时间戳列--因为在源中，每个datetime列都有不同的时间戳格式。

11/20/2020 12:45:01 PM
2020-11-20T03:18:45Z
2018-01-03T07:24:20.0000000+00:00

问题:如何防止日期时间列变为空？理想情况下，我们不希望将数据流映射到任何列的类型--是否有一种方法只将所有列读入字符串？

一些截图

在投影选项卡中-我们不指定模式-允许模式漂移和动态加载超过1个实体。

​

在数据预览选项卡中

ModifiedOn, SinkCreatedOn, SinkModifiedOn -所有这些都是系统列，其中肯定会有值。

​

​

Answer 1

现在通过与Azure Data团队单独的对话来解决这个问题。

首先，无法对Source中的所有列进行“字符串化”，因为CDM连接器从model.json获取其元数据(如果需要，可以操作该文件，但对我的场景来说并不理想)。

要解决日期时间/时间戳列变为空-在投影选项卡下，我们需要选择Infer drifted column types，然后您可以添加“多个”时间格式，您希望来自CDM。您可以从下拉列表中选择--如果您的特定日期时间格式没有在下拉列表中列出(这就是我的情况)，那么您可以编辑数据流后面的代码(即数据流脚本)，以添加您的格式(请参阅第二个屏幕快照)。

​

​

​

​