azure-data-factory正在等待源

Question

我正在尝试将示例数据从一个SQL server数据库复制到另一个数据库。由于某些原因，流水线一直在等待源数据。当我查看源数据集时，没有创建任何切片。

以下是我的JSONS：

目标表：

{
  "name": "DestTable1",
    "properties": {
    "structure": [
      {
        "name": "C1",
        "type": "Int16"
      },
      {
        "name": "C2",
        "type": "Int16"
      },
      {
        "name": "C3",
        "type": "String"
      },
      {
        "name": "C4",
        "type": "String"
      }
    ],
      "published": false,
        "type": "SqlServerTable",
          "linkedServiceName": "SqlServer2",
            "typeProperties": {
      "tableName": "OferTarget1"
    },
    "availability": {
      "frequency": "Hour",
        "interval": 1
    }
  }
}

源表：

{
  "name": "SourceTable1",
    "properties": {
    "structure": [
      {
        "name": "C1",
        "type": "Int16"
      },
      {
        "name": "C2",
        "type": "Int16"
      },
      {
        "name": "C3",
        "type": "String"
      },
      {
        "name": "C4",
        "type": "String"
      }
    ],
      "published": false,
        "type": "SqlServerTable",
          "linkedServiceName": "SqlServer",
            "typeProperties": {
      "tableName": "OferSource1"
    },
    "availability": {
      "frequency": "Hour",
        "interval": 1
    },
    "external": true,
      "policy": { }
  }
}

管道：

{
  "name": "CopyTablePipeline",
    "properties": {
    "description": "Copy data from source table to target table",
      "activities": [
        {
          "type": "Copy",
          "typeProperties": {
            "source": {
              "type": "SqlSource",
              "sqlReaderQuery": "select c1,c2,c3,c4 from OferSource1"
            },
            "sink": {
              "type": "SqlSink",
              "writeBatchSize": 1000,
              "writeBatchTimeout": "60.00:00:00"
            }
          },
          "inputs": [
            {
              "name": "SourceTable1"
            }
          ],
          "outputs": [
            {
              "name": "DestTable1"
            }
          ],
          "policy": {
            "timeout": "01:00:00",
            "concurrency": 1
          },
          "scheduler": {
            "frequency": "Hour",
            "interval": 1
          },
          "name": "CopySqlToSql",
          "description": "Demo Copy"
        }
      ],
        "start": "2017-10-22T09:55:00Z",
          "end": "2017-10-22T13:55:00Z",
            "isPaused": true,
              "hubName": "wer-dev-datafactoryv1_hub",
                "pipelineMode": "Scheduled"
  }
}    

我可以在监视器视图中看到进程，但是管道被卡住了，正在等待源数据到达。

我做错了什么？

Answer 1

一开始，日程安排可能有点棘手。时间片可能等待触发器的原因很少

活跃度

1. 源属性
   • 如果源类型为SqlServerTable，则属性external应为true。就我个人而言，我陷入了复制粘贴JSON文件的陷阱，我花了一段时间才理解这一点。更多文献请点击这里：https://github.com/aelij/azure-content/blob/master/articles/data-factory/data-factory-sqlserver-connector.md

​

设置“external”：“true”并指定externalData策略信息给Azure数据工厂服务，这是数据工厂外部的表，不是由数据工厂中的活动生成的。

1. 并发性(在您的情况下不太可能)：如果活动的多个片段在特定时间窗口内有效，也可以暂停该活动。例如，对于每月活动，您的开始/结束日期是2014年1月1日至2015年1月1日，如果并发性设置为4，则4个月将并行运行，而其余月份将停滞并显示消息"Waiting on Concurrency"

流水线级别

1. 确保DateTime.Now位于start和负责delay的end之间。本文https://blogs.msdn.microsoft.com/ukdataplatform/2016/05/03/demystifying-activity-scheduling-with-azure-data-factory/
2. Paused更多地解释了活动的调度工作:可以暂停管道，在这种情况下，时间片将出现在监视器中，并显示消息“等待管道恢复”。您可以创作管道JSON并生成paused : true，甚至可以通过右键单击并点击resume来恢复管道。

检查您的下一次迭代何时安排的一个好方法是使用Monitor选项

​

​