在Greenplum中使用data stage加载数据时面临的管道繁忙问题

Question

通过data stage作业在Greenplum中加载数据(大卷)时出现错误。

有多个作业按顺序运行。没有特定的作业会失败。它是随机的。如果第一天Job1失败，第二天Job2也会失败。

我们还观察到，它只影响必须加载大量数据的作业。

请找出错误，我们已经找到了。

第1天-消息: STG_DEPS_G,0:以下SQL语句失败: INSERT INTO GPCC_ET_20211114015751397_14836_2 SELECT DEPT，DEPT_NAME，BUYER，MERCH，PROFIT_CALC_TYPE，PURCHASE_TYPE，GROUP_NO，BUD_INT，BUD_MKUP，TOTAL_MARKET_AMT，MARKUP_CALC_TYPE，OTB_CALC_TYPE，MAX_AVG_COUNTER，AVG_TOLERANCE_PCT，DEPT_VAT_INCL_IND，CREATE_ID，CREATE_DATETIME FROM staging.STG_DEPS。该语句报告了以下原因:文件IBM ( SQLCODE=08S01 OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8000/DDCETLMIG_14836_gpw_11_3_20211114015751366)：SQLCODE=08S01/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(pid=25824 192.168.199.10:6000 pid=25824)(文件url_curl.c；行474；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，第808行)以下SQL语句失败: INSERT INTO GPCC_ET_20211114015751397_14836_2 SELECT DEPT，DEPT_NAME，BUYER，MERCH，PROFIT_CALC_TYPE，PURCHASE_TYPE，GROUP_NO，BUD_INT，BUD_MKUP，TOTAL_MARKET_AMT，MARKUP_CALC_TYPE，OTB_CALC_TYPE，MAX_AVG_COUNTER，AVG_TOLERANCE_PCT，DEPT_VAT_INCL_IND，CREATE_ID，CREATE_DATETIME FROM staging.STG_DEPS。该语句报告了以下原因:文件IBM ( SQLCODE=08S01 OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8000/DDCETLMIG_14836_gpw_11_3_20211114015751366)：HTTP/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(seg0 192.168.199.10:6000 pid=25824)(文件url_curl.c；行474；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，行808)

第2天

STG_RPM_ZONE,0:以下GPCC_ET_20211114093430218_8212_0语句失败: INSERT INTO SQL SELECT ZONE_ID，ZONE_DISPLAY_ID，ZONE_GROUP_ID，NAME，CURRENCY_CODE，BASE_IND，LOCK_VERSION FROM STAGING.STG_RPM_ZONE。该语句报告了以下原因:文件IBM ( SQLCODE=08S01 OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8004/DDCETLMIG_8212_gpw___20211114093430186)：SQLCODE=08S01/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(pid=26726 192.168.199.11:6000 pid=26726)(文件url_curl.c；行474；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，第808行)以下SQL语句失败: INSERT INTO GPCC_ET_20211114093430218_8212_0 SELECT ZONE_ID，ZONE_DISPLAY_ID，ZONE_GROUP_ID，NAME，CURRENCY_CODE，BASE_IND，LOCK_VERSION FROM STAGING.STG_RPM_ZONE。该语句报告了以下原因: SQLCODE=08S01 IBM (DataDirect OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8004/DDCETLMIG_8212_gpw___20211114093430186)：HTTP/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(seg1 192.168.199.11:6000 pid=26726)(文件url_curl.c；第474行；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，第808行)

第3天

事件类型:Fatal Timestamp:11/15/2021 9:27:36 AM消息: SUB_CLASS,3: APT_PMMessagePort::dispatch:ERROR: header = 04F02E20SUBPROC_SUPPORT_EOW，savedDispatchPosition = 04F02E20，currentDispatchPosition_ = 04F02E1FS，currentInputPosition_ = 04F02E58，buffer_ = 04F02E20，this = 04EEA1E0

第4天

消息: STG_GROUPS_G,0:以下SQL语句失败: INSERT INTO GPCC_ET_20211115015013039_2400_0 SELECT GROUP_NO，GROUP_NAME，BUYER，MERCH，DIVISION，CREATE_ID，CREATE_DATETIME FROM staging.STG_GROUPS。该语句报告了以下原因:文件IBM ( SQLCODE=08S01 OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8009/DDCETLMIG_2400_gpw_1_1_20211115015013023)：HTTP/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(seg5 192.168.199.12:6001 pid=1167)(文件url_curl.c；行474；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，第808行)以下SQL语句失败: INSERT INTO GPCC_ET_20211115015013039_2400_0 SELECT GROUP_NO，GROUP_NAME，BUYER，MERCH，DIVISION，CREATE_ID，CREATE_DATETIME FROM staging.STG_GROUPS。该语句报告了以下原因:文件IBM ( SQLCODE=08S01 OEM)GreenplumERROR:来自gpfdist (gpfdist://DDCETLMIG:8009/DDCETLMIG_2400_gpw_1_1_20211115015013023)：HTTP/1.0 501管道的http响应代码501正忙，请关闭该管道并重试(seg5 192.168.199.12:6001 pid=1167)(文件url_curl.c；行474；例程check_response；) (CC_GPCommon::checkThreadStatusThrow，文件CC_GPCommon.cpp，行808)

Answer 1

有几个问题：

您是否指出有多个作业在按顺序运行？这是否意味着存在多个并发作业，每个作业运行一组顺序作业？或者是否存在一个运行多个连续步骤的作业？如果是第一个，我会检查以确保没有作业使用相同的gpfdist端口。

DataStage是否通过代理服务器连接？这可能会导致一个问题(根据google lookup，501错误的常见原因)。

最后，用于将DataStage/gpfdist连接到Greenplum的一个或多个NIC的吞吐量速度是多少？另外，Greenplum中每个网段/网段主机之间的互连速度是多少？如果其中任何一个低于10G，则您的网络可能无法支持真正的高吞吐量。