如何将包含250 K行的数据集转换为Palantir Foundry中的融合支持数据集？

Question

我目前正在为一个需要包含数据集内容的项目进行模板创建过程(从测试到PROD/PROD的步骤)。若要将数据集的内容与模板一起包含，则需要对数据集进行融合支持。当我使用现有数据集创建融合表时，行被截断为25k行，仅同步这些行。但是现有的数据集包含大约250 K行。我无法在文档中定位；如何有效地将所有数据集内容包含为融合支持。任何帮助都是非常感谢的。谢谢

Answer 1

需要注意的是，在没有数据集融合支持的情况下，数据集将在PROD中为空。

你不应该为此使用融合！我假设在使用常规数据集时，您可能忘记将dataset设置为包含内容，您可以通过选择dataset并将includeDatasetContents设置为true来做到这一点。

{
  "writeSchemaOnUpdate": true,
  "defaultWriteSchemaOnUpdate": false,
  "includeDatasetContents": true, <------ this must be set to true
  "buildDatasetPostDeploy": true
}

在下面的图片中，您可以找到创建培训资源的模板创建和更新过程的屏幕截图(与我们在youtube频道的视频中使用的项目相同)。

​

​

作为一个侧面的想法，不想批评你的设计，只是分享一些建议，以改善它。使用一个融合表来保存数据进行传输听起来是个很糟糕的主意，我建议你重构它。融合是一种电子表格工具，用户可以像其他电子表格工具一样手动使用它，如果数据有250 k行，听起来很容易出错，如果有人打开或编辑任何不正确的东西，就很难检测和修复。在铸造有更好的工具，在这些大小的数据处理，即:轮廓，转换，代码工作簿等。