cloudant dashdb同步问题

Question

我们已经在cloudant中创建了一个源数据库的仓库，我们已经在大约40,000条记录上运行了模式发现过程，initially.Our cloudant数据库由大约200万条记录组成。现在我们面临的问题是，我们在DashDB中的_OVERFLOW表中有许多记录(意味着它们已被拒绝)，错误如“DashDB中不存在列。文档尚未导入”。

在我看来，问题是cloudant数据库实际上是dbcopy的结果，在文档中包含部分，因为这些部分是由cloudant内部创建的，因此只有在创建了像dd中的"40000000-5fffffff“这样的部分之后，我们才能判断这些值是否被模式发现过程发现，现在所有具有未发现的部分的文档都被cloudant-dashdb sync拒绝了。

有没有人知道如何解决它..

Answer 1

解决这个问题的最佳选择是使用一个简单的技巧:将您希望在dashDB目标中创建的结构恰好提供给模式发现算法一个文档。

如果您可以提前构建这样的“模板”文档，请让算法发现该文档并将其加载到dashDB中。通过从Cloudant到dashDB的连续复制，您可以让dbcopy将您的实际文档加载到作为cloudant-dashdb同步源的数据库中。

Answer 2

我们最初对大约40,000条记录运行了模式发现过程。我们的数据库由大约两百万条记录组成

这两百万人是否都共享相同的模式？我不这么认为。

“列在已发现的架构中不存在。尚未导入文档。”

这意味着，在最初的40,000条记录扫描应用程序中，没有找到任何包含该字段的文档。

假设Cloudant数据库中的文档序列是：

与架构A匹配的

• 500'000个文档
• 800‘000个与架构B匹配的文档
• 700’000个匹配架构C的文档

你的发现过程只检查了前40,000。它从未到达模式B和C。

我建议重新运行发现过程并处理全部2百万条记录。这将需要时间，但将保证所有字段都被发现。