问Schemacrawler根据表的数量对大型模式进行分区
EN

Stack Overflow用户

提问于 2020-11-02 04:14:49

回答 1查看 40关注 0票数 0

我有一个使用案例，我使用schemacrawler从不同的数据库抓取元数据。然后在我的下游系统中使用这些元数据。

我有很多可变大小的数据库需要抓取。表的数量从20到2000个不等。现在，我正在使用Schemacrawler API来运行爬虫。如果源数据库中的表数更多，我的应用程序就会崩溃，因为它试图一次抓取所有的表。

在schemacrawler中有没有办法批量抓取数据库。也就是说，如果有1000个表，它将分5批爬行，每个批200个表？

谢谢!

发布于 2020-11-03 07:57:22

喜满树，

SchemaCrawler的设计前提是，您应该将搜索范围缩小到一小部分表，而不是试图获取整个模式。SchemaCrawler提供了使用正则表达式过滤搜索结果的强大方法。话虽如此，我理解你的用例。我建议您使用“最低”模式信息级别来获取所有表的列表，然后编写代码以使用该列表一次获取几个表的详细信息。

苏阿利赫·法塔希，SchemaCrawler

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64636496

复制

相似问题

问Schemacrawler根据表的数量对大型模式进行分区EN