AWS Glue爬虫如何排除oracle模式或oracle表？

Question

客户计划使用Glue爬虫排除oracle模式或oracle表？

Glue爬虫不支持Oracle和MySQL数据库的/数据库/模式/表，我尝试了许多不同的模式来排除oracle模式或oracle表，但结果并不是预测的。

如何设计Oracle数据库或MySQL数据库的排除模式？

包括-模式:测试/%

测试是oracle服务的名称。

我添加了以下模式以排除模式APEX_030200和WWV凝视表：

• APEX_030200.WWV*
• APEX_030200*
• test_apex_030200_wwv*
• test.APEX_030200.WWV_*
• test.APEX_030200.WWV*
• test.APEX_030200*
• test.APEX_030200*
• WWV*

但是结果是爬虫包含模式APEX_030200的所有表。

Answer 1

根据Glue Crawler包括和排除模式文档，您不能在包含路径中为数据库引擎(如MySQL或Oracle )指定模式名称，因为它们不支持模式，至少在数据库中的命名空间意义上是如此。

• 在大多数RDBMS中，如MS SQL Server，架构表示命名空间。
• 不过，Oracle数据库使用该术语的方式有所不同。模式与用户本质上是一样的，因为它表示该用户拥有的对象，独立于他们所在的数据库。

因此，对于甲骨文和MySQL，排除语法是database-name/table-name，而不是database-name/schema-name/table-name。

我不知道是否有一种方法可以显式地导出Oracle所称的模式。

Answer 2

为了能够排除Oracle中的表，该模式需要以下格式

USER/EXCLUDE-PATTERN

其中USER是表所有者或Oracle。PATTERN确实尊重glob格式的在文档中描述。例如，我添加了

XXAPPS/P[!EORU]*

在爬虫日志中，得到了表被排除的确认

​

​