连接Tranco Google BigQuery和元数据库

Question

我试图连接第三方排名管理系统(https://tranco-list.eu/)与元数据库。Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。因为Tranco是一个外部数据库源，因此我无法从这里访问dataset Id。

如果您想在Google BigQuery中获得tranco的结果，那么运行下面的查询。

select * from `tranco.daily.daily` where domain ='google.com' limit 10

当我在public dataset中搜索Tranco时，我也不会在他们的也上找到这个。是否有人知道，如何将第三方数据集添加到我们的Google云项目中。

​

​

​

​

提前谢谢。

Answer 1

不幸的是，您不能直接从BigQuery读取Tranco数据集；但是，您可以做的是将CSV数据从Tranco加载到云存储桶中，然后在BigQuery中读取存储桶。

当您将数据从云存储加载到BigQuery表中时，包含该表的数据集必须与云存储桶位于相同的区域或多区域位置。

请注意，它还有下一个限制：

• CSV文件不支持嵌套或重复数据。
• 删除字节顺序标记(BOM)字符。它们可能会引起意想不到的问题。
• 如果使用gzip压缩，BigQuery无法并行读取数据。将压缩的CSV数据加载到BigQuery中比加载未压缩的数据要慢。
• 不能在同一加载作业中同时包括压缩文件和未压缩文件。
• gzip文件的最大大小是4GB。加载CSV或JSON数据时，日期列中的值必须使用破折号(-)分隔符，日期必须采用以下格式:YYYY(年份月日)。
• 加载JSON或CSV数据时，时间戳列中的值必须对时间戳的日期部分使用破折号(-)分隔符，日期必须采用以下格式:YYYY(年月日)。时间戳的hh:mm:ss (小时分秒)部分必须使用冒号(:)分隔符。

另外，如果您不知道如何上传和读取CSV数据，您可以看到这个文档。

在我发送给您的下一个链接中，也是关于yo如何创建/选择将要使用的桶的一步一步的指导。