在BigQuery中将API调用作为UDF的一部分--可能吗？

Question

我想知道是否可以在BigQuery中的UDF中调用google、地理编码api？

我有Google分析地理领域，如

{
"geoNetwork_continent": "Europe",
"geoNetwork_subContinent": "Eastern Europe",
"geoNetwork_country": "Russia",
"geoNetwork_region": "Novosibirsk Oblast",
"geoNetwork_metro": "(not set)"
},

并想打电话给：

https://maps.googleapis.com/maps/api/geocode/json?address=1600+Amphitheatre+Parkway,+Mountain+View,+CA&key=XXXX

只是想知道我是否能够在UDF中使用javascript对BigQuery中的每一行进行api调用。

将是非常强大的，并避免了我不得不用R或Python。

非常多的UDF新手只想问一问我建议的内容是否可行(不知道UDF中的外部api调用是否出于某种原因或技术上的不可能)。

任何建议都很感激。

Answer 1

现在可以使用远程函数调用远程API：

https://cloud.google.com/bigquery/docs/reference/standard-sql/remote-functions

但是，在将其与示例中的映射地理编码API一起使用之前，请检查它们的使用策略，特别是缓存和存储策略：

https://developers.google.com/maps/documentation/geocoding/policies#pre-fetching,-caching,-or-storage-of-content

Answer 2

不允许从您的UDF进行网络呼叫。这是由于安全性方面的考虑，以及查询在BigQuery中(大量地)被分片执行的事实。从查询节点建立每个记录的出站网络连接会使DDOS成为多个目标;)

Answer 3

我认为，当前，UDF中的API调用是BigQuery UDF限制的主题。

https://cloud.google.com/bigquery/user-defined-functions#limitations