gcp NL api情感分析-如何将结果存储在BigQuery中

Question

我正在使用gcp bigquery通过google函数存储新闻流，并将其保存在bigquery中。

如何运行使用来自bigquery的数据的python脚本，并最终将得分和幅度的结果写回相关的数据集？

我在google文档中找不到任何关于它的东西，只是如何运行情绪分析，而不是如何从bigquery中获取数据并将结果传回bigquery。

非常感谢您的支持。

Answer 1

您没有为我们提供足够的详细信息来回答具体问题，所以让我给您介绍一下我尝试的一般方法：

首先，让我们使用gcloud命令行界面对任意一句话进行情感分析：

gcloud --format json ml language analyze-entity-sentiment --content "It's time we just let this thing go - it was a prett
y good bad idea, wasn't it though? -- Bad Idea, Sara Bareilles" | jq -c . > sentiments.json

请注意，我用jq删除了输出JSON的格式，并将结果存储在一个文件中。

要将此文件加载到BigQuery中，每个句子可能包含多个JSON行：

bq load --autodetect --source_format=NEWLINE_DELIMITED_JSON temp.sentiments sentiments.json 

这个问题要求“流到BigQuery中”，但是批量加载可能更有意义，如下所示。

现在我们有一个表，其中包含BigQuery格式的结果：

SELECT * FROM `fh-bigquery.temp.sentiments` LIMIT 1000

​

​

顺便说一句，我在句子中添加了Sara Bareilles，以确保BigQuery在第一次创建表时获得了自动检测的完整模式。

如果您想将数据流式传输到BigQuery中，那么请查看BigQuery文档中的数据流。在这个回答中，我想将获取和查看Cloud NLP数据的基础知识隔离到BigQuery中-其余的只是使用它的基础知识。