使用桌面工具从REST API加载和刷新JSON数据集

Question

目前我查询Excel接口下载数据到WebTrends中。然而，现在我正在寻找一种更可靠的方法/工具来获取JSON/XML格式的数据，然后将其转换为CSV格式，以便在各种数据存储和分析工具中使用。

如果该工具可以通过将新数据添加到现有数据集来定期自动更新提要，那将是一个额外的好处。

哦，它需要是免费的/开源的。

我的研究将我引向了诸如Talend、JaspersoftETL和CloverETL...etc这样的ETL工具。但我正在努力确定他们是否可以做这项工作，以及哪一个更容易！有没有人知道如何以1-free - 2-easy 3-轻量级的方式完成上面的工作？

http://ws.webtrends.com/v2_1/ReportService/profiles/dnGpm8jbgl7/reports/1RxjilSo4n7/?totals=none&period=2017m02d27*26&format=json&suppress_error_codes=true是这样的WebTrends接口地址

谢谢,

Answer 1

如果你可以使用Ruby，那么Kiba ETL就是一个轻量级的免费开源解决方案，你可以在这种情况下使用它。

通常，代码将如下所示：

source YourJSONHTTPDownloadSource, urls: [url_1, url_2]

transform do |row|
  # remap the fields as needed
  row
end

destination YourCSVDestination, filename: my_filename  

您可以使用Kiba命令行运行它。

您必须编写YourJSONHTTPDownloadSource (从url获取数据并生成每个JSON/XML元素的Kiba源)和YourCSVDestination (有关这方面的更多详细信息，请查看readme)。

PS:您提供的URL需要身份验证，这意味着我们看不到任何内容。