到S3 DataLake的插入式迁移

Question

我们正在考虑将Splunk作为我们的数据存储，转而关注由S3支持的亚马逊网络服务数据湖。

将数据从Splunk迁移到S3的过程是什么？我读过很多关于将数据从Splunk归档到S3的文档，但不确定这是将数据归档为可用的格式，还是需要将其以某种归档格式恢复到splunk本身？

Answer 1

看看Splunk的SmartStore功能。它将您的非热存储桶移动到S3，因此您可以节省存储成本。然而，在亚马逊网络服务上运行SmartStore只有在亚马逊网络服务上运行Splunk才有意义。否则，数据导出费用将使您破产。当Splunk需要搜索存储在S3中的存储桶并将该存储桶复制到索引器时，数据导出适用。有关详细信息，请参阅https://docs.splunk.com/Documentation/Splunk/8.0.0/Indexer/AboutSmartStore。

Answer 2

据我所知，有几种方法可以做到这一点：

• 导出使用Web
• 使用REST API导出使用CLI
• 拷贝filesystem

中的某些文件

到目前为止，我已经尝试使用CLI导出，并且我已经设法一次导出大约500,000个事件

splunk search "index=main earliest=11/11/2019:00:00:01 latest=11/15/2019:23:59:59" -output rawdata -maxout 500000 > output2.dmp

然而，我不确定如何才能准确地重复这一步骤，以确保我包含了所有100个million+事件。IE从日期A到日期B搜索500,000条记录，然后从日期B到日期C搜索下一条500,000条记录-两者之间不会遗漏任何事件。