我需要抓取从所有lambda函数生成的日志,并将其加载到我们的内部数据仓库。我想到了这些解决方案。让一个lambda函数订阅我的lambda函数的cloudwatch日志组,并修饰和记录消息并将其推送到s3。
- Pros: Works and simple to implement.拥有一个lambda函数,它每10分钟左右运行一次,创建导出任务,从cloudwatch中抓取日志并将它们加载到s3。导入logGroupName='/aws/lambda/<lambda_function
我试图找出数据仓库、集群数据处理和用于查询数据仓库的工具/基础结构之间的区别(工具/服务/程序)Hadoop Cluster for DistributedFunctions for querying data from a data warehouse在上面的例子中,数据仓库到底是什么我天真的头脑认为这是关系数据库或NoSQL数据库在上面的上下文是数