回答情况：
提问时间：
问题标签：
我有一个用例，在这个用例中，我必须每秒从不同的生产者收集数千条记录，并使用AWS firehose将它们推送到弹性搜索。我还在firehose上使用了一个数据转换lambda，它在将记录传递回firehose之前进行了大量的计算。查看firehose指标，很明显，firehose花了一个多小时来处理所有传入的事件。因为没有任何lambda油门(图2)，所以我想知道为什么Firehose没有运行尽可能多的lambda来跟上输入速率？所以我想知道firehose是否同时运行
浏览 0修改于2018-05-21得票数 2
我正在设置一个到S3的Kinesis Firehose传递流，我注意到你可以设置一个自定义的KMS密钥来加密S3上的文件。
但是，如果S3存储桶已启用KMS加密，则无论如何都会对文件进行加密。当然，不同之处在于，将使用默认的亚马逊网络服务管理器S3 KMS密钥，而不是提供给Firehose的客户管理的自定义KMS密钥。相对于依赖默认的S3 KMS密钥，通常使用自定义KMS密钥对S3上的Firehose数据进行加密的原因是什么？如果您也是S3存储桶的所有者并控制其设置，那么这样做有什么意义吗?或者，与S3提供的用于加密静态数据的KMS密钥不同
浏览 19提问于2018-12-13得票数 4
回答已采纳
来自文档： “然后，Kinesis Data Firehose使用AWS Lambda同步调用模式对每个缓冲批处理异步调用指定的Lambda函数。”如果firehose以同步模式调用lambda，那么它如何也被异步调用呢？
浏览 24修改于2018-12-20得票数 2
我正在使用Java API for Kinesis Firehose，并在可能的情况下使用putRecordBatch()。
浏览 0修改于2018-05-21得票数 4
下面是Lambda代码： const AWS = require('aws-sdk'); if (err) console.log(err, err.stack); // an error occurred
else console.log('FirehoseVersion": "2012-10-17"
浏览 7提问于2020-11-05得票数 1
回答已采纳
aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid
浏览 17修改于2018-05-21得票数 1
回答已采纳
这个11年级的问题自2010年以来一直困扰着我，即使在大学毕业后，我仍然找不到解决办法。
你附近有一条很不寻常的街道。这条街形成一个完美的圆圈，圆周是1,000,000。街上有H (1≤H≤1000)房屋。每栋房子的地址都是从圆的最北端顺时针方向的弧长.房子在圆的最北端的地址是0.你也有特殊的fi软管，沿着街道的曲线。然而，您希望保持最长软管的长度，你需要的最小。您的任务是在这条街上放置k (1≤k≤1000)fi再消防栓，以便将房子与fi再消防栓连接所需的最大软管长度尽可能小。输入的first行将是整数H，房屋数。下一个H行每一行包含一个整数，这是该特定房屋的地址，每个住
浏览 5修改于2017-11-10得票数 4
回答已采纳
我正在使用带有自定义数据转换的AWS Kinesis Firehose。", "data": "..." ]这个Lambda非常好用，在将输出返回到Firehose但是，Firehose的S3日志随后显示一个错误：
Invalid output structure: Please check your function and make s
浏览 16修改于2018-05-21得票数 4
虽然我知道亚马逊网络服务文档和许多在线论坛推荐firehose是因为它的可扩展性，但我的首要任务之一是降低成本，而firehose似乎非常昂贵( firehose的价格+中间s3桶的成本)。有没有人有过通过编程方式存储在Redshift/其他数据库中来绕过firehose的经验？
浏览 0提问于2019-07-16得票数 2
AWS Firehose已于今天发布。我正在尝试它，并试图弄清楚如何使用AWS CLI将数据放入流中。我有一个简单的JSON有效负载和相应的Redshift表，表中的列映射到JSON属性。我尝试过的：
aws firehose put-record --delivery-stream-name test-de
浏览 0修改于2018-05-21得票数 6
"cloudwatch.emitMetrics": true, "firehose.endpoint": "https://your/firehose/endpoint", {
浏览 6修改于2018-05-21得票数 1
当我尝试在Terraform中创建Kinesis Firehose传送时，我一直收到此错误： Error: error creating Kinesis Firehose Delivery Stream: Still creating... [10s elapsed]aws_kinesis_firehose_delivery_stream.log_strea
浏览 26修改于2020-04-02得票数 0
我们对EU-West-1中的所有Kinesis firehose流的PutRecordBatch写入速度变得非常慢。这已经断断续续地发生了好几天了。它一开始是一个运行缓慢的Lambda函数，所以我们查看了Lambda X-ray，以了解减速发生在哪里，以及它一致地写入连接以放置Firehose。我们写入多个Firehose流，并且流间的减速似乎是随机的(见下文)。非常感谢您的帮助。感觉就像我们达到了某种限制，正在限制我们的请求？
浏览 0修改于2018-05-16得票数 4
我在kinesis firehose的CloudWatch日志中看到以下错误 {
"deliveryStreamARN": "arn:aws:firehose:us-west-2:917877325894, backend_roles=[arn:aws:iam::917877325894:role/firehose_delivery_role2], requestedTenant=null]\"}],\, backend_roles=[arn:aws:iam::91787732589
浏览 57提问于2020-06-13得票数 3
每个区域()的每个亚马逊网络服务账户的消防管名称必须是唯一的用户可以在任何地区的任何亚马逊网络服务账户下写入firehose (假设他们拥有正确的权限)
如果我可以访问多个具有完全相同名称的消防管(它们位于不同的AWS账户或不同的区域)，并且我使用该名称对消防管执行put操作，会发生什么情况？
浏览 0提问于2019-02-05得票数 1
对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到AWS Kinesis firehose。log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流，然后我们可以创建到Kinesis Firehose如果我们指向Kinesis Firehose传递流，则会收到错误- ResourceNotFoundException消息:帐户XXXX下的流测试
浏览 14修改于2019-03-25得票数 0
如果我使用Kinesis Firehose，也就是说S3，作为数据分析的源，是否仍然可以存储流中的原始数据，就好像Firehose之后没有集成数据分析一样？
浏览 51提问于2019-05-11得票数 1
回答已采纳
我是否可以以某种方式将firehose流缓冲间隔的持续时间延长到900秒以上？我正在处理大小约100kb的小文件，经过15分钟的流式传输到s3。我不想下载这些文件，然后进行合并，因为有许多firehose流，所以只考虑在AWS上的直接解决方案。
我读了太多与这个问题相关的东西，但我找不到任何有用的答案。
浏览 1修改于2018-10-15得票数 1
我正在使用Lambda通过Firehose向Redshift发送批量消息。根据，如果有一些传递问题(有毒的消息，端点关闭等)，Firehose将继续尝试24小时并删除该消息。
浏览 0修改于2018-05-21得票数 3
我有一个用例，在这个用例中，我需要对发送到我的Kinesis Firehose流的有效负载进行API调用，然后将其存储到S3中。流程如下: Kinesis数据流-> Kinesis Firehose ->转换Lambda ->调用以获取与当前记录相关的附加数据-> Kinesis Firehose -> S3。基本上，对于由我的Kinesis Firehose流使用的记录，我需要调用另一个后端服务来获取与该记录相关的附加数据，然后再将其存储到S3中，以便我们的电子病历作业使用和写入查询。我的问
浏览 15提问于2021-04-13得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号