我阅读了蔚蓝文档,发现队列的消息大小限制为64 KB,服务总线为256 Kb。我们正在开发一个应用程序,它将从一些设备读取传感器数据,调用REST服务并将其上传到云上。这些数据将存储在队列中,然后转储到云数据库中。
可能收集到的传感器数据超过256 KB.在这种情况下,建议的方法是什么.我们是否需要拆分REST服务中的数据,然后将大块数据放入队列中,还是存在其他推荐的模式?
任何帮助都是非常感谢的。
发布于 2015-10-30 13:49:40
您有几个相互矛盾的技术声明。首先,我要澄清几点。
- If you have access to blob storage api's with your devices, you should go that route
- If you do not have access to this, you should post big packets to a rest endpoint and cross your fingers it makes it or chop it up. 1. You can run post analytics on blob storage, I would recommend using the wasb prefix as those containers are Hadoop compliant and you can stand up analytics clusters on top of those storage mechanisms.
你根本不需要我马上就能看到的队列。
您应该看看利用这些模式的情况:
您典型的摄入将是:尽可能轻松地将您的数据放入云中超级廉价的存储中,然后使用集群处理分析,您可以站起来按需拆卸。廉价的存储通常是blob,而分析集群通常是Hadoop的某种形式。通过使用数据工厂,您可以在确定要使用数据的特定组件时对数据进行管道传输。
使用HBase作为摄取,使用廉价的blob存储作为底层和蓝色机器学习作为我的分析解决方案的一部分:http://indiedevspot.com/2015/07/09/powering-azureml-with-hadoop-hbase/
https://stackoverflow.com/questions/28458683
复制相似问题