回答情况：
提问时间：
问题标签：
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41修改于2020-11-20得票数 5
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设<
浏览 3修改于2020-10-16得票数 0
关于不同Azure存储服务的用例，我有一个问题：
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2修改于2019-02-07得票数 18
它要求创建一个新的hdinsight集群(选项是hadoop、hbase、风暴或火花)以及一个存储帐户。集群和存储帐户之间有什么区别？集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他
浏览 5修改于2016-03-19得票数 3
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节
浏览 8修改于2020-06-20得票数 16
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。
浏览 2修改于2019-05-08得票数 0
我在Azure数据湖存储中有一个.csv文件，每当.csv文件加载到数据湖存储中时，我是否可以使用函数应用来触发Azure数据工厂(ADF)事件。当前的ADF支持blob存储的事件，但不支持数据湖。 谢谢，拉维
浏览 12修改于2019-05-28得票数 0
我需要处理一些大数据，并计划部署Databricks集群&一种存储技术。目前评估数据湖Gen2，它既支持对象和文件存储。存储帐户(blob、文件、表、队列)也具有类似的功能，可以处理基于文件和基于对象的存储需求。由于这些相似之处，我对选择一个方案感到有点困惑。有人能澄清以下问题吗？除了HDFS支持之外，我还应该对存储帐户使用Data Gen2吗？
具有分层命名空间的存储帐户v2启用了==
浏览 1修改于2020-06-03得票数 1
回答已采纳
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。
浏览 5提问于2019-12-16得票数 0
回答已采纳
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
我正在处理从Azure blob存储到azure数据湖存储的文件，我需要从年份(文件夹)\月份(文件夹)\ do (txt文件在日基上)选择文件，.I能够使用hadrcoded路径完成一个文件，但我不能每天选择文件并处理复制在蔚蓝数据湖存储中我正在使用ADF V2并使用UI设计器来创建我的连接、数据集和管道--我的步骤很好。
从
浏览 0提问于2018-10-28得票数 1
回答已采纳
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
浏览 2提问于2016-03-21得票数 0
回答已采纳
我编写了控制台应用程序来监控/分析Azure数据湖存储中的文件。我在Azure活动目录中创建了一个应用程序来访问azure资源。我遵循了给出的所有步骤，让能够访问蔚蓝数据湖存储上的应用程序。我提供了对父目录和数据湖存储的所有幼童文件夹/文件的访问权限。
现在，我可以通过我的代码访问文件。我试图通过在代码中使用DataLakeStoreFileSystemManagement Client获取USQL作业在数
浏览 1修改于2018-01-30得票数 0
对于像我这样的用户来说，这似乎是一种困惑，因为azure blob存储和蔚蓝数据湖存储有什么主要区别，在哪个用户情况下，azure blob存储比蔚蓝数据湖存储更适合，反之亦然？
谢谢。
浏览 9提问于2020-04-05得票数 4
回答已采纳
使用SSIS将文件从本地文件位置上载到Azure数据湖存储有哪些不同的方法？我们有azure blob上传任务，支持将文件上传到azure blob存储？Azure数据湖存储也有什么方法吗？
浏览 3修改于2017-02-12得票数 2
我正在寻找一种方法来获取关于数据湖中存储的所有数据的总体大小的数据(蔚蓝数据湖gen2 2- adls2)。是否有人知道如何获取有关数据湖大小(存储了多少数据)的此类信息？
浏览 2修改于2019-10-14得票数 1
回答已采纳
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog)，一个用于Datalake分析和其他数据湖存储。我的问题是，为什么每个文件夹的目的是什么，为什么我们使用U-SQL进行转换，而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。
浏览 18提问于2019-02-15得票数 0
有没有办法将数据湖存储中的文件与azure数据湖存储的.net sdk合并在一起，而不是从数据湖文件中删除我想合并(合并)到一个文件中的文件？
浏览 0提问于2017-05-24得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号