回答情况：
提问时间：
问题标签：
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41修改于2020-11-20得票数 5
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0修改于2021-04-28得票数 3
为此，我按照建议切换到了天鹅湖。然而: IntelliJ插件似乎还不支持天鹅湖。我总是收到SDK无效的错误消息。还不支持天鹅湖。正如我所说的: IntelliJ也不能工作。现在有没有可能用天鹅湖正确地设置它呢？我是不是太傻了？我以前从来没有使用过VS Code，所
浏览 3提问于2021-02-28得票数 0
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设云存储中的文件中的每一行都被视为一条消息，如果从
浏览 3修改于2020-10-16得票数 0
其想法是迁移到云解决方案，并使用数据湖概念。从湖中，数据应该被传递到一个3NF DWH，最后，通过市场最终用户。
这些集市的目的将是多种多样的。从报告到会计和培训ML模型。
浏览 0提问于2021-02-08得票数 -1
回答已采纳
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。
浏览 2修改于2019-05-08得票数 0
集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像数据湖分析大数据</e
浏览 5修改于2016-03-19得票数 3
关于不同Azure存储服务的用例，我有一个问题：
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2修改于2019-02-07得票数 18
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。
浏览 5提问于2019-12-16得票数 0
回答已采纳
我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：我想知道有谁能在Azure平台上分享阅读tdms.files的经验。
浏览 14提问于2021-07-05得票数 0
2回答
我对云空间还是个新手。作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。
浏览 1提问于2020-01-30得票数 0
我是亚马逊网络服务的新手，我正在尝试通过以下方式在亚马逊网络服务上部署模型数据湖解决方案：
要部署云形成模板，它需要一个访问IP地址。此处需要的IP地址是多少？
浏览 4提问于2018-05-01得票数 0
我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：
是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？
浏览 4修改于2021-06-08得票数 1
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10修改于2022-07-22得票数 0
回答已采纳
我在通过REST API刷新Power BI数据集时遇到问题。上次刷新失败：...没有可用的网关。更令人困惑的是，我使用的存储是基于云的(Azure数据湖)。所以它不需要网关连接。当我手动刷新数据集时，它可以正常工作。
浏览 51提问于2020-06-10得票数 0
回答已采纳
我感兴趣的是以分散的方式计算医疗数据，在这种方式中，没有一个计算资源或请求者可以为了隐私考虑而完全访问这些数据。据我对EVM的理解，输入的数据和算法都存储在块链上，这极大地限制了可用的计算资源，不必要地扩展了块链的大小。由于我仍然对EVM的真正含义感到困惑，我想知道我是否可以使用它来：使用类似GP
浏览 0提问于2017-12-04得票数 1
最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。干杯!
浏览 0提问于2019-07-24得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号