回答情况：
提问时间：
问题标签：
0回答
TBDS原理与架构设计？
架构设计、迁移、报表、数据管理、原理
一体架构理解，数据从hadoop迁移到tbds，要求支持实时风控和离线报表。请问tbds如何通讯统一元数据管理实现湖仓一体。
浏览 45提问于2026-02-05
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于
浏览 0修改于2021-04-28得票数 3
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41修改于2020-11-20得票数 5
其想法是迁移到云解决方案，并使用数据湖概念。从湖中，数据应该被传递到一个3NF DWH，最后，通过市场最终用户。
这些集市的目的将是多种多样的。从报告到会计和培训ML模型。
浏览 0提问于2021-02-08得票数 -1
回答已采纳
为此，我按照建议切换到了天鹅湖。然而: IntelliJ插件似乎还不支持天鹅湖。我总是收到SDK无效的错误消息。还不支持天鹅湖。正如我所说的: IntelliJ也不能工作。现在有没有可能用天鹅湖正确地设置它呢？我是不是太傻了？我以前从来没有使用过VS Code，所
浏览 3提问于2021-02-28得票数 0
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设云存储中的文件中的每一行都被视为一条消息，如果从
浏览 3修改于2020-10-16得票数 0
2回答
我对云空间还是个新手。作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。有没有其他方式可以实现从S3到另一个S3 bucket的CDC？
浏览 1提问于2020-01-30得票数 0
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。
浏览 2修改于2019-05-08得票数 0
集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像数据湖分析大数据</e
浏览 5修改于2016-03-19得票数 3
关于不同Azure存储服务的用例，我有一个问题：
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2修改于2019-02-07得票数 18
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。
浏览 5提问于2019-12-16得票数 0
回答已采纳
我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：我想知道有谁能在Azure平台上分享阅读tdms.files的经验。
浏览 14提问于2021-07-05得票数 0
我是AWS新手，来自ETL背景的数据仓库。我们目前正在使用AWS服务数据湖向云移动，并尝试使用sqoop作业将数据从外部源关系数据库管理系统(Bucket)加载到亚马逊s3登陆层(Bucket)，然后使用Informatica将数据加载到亚马逊S3中的不同层(桶)。从外部源系统获取数据的频率为每天。我不知道如何在S3中实现Delta /SCD类型。在亚马逊的S3桶中创建对
浏览 1修改于2018-10-21得票数 1
回答已采纳
我的数据框里有几个箱子。我有一个仓位编号，并希望排除除该仓位和前一个仓位之外的所有仓位。为了生成稍后从我的数据帧中排除的bin名称向量，我生成：
BinsToDelete <- ifelse(i>1, paste("bin",1
浏览 0提问于2015-10-15得票数 0
有一个CSV文件的数据湖，这些文件全天都在更新。我正在尝试使用Trigger.Once功能创建一个Spark Structured作业，以定期将新数据写入到Parquet数据湖中的CSV数据湖中。这就是我所拥有的： .readStream .csv("s3a://csv-data-lake-files")
下面的命令将所有数据写入到
浏览 13修改于2018-10-27得票数 12
我们希望从这个表中创建一个数据湖，用于历史数据、模型培训和分析洞察力。我们想保证30分钟的数据湖数据“新鲜”w.r.t。原来的桌子。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例如，使用Glue)之前，将其用于任何应用程序。
，但我有疑问：，这是否意味着我们必须每30分钟将Dy
浏览 7修改于2021-08-13得票数 1
回答已采纳
1回答
假设有10个不同的REST API端点，我需要为每个查询收集不同的数据有效负载响应。每个数据响应都需要写入数据湖存储。 我原本希望通过以下方式来实现： 任务#1获取有效负载1。任务#2将有效负载1写入数据湖的中转区。任务#3获取有效载荷2。任务#4将有效负载2写入数据湖的中转区。……直到所有的有效载荷都被写入数据湖。问题是我如何将数据有效负载从例如任务1(它得到它)传递到需要写入它
浏览 48修改于2021-10-07得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号