回答情况：
提问时间：
问题标签：
0回答
TBDS原理与架构设计？
架构设计、迁移、报表、数据管理、原理
一体架构理解，数据从hadoop迁移到tbds，要求支持实时风控和离线报表。请问tbds如何通讯统一元数据管理实现湖仓一体。
浏览 45提问于2026-02-05
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41修改于2020-11-20得票数 5
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0修改于2021-04-28得票数 3
为此，我按照建议切换到了天鹅湖。然而: IntelliJ插件似乎还不支持天鹅湖。我总是收到SDK无效的错误消息。还不支持天鹅湖。正如我所说的: IntelliJ也不能工作。现在有没有可能用天鹅湖正确地设置它呢？我是不是太傻了？我以前从来没有使用过VS Code，所
浏览 3提问于2021-02-28得票数 0
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设云存储中的文件中的每一行都被视为一条消息，如果从
浏览 3修改于2020-10-16得票数 0
其想法是迁移到云解决方案，并使用数据湖概念。从湖中，数据应该被传递到一个3NF DWH，最后，通过市场最终用户。
这些集市的目的将是多种多样的。从报告到会计和培训ML模型。
浏览 0提问于2021-02-08得票数 -1
回答已采纳
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。
浏览 2修改于2019-05-08得票数 0
我在数据湖中有几个文件夹(例如:Test1 1容器)，每个月都以这种格式创建YYYY(示例:2022-11)，而在这个文件夹中，我没有几组数据文件，我希望将这些数据文件复制到数据湖中的不同文件夹中。在接下来的一个月中，在同一个数据湖(例如:Test1 1容器)中创建新文件夹，其中包含2022-12，列表继续，2023-01.等等，我想每个月将这些文件夹中的文件复制到不同的数据湖文件夹中。
浏览 8修改于2022-11-28得票数 0
集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像数据湖分析大数据</e
浏览 5修改于2016-03-19得票数 3
关于不同Azure存储服务的用例，我有一个问题：
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2修改于2019-02-07得票数 18
我的数据湖文件夹中没有几组月度文件，我希望将它们复制到数据湖中的另一个文件夹中，在将数据复制到目标数据湖文件夹时，我希望创建一个YYYY格式的文件夹(Ex: 2022-11)，并且我希望复制该文件夹中的文件在下个月，我将再次获得新的数据集，并希望将它们复制到(2022-12)文件夹，等等。
我想每个月运行管道，因为我们将获得每月负载的数据。
浏览 7修改于2022-11-23得票数 0
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。
浏览 5提问于2019-12-16得票数 0
回答已采纳
我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：我想知道有谁能在Azure平台上分享阅读tdms.files的经验。
浏览 14提问于2021-07-05得票数 0
我试图用Polybase的概念将SQL Server与Azure数据湖连接起来。azuredatalakestore.net', ); Msg 105007, Level 16, State 1, Line 11Please revise the following 采取的步骤如下：
添加Azure数据湖在Azure门户。将数据</e
浏览 0提问于2018-12-04得票数 2
湖人$date<-as.Date.date(湖人$date，%Y%m%d“)而如果我使用R代码：然后是下面的错误。$<-.data.frame中的错误(*tmp*，日期，值=数值(0))：替换有0行，数据有34624
date opponent game_type time perio
浏览 2修改于2017-12-09得票数 1
你好，我是Python的新手，我有一个熊猫数据帧，看起来像下面看到的，我从一个txt文件中导入的：F09 2014-11-01 00:30:00 63.15104.29 F09
浏览 0修改于2018-02-19得票数 1
回答已采纳
我需要创建一个新的数据列，在我的数据中每15分钟分配一个新的数字。有大约40,000个15分钟的时间段需要分配...这是我到目前为止所拥有的。[DateTimeEDT]=Between #11/02/05 08:45:01# OR and #<e
浏览 0修改于2010-08-24得票数 1
回答已采纳
2回答
我对云空间还是个新手。作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。
浏览 1提问于2020-01-30得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号