回答情况：
提问时间：
问题标签：
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
我们的组织最近一直在使用数据库进行ETL和数据集的开发。然而，我发现栅格数据集的库/功能非常有限。有几个光栅/火花图书馆，但他们不是很成熟。例如、和。因此，我一直在探索在Databricks平台上高效处理栅格数据的其他方法，该平台利用Spark / Delta表/ Parquet文件。我的一个想法是将栅格数据转储到简单的x，y，value列，并将它们作为表加载。如果我的其他数据集具有相同的分辨率(我将对它们进行预处理，使它们具有相同的分辨率)，那么
浏览 11修改于2022-09-27得票数 0
回答已采纳
我应该指出，当我手动上传我的csv文件到湖，这是好的。当我尝试将本地文件夹与自托管集成运行时同步时，就会发生格式更改。
谢谢!
浏览 0提问于2020-03-26得票数 0
回答已采纳
我正在尝试从blob存储导出多个.csv文件到Azure数据湖存储，基于参数文件，使用ADF -for每个迭代blob中的每个文件并复制活动，从源复制到接收器(我已经尝试使用元数据和每个活动)，因为我在
浏览 1提问于2021-02-09得票数 0
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
浏览 2修改于2022-10-05得票数 0
回答已采纳
我需要将我所有的数据从Azur数据湖Gen1迁移到Gen2湖。在我的湖里，我们有不同类型的混合文件(.txt，.zip，.json和许多其他)。我们想把他们按原样搬到GEN2湖。此外，我们还希望维护所有文件的最后更新时间作为GEN1湖。 我希望在这个用例中使用ADF。但是为此，我们需要定义数据集，并且为了定义数据集，我们必须定义数据格式(Avro、json、xml、二进制等)。由于我们混合了不同类型的数据</
浏览 20修改于2020-10-19得票数 1
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
浏览 2提问于2016-03-21得票数 0
回答已采纳
我想在数据工厂中创建一个Azure数据湖存储数据集Gener2。我跟着台阶走：
如何创建所需的数据集，而不必在步骤3中选择特定的格式？
浏览 6提问于2020-09-26得票数 0
我有一个复制活动，将前提sql数据复制到数据湖gen2中的parquet格式。但是，我需要将sql数据复制到相同数据湖中的增量格式。我试着使用数据流将parquet复制到delta，但是我们在这种方法中存在性能问题。我们还有其他方法可以做到这一点吗？
浏览 6提问于2022-03-31得票数 0
我需要专家的意见，如何实现增量数据加载使用天青数据湖，天青sql数据仓库，天青数据工厂+聚基。采用哪种格式，我们应该将数据存储在天蓝色数据湖等。
谢谢胡丹·帕特尔
浏览 1提问于2017-08-10得票数 2
回答已采纳
据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？是否有任何自动读取元数据的机制(例如，从头文件中读取)，如果有，是否有任何方法来查看和编辑此元数据(可能是编程实现的API )？我担心，如果没有适当的管理，“湖”只会变成“
浏览 4修改于2017-03-31得票数 3
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在
浏览 1修改于2018-03-15得票数 3
回答已采纳
我在数据湖中有几个文件夹(例如:Test1 1容器)，每个月都以这种格式创建YYYY(示例:2022-11)，而在这个文件夹中，我没有几组数据文件，我希望将这些数据文件复制到数据湖中的不同文件夹中。在接下来的一个月中，在同一个数据湖(例如:Test1 1容器)中创建新文件夹，其中包含2022-12，列表继续，2023-01.等等，我想每个月将这些文件夹中的文件复制到不同的数据湖文件夹中。
浏览 8修改于2022-11-28得票数 0
我需要从列中删除第一个单词，有时还需要删除第一个和第二个单词，以便可以合并两个数据帧。例如，在一个数据框中，“球队”列的格式为凯尔特人、掘金队、湖人队。在我的第二个数据框中，“团队”列的格式为波士顿凯尔特人、丹佛掘金、洛杉矶湖人。我遇到了麻烦，因为一些球队，比如湖人和鲸鱼，在实际的球队名称“湖人”之前有两个词(洛杉矶湖人，新奥尔良)。
浏览 8修改于2021-04-28得票数 1
在将整数值20081028转换为日期格式时，我编写了一个代码：到目前为止，我正在将字符转换为错误。charToDate(x)中的错误:字符串不是标准的、明确的格式湖人队$Date=as.POSIXct.Date(湖人$Date，%Y%m%d)
然后是下面的错误。$<-.da
浏览 2修改于2017-12-09得票数 1
我正在尝试将大量的参考数据从on转移到Delta湖，以便用于databricks的处理。为了移动这些数据，我尝试通过简单的复制数据活动使用Azure data。请注意，接收器增量表不存在于三角洲湖中？此错误是否意味着在将数据移动到增量湖之前，必须手动创建表？对目标副本的操作失败: ErrorCode=AzureDatabricksTableIsNotDeltaFormat，表benefit不是增量格式。
浏览 2提问于2020-10-15得票数 0
回答已采纳
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中。这既慢又贵。我想要做的是直接从Kubernetes python写到达美
浏览 3提问于2021-08-12得票数 2
回答已采纳
我的数据湖文件夹中没有几组月度文件，我希望将它们复制到数据湖中的另一个文件夹中，在将数据复制到目标数据湖文件夹时，我希望创建一个YYYY格式的文件夹(Ex: 2022-11)，并且我希望复制该文件夹中的文件在下个月，我将再次获得新的数据集，并希望将它们复制到(2022-12)文件夹，等等。
我想每个月运行管道，因为我们将获得每月负载的数据。
浏览 7修改于2022-11-23得票数 0
我正在使用Event Hub上的capture函数将数据推送到数据湖中。这是保存在湖中的.avro文件。谢谢
浏览 12提问于2018-11-12得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号