回答情况：
提问时间：
问题标签：
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8修改于2020-06-20得票数 16
2回答
我是这个Azure数据湖世界的新手。我正在寻找任何必要的先决条件和注意事项，以便使用蔚蓝数据湖.我找到了一个很好的链接，并发现安静有用。因此，在任何数据湖中，对于数据保留策略(归档、清除)，我们是否需要遵循特定和基本的考虑？
浏览 1修改于2020-01-08得票数 2
回答已采纳
1回答
在加载数据仓库时，为什么总是建议先将数据加载到blob存储或数据湖中？我知道从那里提取数据非常快，但在我的经验中有几个陷阱。第一个问题是有一个文件大小限制，如果你加载太多的数据到一个文件中，正如我所看到的那样，它会导致加载错误，这时我们必须将加载切换为增量加载。这就引出了我的第二个问题，我一直认为加载到blob存储中的重点是将所有数据都丢弃在其中，以便您可以在未来访问它，而不会给前端系统带来压力，如果我因为文件限制而无法做到这一点，那么即使使用blob存储，我们也可以将
浏览 18修改于2020-07-04得票数 0
2回答
我是Azure Data的新手，在将存储过程提交给Analytics之前，我正在将一个C#批处理作业转换为使用服务来服务身份验证。{ SynchronizationContext.SetSynchronizationContext(new SynchronizationContext()
浏览 6修改于2017-06-11得票数 1
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
我的目标是以增量方式将文件从onprem服务器加载到数据湖中，因此，一旦我们下次将文件复制到数据湖中，只需移动新文件。
提前感谢vipin jha
浏览 0提问于2018-04-17得票数 0
我试图理解数据目录和数据模式的定义。在我读了几篇文章之后，我变得更困惑了！我意识到，当这篇文章谈到数据湖时，这个术语将被用来将data catalog描述为containing metadata information within data lake。与名称一样明显，它是数据池中所有信息的目录。
现在，据我所知，数据目录是数据库。这意味着数据湖中的data catalog等于数据库中的data schema。两者似
浏览 0修改于2020-02-07得票数 0
我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS，但只复制最新的文件。每小时，到达源的一个.csv文件，这个文件必须被复制到宿数据湖。任务:复制file_01.csv以接收数据湖。event: Hour2 - file_02.csv到达源。任务:复制file_02.csv以接收数据湖。诸若此类。选择最新的文件，并将该文件复制到接收器数据湖中。如何使用u-sql声明包含日期和时间的变量？如何使用u-sql
浏览 2提问于2018-04-23得票数 0
我将从基于SAP HANA的OLTP源数据带到微软基于azure的数据湖，使用azure adf和数据块。在基于Microsoft的数据湖中，在SAP HANA源的以下数据类型中，数据类型应该是什么：
nvarchar(64
浏览 7修改于2022-02-05得票数 0
3回答
Azure和use支持使用While或For循环并创建多个输出吗？我希望输出到多个文件使用一个USQL执行。Foreach @day in @days SELECT day AS day, FROM @data TO @out
US
浏览 0提问于2018-03-13得票数 3
回答已采纳
2回答
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1修改于2019-02-27得票数 2
回答已采纳
1回答
我必须测试和比较可用的解决方案来创建一个数据湖。
除了AWS湖的形成之外，还有其他服务可以轻松地建立一个安全的数据池吗？我知道我可以在Azure和Google平台上创建一个帐户，但是我不知道他们是否有任何我需要的解决方案的“包”，或者帮助我建立数据湖的服务。
浏览 1提问于2019-05-09得票数 0
回答已采纳
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我有一个CSV文件从Azure blob复制到Azure数据湖商店。成功地建立了管道，并复制了文件。我试图从这里编写USQL示例脚本：
TO @"/Samples/Output/SearchLog_output.tsv"注意:我在数据湖存储中的文
浏览 0修改于2018-06-16得票数 0
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10修改于2022-07-22得票数 0
回答已采纳
1回答
我一直在玩Azure Data，在文档中，微软声称该系统是针对低延迟、小写入文件而优化的。通过测试，我尝试在并行任务上对单个文件执行大量的写操作，但是这个方法在大多数情况下都失败了，返回了一个不好的请求。这个链接显示HDFS不是用来处理单个文件上的并发追加的，所以我第二次尝试使用API中的ConcurrentAppendAsync方法，但是尽管该方法没有崩溃，但是我的文件从未在存储中被修改过。
浏览 1提问于2016-03-10得票数 4
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号