回答情况：
提问时间：
问题标签：
1回答
我试图了解hadoop在HDFS中存储数据的位置。按照上面的安排，像dfs.datanode.data.dir一样，数据块应该存储在这个目录中。hdfs-default.xml dfs.datanode.data.dir ->确定DFS数据节点应该在本地文件系统上存储其块的位置。由于我显式地为dfs.datanode.data.dir (hdfs-site.xml)提供了值，这是否意味着数据将存储在该位置？因此，不确定数据是否按照属性dfs.datanode.da
浏览 6修改于2017-10-12得票数 24
回答已采纳
Eclipse提供了将文件直接上传到HDFS中的功能，但iam无法找到这些文件存储在我的驱动器中的确切位置。
iam寻找的是配置HDFS的位置。这样我就可以直接将我的文本文件粘贴到那个文件夹中。
浏览 1提问于2013-10-08得票数 0
回答已采纳
我们有一个Apache集群，用于分析存储在HDFS (.parquet)中的数据。解决方案在性能上是最优的，但它并不像我们所希望的那样是灾难安全的，事实上，HDFS体系结构有一个单一的故障点( namenode)，甚至使用两个namenode (您只有2个故障点，但这还不够)。为了提高集群的容错能力，我们希望转移到另一个数据存储解决方案，比如Cassandra。问题如下：
有了卡桑德拉作为数据存储，星火是否能够利用DataLocality，就像它对HDFS一样？
浏览 4提问于2017-03-30得票数 3
回答已采纳
我想安装elasticsearch HDFS插件。elasticsearch版本是6.3.2。Hodoop没有。我还会跑->出现以下错误。
浏览 11提问于2018-08-29得票数 1
对于两个或多个Hadoop安装，可以重用HDFS存储吗？换句话说，复制NameNode状态。我还没有决定如何同时安装它们，这似乎也是一个挑战，但目前我想决定--是否可以将存储在HDFS中的数据重用到不同的集群(物理上使用相同的硬盘)？更新：，我想一次只对一个选定的安装使用HDFS。假设有一天我使用Cloudera，另一个Hortonworks，但它们在HDFS中都使用相同的数据。
浏览 1修改于2014-04-15得票数 0
这是我正在寻找答案的问题清单
我在集群中上传了一个大小约为500 in的数据文件，然后检查了hdfs报告。我注意到，我制作的namenode在hdfs中也占据了500 am大小，还有复制因子为2的数据节点。这里的问题是，我不希望namenode存储任何数据，简而言之，我不希望它作为datanode工作，因为它也在存储我正在上传的文件。那么，如何使它只充当主节点而不像datanode呢？
浏览 0提问于2014-06-11得票数 1
回答已采纳
我还将我的检查点保存在Google云存储中。运行一周后，我注意到它正在稳定地消耗所有100 GB的磁盘存储空间，将文件保存到/hadoop/dfs/data/current/BP-315396706-10.128.0.26-1568586969675我的理解是，我的Spark作业不应该对本地磁盘存储有任何依赖。
我完全误解了这一点吗？
浏览 0提问于2019-10-01得票数 4
我遇到了一个奇怪的情况，我从hdfs dfs -du命令中得到了不同的结果，以及我在cloudera管理器UI中看到的结果，我读到了这两个命令之间的差异，但没有任何线索可以帮助我抓住问题并解决它。我也删除了所有的快照并禁止它们，但是存储没有改变。以下是输出：2.3 G 5.8 G .[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s /
250.3
浏览 2修改于2017-08-17得票数 0
1回答
但是hdfs的复制因子是3。在这种情况下，第三个复制块存储在哪里？2)如果我在hdfs中上传一个文件(复制因子为3)，额外副本)
在名称节点中，
浏览 0提问于2018-10-23得票数 0
回答已采纳
目前，我们将所有数据存储在FS存储上。我们开发了一个小的“框架”，它将允许我们在将来扩展文件存储，但是，我强烈怀疑将我们的数据存储在Windows/Linux文件系统上仍然是一个瓶颈(不用说，在分布式数据处理中重新发明一个轮子，然后依赖它似乎并不是一个真正好的解决方案我目前的问题是，HDFS和HBase是否会在我们的环境中发挥得很好？正如我所知道的，HDFS的设计是为了存储非常大的二进制数据，但是也许使用HBase和一些配置调优可以使这个东西工作更小的数据？:
浏览 3提问于2017-06-17得票数 0
回答已采纳
在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。val lines = sc.textFile("hdfs://MyIP:9000/Data/sample.txt")
当保存一个用于HDFS saveAsTextFile("hdfs://MyIP:9000使用spark将文件从windows存储到HDFS (linux )的正确方法是什么？
浏览 1修改于2018-09-17得票数 0
回答已采纳
我有一个问题DOes FSImage和编辑日志存储在一些共享的NFS for Hadoop2.0或两者的主动和被动名称节点有副本的fsimage和编辑日志在本地？
浏览 17修改于2017-07-20得票数 1
1回答
当您想要将文件存储在hadoop中时，需要在系统中运行作业跟踪器还是任务跟踪器？他们在hdfs中的文件存储中有什么作用吗？当这两个服务关闭时，您可以将文件存储在hdfs中吗？
浏览 0提问于2016-01-23得票数 0
回答已采纳
当我将文件存储策略从“热”更改为“冷”时，由于存档类型具有较高的存储密度，因此文件大小应该更小，但到目前为止没有变化。
浏览 9提问于2022-08-09得票数 -1
使用HDFS for Nuodb作为存储。这会对性能产生影响吗？在HDFS块大小概念的基础上，保持较小的文件大小，这会在获取数据时增加网络流量。我是不是漏掉了什么？请指出同样的问题。
浏览 3修改于2014-07-08得票数 2
回答已采纳
如何在HDFS中存储特定的网站tweet？水槽和sqoop也有助于存储数据。所以，请给我建议一下，在HDFS中存储tweet时，水槽和sqoop是如何工作的？
浏览 4提问于2013-09-19得票数 1
HDFS有一个叫做storage types/policies的功能--它可以将文件存储在具有不同属性的商店中(快速固态硬盘或缓慢但廉价的归档存储)。 我想知道是否可以通过HBase使用此功能？我的用例是，我有一些数据是“热”的，预计会经常被访问，所以我想把它放在“热”(SSD)存储中，而有些数据是“冷”的，不经常访问，所以我想把它放在一个更便宜的存储上。我正在尝试找出如何使用HBase/HDFS来组织这项工作。
浏览 27修改于2020-12-02得票数 0
回答已采纳
我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。Avro是否提供将输出直接存储到HDFS的功能？
浏览 11修改于2017-09-23得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号