hdfs上私有云 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

使用不同S3目的地的Hadoop命令

hadoop、amazon-s3、hdfs、eucalyptus、distcp

我使用的是桉树私有云，我已经在其上建立了一个CDH5 HDFS。我想备份我的HDFS到桉树S3。按照这里的建议，使用distcp的经典方法是：，即hadoop distp hdfs://namenode:9000/user/foo/data/fil1 s3://$AWS_ACCESS_KEY:$AWS_SECRET_KEY我希望能够更改S3的uri，就像使用hdfs://

浏览 6提问于2014-10-10得票数 0

回答已采纳

1回答

将文件从Google云存储加载到本地Hadoop集群

hadoop、google-cloud-platform、google-cloud-storage

我开发了一个变通方法(程序)，将本地EdgeNode和distcp上的文件下载到Hadoop。但这似乎是双向的解决办法，并不是很令人印象深刻。我已经通过一些网站(，)总结了使用Hadoop谷歌云存储连接器进行这种过程，并需要基础设施级别的配置，这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从云存储直接复制到Hadoop。

浏览 0提问于2018-06-15得票数 1

2回答

openshif云计算配置，在云上可以完成吗？

scala、hadoop、openshift、bigdata

有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？

浏览 1提问于2014-09-15得票数 0

1回答

在hdfs上保存Keras模型

tensorflow、keras、save、hdfs

我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。

浏览 0提问于2019-10-12得票数 1

2回答

使用google云存储(桶)的hbase

google-cloud-platform、hbase、bigtable、gcs

我可以使用gcs文件系统作为hbase在google云上的备份存储吗？我知道有一个google的大表，假设用gcs作为文件系统来建立我们自己的集群将降低成本。同意吗？

浏览 12提问于2022-05-18得票数 0

3回答

Aazon EC2纱线的纺纱

amazon-web-services、amazon-ec2、hadoop-yarn、apache-whirr

Method.java:597)我试过调试，问题出在ApplicationMaster上。我试着像这样设置参数但我找不到ApplicationMaster的主机名或端口有任何变化，它们仍然是私有的

浏览 2提问于2014-04-20得票数 1

4回答

用于私有云的AWS S3替代方案

amazon-s3、cassandra、storage、nfs

现在，我们需要从AWS迁移到私有数据中心。我们需要找出潜在的替代存储，而不是AWS S3。

浏览 22提问于2017-09-20得票数 11

3回答

在测试私有云时，需要测试哪些基本内容？

manual-testing

有人能建议对于私有云需要做什么类型的测试吗？私有云基本上用于数据存储，如果管理员控制私有云的话。admin.Used授予用户小企业、拼贴、学生的权限。更像是个人云彩。

浏览 0提问于2014-12-11得票数 0

2回答

拒绝权限:在AWS集群中使用user=zeppelin解释器时

pyspark、hdfs、spark-streaming、amazon-emr、apache-zeppelin

我已经创建了吡咯烷酮结构化流媒体程序，并试图在齐柏林飞艇笔记本上执行： query_window = windowedCounts \user=zeppelin, access=WRITE, inode="/mnt/tmp/temporary-e0cf0f09-a6f4-44d6-9a72-324660085608/metadata":hdfsat org.apache.hadoop.hdfs.server.namenode.FSNamesyste

浏览 5提问于2017-05-28得票数 8

5回答

云计算-公共和私有云

cloud

我试图理解公共云和私有云之间的区别。我认为它是这样的:公共云=我的服务在一个公共环境中，托管在一家公司的服务器上，私有云=我用我自己的硬件建立自己的云这是正确的吗？

浏览 5提问于2014-06-11得票数 0

回答已采纳

1回答

HDFS TO COS上传了hdfs上的文件到cos，哪怎么把上传到cos的文件直接下载到hdfs？

对象存储、大数据

HDFS TO COS上传了hdfs上的文件到cos，哪怎么把上传到cos的文件直接下载到hdfs?

浏览 748提问于2019-02-13

1回答

Cloudera到HDP solr (版本5.5.2)在solr云上恢复后，数据迁移区更新solr索引失败

hdfs、cloudera、restore、hortonworks-data-platform、solrcloud

SOLR版本- 5.5.2 sudo -u hdfs hadoop dfs -createSnapshot /user/solr/CollectionName/ 3) 在HDP集群上创建solr集合:同名、相同数量的碎片和副本4) 使用“di

浏览 0提问于2018-06-03得票数 1

4回答

什么是私有云？

cloud

私有云这个术语与不同网站中的所有定义相当混淆。不同的人对什么是私有云有不同的看法。1)顺便提一下，越来越多的it公司也开始使用“私有云”一词来指在公司自己的数据中心内建立云计算基础设施--即“内部云”。这样的开发根本不是真正的云计算，可能被视为维持现状的最后一次尝试。根据任何合理的定义，“私有云”必须是一种云计算安排，其中有关硬件由供应商的共享数据中心拥有和存放“”。 2)“<em

浏览 8提问于2014-10-08得票数 1

回答已采纳

1回答

Microsoft私有云和azure之间的关系是什么？

azure

我安装了微软2008 R2和微软私有云所需的所有软件。似乎我所能提供给用户的是一个门户，在那里他/她可以“租用”虚拟机。的私有云。"Azure“是一个运行在微软私有云上并提供PaaS的应用程序。"Azure“是一个我可以使用的PaaS服务。但我无法在自己的私有云上启动它，因为我无法获得Azure软件(？)对吗？

浏览 2提问于2012-10-29得票数 0

1回答