- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
【大数据技术基础 | 实验十】Hive实验：部署Hive
二、实验要求 完成Hive的内嵌模式部署； 能够将Hive数据存储在HDFS上； 待Hive环境搭建好后，能够启动并执行一般命令。 Hive架构与基本组成如图所示： 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 Hive 版本：hive-1.2.1 五、 显示Hive内置函数： show functions; 退出Hive环境： exit; 七、实验心得 通过本次Hive部署实验，我深刻理解了Hive在Hadoop大数据生态圈中的重要地位和作用。 在实验过程中，我学习了Hive的内嵌模式部署方法，掌握了如何将Hive数据存储在HDFS上，并成功启动了Hive环境。 此外，我还学会了使用Hive的基本命令，如查看表格和函数等，这些命令为我在后续的实验和学习中提供了有力的支持。
97810编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验十五】Storm实验：部署Storm
二、实验要求 巩固之前的实验； 部署三个节点的Storm集群，以master节点作为主节点，其他两个slave节点作为从节点，并修改Storm Web的端口为8081，并引用外部Zookeeper。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 ZooKeeper 版本：zookeeper-3.4.6 Storm 版本： storm-0.10.0 五、实验内容和步骤 （一）配置SSH免密登录 首先配置master，slave1和slave2之间的免密登录和各虚拟机的/etc/hosts文件，具体步骤参考：【大数据技术基础 | 实验一】配置SSH免密登录 （二）安装ZooKeeper集群 配置完免密登录之后我们还需要安装Zookeeper集群，具体步骤参考：【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper 此外，本次实验也让我更加深刻地认识到了团队合作的重要性。在实验过程中，我与同学们相互讨论、互相帮助，共同解决了许多难题。这种团队协作的精神不仅提高了我们的实验效率，也让我们在相互学习中不断成长。
79300编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper
四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 ZooKeeper 版本：zookeeper-3.4.6 五、实验步骤 本实验主要介绍 环境变量 最后，重启虚拟机并检查jdk环境是否配置成功 （二）修改ZooKeeper配置文件 首先配置master，slave1，slave2之间的免密和各个机器的/etc/hosts文件，可参考：【大数据技术基础 七、实验心得 在本次ZooKeeper部署实验中，通过搭建包含三个节点的ZooKeeper集群，进一步理解了ZooKeeper在分布式系统中的角色和功能。 首先，实验过程涵盖了JDK的安装、ZooKeeper配置文件的修改、节点间的免密设置等步骤。 实验结果显示各节点正常启动了ZooKeeper进程，并正确识别了Leader和Follower节点。
59100编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验十二】Hive实验：Hive分区
一、实验目的 掌握Hive分区的用法，加深对Hive分区概念的理解，了解Hive表在HDFS的存储目录结构。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 Hive 版本：hive-1.2.1 五、实验步骤 这里可以点击一键搭建，部署好实验环境 ，具体详细步骤可参考： 【大数据技术基础 | 实验三】HDFS实验：部署HDFS， 【大数据技术基础 | 实验十】Hive实验：部署Hive。 因为Hive依赖于MapReduce，所以本实验之前先要启动Hadoop集群，然后再启动Hive进行实验，主要包括以下三个步骤。 通过这次实验，我更加坚定了自己学习大数据技术的决心和信心。
57400编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验七】HBase实验：部署HBase
二、实验要求 巩固学习下【大数据技术基础 | 实验一】配置SSH免密登录、【大数据技术基础 | 实验三】HDFS实验：部署HDFS、【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper -3.4.6 HBase 版本：hbase-1.1.2 五、实验内容和步骤 本实验主要演示HBase的安装部署过程，因HBase依赖于HDFS和Zookeeper，所以该实验需要分为四个步骤。 首先，配置SSH无密钥登录（参考【大数据技术基础 | 实验一】配置SSH免密登录）。 其次，安装Hadoop集群（参考【大数据技术基础 | 实验三】HDFS实验：部署HDFS）。 然后，安装Zookeeper集群（参考【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper）。 （这里的master要替换为对应的IP地址） 七、实验心得 在进行HBase实验的过程中，我深刻体会到了HBase作为一个分布式、可扩展的NoSQL数据库的独特优势。
74800编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验三】HDFS实验：部署HDFS
二、实验要求 要求实验结束时，已构建出以下HDFS集群： master上部署主服务NameNode； slave1、2上部署从服务DataNode； master上部署HDFS客户端。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 五、实验内容和步骤 部署HDFS主要步骤如下： 配置Hadoop 详细配置步骤参考：【大数据技术基础 | 实验一】配置SSH免密登录 （三）修改HDFS配置文件 1. 七、实验心得 在进行HDFS部署实验后，我收获了许多宝贵的经验。通过实验，首先加深了对HDFS体系结构和分布式文件系统的理解。 总之，这次实验不仅让我加深了对HDFS原理的理解，还让我掌握了如何部署和操作HDFS系统，为将来处理大规模数据奠定了基础。
97300编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验十四】Kafka实验：订阅推送示例
三、实验原理 （一）Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 ZooKeeper 版本：zookeeper-3.4.6 Kafka 版本： ：【大数据技术基础 | 实验一】配置SSH免密登录 （二）安装ZooKeeper集群 配置完免密登录之后我们还需要安装Zookeeper集群，具体步骤参考：【大数据技术基础 | 实验五】ZooKeeper 通过本次Kafka实验，我深入理解了分布式消息队列的核心概念及其实现方式。 总之，本次实验帮助我从理论走向实践，不仅熟悉了Kafka的基本操作，还加深了对其内部工作原理的理解。
56700编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验六】ZooKeeper实验：ZooKeeper进程协作
三、实验原理 通过ZooKeeper实现不同物理机器上的进程间通信。 场景使用：客户端A需要向客户端B发送一条消息msg1。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 ZooKeeper 版本：zookeeper-3.4.6 五、实验步骤 本实验主要完成多线程通过 ZooKeeper完成彼此间的协作问题，实验过程包含启动集群、编写代码、客户端提交代码三个步骤。 具体步骤可以参考：【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper。 实验的目标是掌握如何利用Java代码与ZooKeeper集群进行连接，并通过ZooKeeper来实现不同线程间的协作。
23900编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验八】HBase实验：新建HBase表
三、实验原理 逻辑模型：HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族(Column Family)。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 ZooKeeper 版本：zookeeper-3.4.6 HBase 版本： hbase-1.1.2 五、实验内容和步骤 本实验主要演示HBase Java API的一些基本操作，包括取得链接，创建表，写数据，查询等几个步骤，具体内容如下： （一）启动HBase集群 首先，使用一键搭建启动 详细步骤参考：【大数据技术基础 | 实验七】HBase实验：部署HBase。 cd /usr/cstor/hbase/bin . /hbase shell scan 'mytable' 七、实验心得 在本次实验中，我通过Java代码实现了与HBase数据库的连接，并进行了创建表、插入数据和查询数据的操作。
1K00编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验四】HDFS实验：读写HDFS文件
二、实验要求 实验结束时，每位学生均已搭建HDFS开发环境；编写了HDFS写、读代码；在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程，理解HDFS读写文件的原理。 为了节约时间，将更多的精力用于实现读写HDFS文件，在大数据实验一体机的相关下载页面中已经提供了2.7.1版本的hadoop插件和相关的hadoop包下载，实验人员可以直接下载这些插件，快速在Eclipse 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 Eclipse 版本：eclipse-jee-luna-SR2-win32- x86_64 五、实验内容和步骤 该实验的前提是部署HDFS，具体步骤可参考：【大数据技术基础 | 实验三】HDFS实验：部署HDFS 这里采用一键搭建的方式，将HDFS部署完成并启动Hadoop集群（ HDFS读程序运行结果： 七、实验心得 在本次HDFS实验中，我成功地完成了HDFS文件的读写操作，并对Hadoop分布式文件系统的工作原理有了更深入的理解。
61600编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验十一】Hive实验：新建Hive表
二、实验要求 要求实验结束时； 每位学生均能够完成Hive的DDL操作； 能够在Hive中新建，显示，修改和删除表等功能。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 Hive 版本：hive-1.2.1 五、实验内容和步骤 点击一键搭建，将实验环境搭建完成 具体部署Hive详细步骤参考：【大数据技术基础 | 实验十】Hive实验：部署Hive （一）启动Hive 我们在master虚拟机上首先进入hive的bin目录下，然后执行hive命令即可启动： cd 实验结果见实验步骤每步的运行结果。 七、实验心得 通过本次Hive的DDL操作实验，我深刻体验到了Hive在大数据处理中的灵活性和强大功能。
59110编辑于 2025-01-22 - 来自专栏智能大数据分析
【大数据技术基础 | 实验十三】YARN实验：部署YARN集群
二、实验要求 搭建YARN集群，并使用YARN集群提交简单的任务。观察任务提交的之后的YARN的执行过程。 四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 五、实验内容和步骤 （一）配置各服务器之间的免密登录 首先配置 master，slave1和slave2之间的免密登录和各虚拟机的/etc/hosts文件，详细配置步骤参考：【大数据技术基础 | 实验一】配置SSH免密登录 （二）配置HDFS并启动 首先，实验环境中的 java路径没有配置，所以不能直接启动HDFS，需要重新配置，详细步骤参考：【大数据技术基础 | 实验三】HDFS实验：部署HDFS 若启动成功，在master上会看到类似的如下信息： 而在slave1 七、实验心得 本次YARN框架实验让我对YARN作为Hadoop生态中的资源管理器有了更深入的理解。
54100编辑于 2025-01-22 - 来自专栏LN生物笔记
分子生物学实验技术——荧光素酶实验
报告基因/报告基团（reporter）：是一种可被实验仪器非常方便检测到的化学基团、蛋白质或酶以及编码它们的基因。reporter可以通过实验手段非常容易被鉴定与检测，因此在实验中广泛应用。 例如，荧光素酶报告基因实验中运用的荧光素酶基因，以及qPCR中的荧光报告基团。 ，提供转录活力的内对照，使测试结果不受实验条件变化的干扰。 双报告基因则通过共转染的“对照”作为内参为试验提供基准线，从而可以在最大程度上减小细胞活性和转染效率等外在因素对实验的影响，使得数据结果更为可信。 ✅海肾荧光素酶通常作为内参报告基因，在实验操作的过程中，常遇到由于个人操作造成的实验误差，比如细胞数目不均一、细胞代次不统一、转染效率不一致等。
1.8K30编辑于 2023-02-23 防火墙技术-综合应用实验
任务一：某企业采用防火墙作为出口网关，企业内网有两个部门：市场部和研发部，PC1代表市场部的主机，PC2代表研发部的主机。要求市场部全天可以上公网，研发部8：00到17：00不能上公网。所有上公网的数据流，在防火墙上配置NAT出接口方式转换。
18610编辑于 2025-12-24- 来自专栏智能大数据分析
【大数据技术基础 | 实验九】Flume实验：文件数据Flume至HDFS
四、实验环境 云创大数据实验平台： Java 版本：jdk1.7.0_79 Hadoop 版本：hadoop-2.7.1 Flume 版本：flume-1.5.2 五、实验内容和步骤 本实验主要演示 Flume安装，及启动一个Flume收集日志信息的例子，实验主要包含以下三个大步骤。 具体详细步骤可参考：【大数据技术基础 | 实验三】HDFS实验：部署HDFS 使用jps查看Java进程： （二）安装并配置Flume 其次，（剩下的所有步骤只需要在master上操作就可以了）安装并配置 七、实验心得 在本次Flume实验中，我深入了解了Apache Flume的工作原理和应用场景，加深了对分布式数据采集系统的理解。 实验中，我首先配置了File Source，成功从本地日志文件中收集数据。通过这一过程，我体会到Source的配置和数据流入的效率。
72210编辑于 2025-01-22 防火墙技术-综合应用实验-2
防火墙技术-综合应用实验 某企业采用防火墙作为出口安全网关，企业内网有两个部门：市场部和研发部，PC1代表市场部的主机，PC2代表研发部的主机。
15910编辑于 2025-12-31- 来自专栏生信技能树
3D基因组—实验技术
二、3D基因组之Hi-C技术 Hi-C（High-throughput/resolutionchromosome conformation capture）技术，以整个细胞核为研究对象，利用高通量测序技术 三、3D模型验证技术 基因组模型构建完成后，我们需要对模型进行验证。主要从两个方面对模型进行验证，一个是模型结构进行验证，一个是对模型功能进行验证。 对模型的功能验证，我们主要利用CRISPR技术去除模型结构，观察对应基因及细胞代谢的变化。 3C技术主要捕获的是两基因间的互作，因此这种技术常用来验证基因间的互作。 ? 下图所描述的是基因promoter区与增强子区的互作验证，我们可以看到FIP1L1与914kb处的增强子有互作。 ? 3.CRISPR-模型功能验证 我们利用CRISPR 技术敲掉CTCF motif，使CTCF无法结合，基因组的3D结构模型被破坏，相应基因的表达受到影响，细胞功能也可能会受到影响。
1.5K31发布于 2019-05-08 - 来自专栏机器人课程与技术
计算机控制技术实验说明
编程实验分别仿真和实验台操作两种方式。 实验1 AD转换--输入 AD转换是所有嵌入式系统或机器人获取外部信息的一种重要方式，将温度、角度和位置等转换为对应的数字量，供处理器处理。 实验台，测量电压值并显示： ? 最常用的实验是波形仿真。 数字调压： ? 3 电机实验--控制 ? 实验台： ?
66430发布于 2019-01-23 - 来自专栏生信技能树
重新GEOmetadb分析发现seq技术实验终于超过array技术啦
Affymetrix Mouse Genome 430 2.0 Array 比较芯片领域 Affymetrix 公司一家独大，可惜现在也被赛默飞收购了，但其实我开始从事生物信息学的时候已经是ngs技术的天下了 正好，最近又看了看，的确，ngs技术已经成功超过array啦 library(GEOmetadb) db='/Users/jmzeng/data/project/IDmap/GEOmetadb.sqlite
63220发布于 2019-05-08 - 来自专栏数通
VLAN间通信的技术原理与实验案例
下面阿祥深入了解一下其技术原理、主流实现方式。 VLAN间通信的基本原理 默认情况下，VLAN之间是相互隔离的，这种隔离发生在数据链路层（第二层）。 三种主流的实现方式 1、传统多物理接口路由 技术实现：为每个VLAN分配一个独立的物理路由器接口 优势：实现简单，隔离性最好。 2、单臂路由 技术实现：在路由器的一个物理接口上创建多个逻辑子接口，通过一条Trunk链路连接交换机。 优势：节省物理接口和线缆，成本较低。 3、三层交换机实现vlan间路由通信 技术实现：交换机集成了二层交换和三层路由功能，通过创建虚拟接口作为每个VLAN的网关。 优势：高性能（硬件ASIC芯片转发）；简化网络架构（无需额外设备）。 更多VLAN互访实验介绍 如果VLAN间有了互访的需求，那该如何实现呢？
54410编辑于 2025-10-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号