- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据和云计算技术
超融合方案分析系列（8）SmartX超融合方案分析
超融合概述 超融合产品分析系列（1）：nutanix方案 超融合方案分析系列（2）：VSAN的超融合方案分析 超融合方案分析系列（3）深信服超融合方案分析 超融合方案分析系列（4）H3C超融合方案分析 网上的材料很多，我就描述一些我知道的情况，当然也是从公开的信息中收集到的： 最新的一个消息是8月1日消息 超融合厂商SmartX宣布完成近亿元B轮融资，此轮融资由经纬创投领投。反正三个字，有钱了。 现在官网上的信息不多，当然最大的一个亮点是和联通沃云一起的超过2000节点24TB数据的超大性案例，而且是到Granter认可的最大超融合案例，在方案中我看到了几个亮点说明： OpenStack 计算虚拟化与 第二：ZBS类似GFS的有元数据的方案，不适合超过大规模集群。 我们再看ZBS的架构， ? 红色部分是元数据服务，如果是元数据服务器，那么会有Meta和Chunk两种服务。 独立的数据服务器，只有Chunk服务。 任何集群内的数据分配等都会广播给所有设备，元数据大小以及集群规模都是成反比的。换句话说元数据越大，集群规模越小，元数据越小，集群规模可以做到更大。
4.9K60发布于 2018-03-08 - 来自专栏腾讯优码二维码
Oneid数据融合见解
接触了大量企业客户项目，沟通过程中发现很多都需要去解决数据打通，实现所有数据融合。 数据融合是指数据埋点上报后，如何把不同端/系统的数据打通。 如CRM系统、线下终端、线上APP、小程序、公众号融合，实现oneid数据串联。 与很多行业人沟通探讨过，发现可以讲的特别清楚的不多，结合行业资料单独进行了整理研究可以看出，数据融合是高度依赖于数据埋点的，而大部分公司都处于未埋点或者埋点不规范阶段。 因此先花一点点篇幅介绍数据埋点数据埋点数据埋点：市场上有各种各样埋点技术，究竟选择哪种让客户很困惑。埋点过程中客户要做什么，腾讯要提供什么都需要提前确认好。 当前服务的所有传统行业客户也都是通过该技术来完成数据上报数据融合数据通过代码埋点上报后，接下来就要解决数据融合问题数据融合：不同的端有不同的id，那这些id究竟如何串联起来。
53110编辑于 2025-01-08 - 来自专栏点云PCL
多帧数据融合思路
一.对数据的输入 A、如何获取你的点云数据（使用什么设备，查找相应设备的介绍，设备的精度、稳定度、抗噪能力、数据的可视深度范围等，采用无标记点融合，或标记点融合；要考虑多帧数据之间的旋转角度）； B、如何将你的数据对象从环境中分割出来 （识别分割、手动分割CC），深度学习若能做分割，并且针对特定对象的效果还行的话，再结合PCL做多帧数据的融合，是一个创新点（前提是提高效率）； C、对数据的输入输出要掌握，一般程序都是一样的，复制粘贴即可 二、对数据的预处理（融合肯定至少两帧数据） A、数据是否有噪声：根据噪声的类别，选择合适的算法进行去除（直通滤波、条件滤波、统计滤波、双边滤波等等）； B、数据是否需要下采样：体素栅格滤波（参数的设置， 根据自己的目的，参考北航出的国内唯一一本PCL的书，同时兼顾PCL官网的更新内容）； B、精配准执行前的准备：是否建立空间拓扑关系（一般需要建立，加快计算速度）； C、是否需要剔除错误点对（一般需要剔除，提高融合精度 书以及官网都可查阅）； D、执行计算，并输出精配准融合点云对象，输出精配R和T，输出精配时间，并可视化（保存或可视化都行）。
2.6K20发布于 2019-07-30 - 来自专栏学习
【机器学习】---异构数据融合
本文将详细讨论异构数据融合的概念、常用的技术手段、挑战以及代码示例。 2. 异构数据融合的概念 异构数据是指数据在格式、维度、来源等方面存在差异。 常用的异构数据融合技术 在处理异构数据时，常用的融合技术包括以下几类： 3.1 早期融合（Early Fusion） 早期融合是指在模型训练前，将来自不同模态或来源的数据直接进行融合，构建一个统一的输入特征向量 kernel_size=3, padding=1) self.pool = nn.MaxPool2d(2, 2) self.fc1 = nn.Linear(16 * 8 * 8, 128) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = x.view (-1, 16 * 8 * 8) x = F.relu(self.fc1(x)) return x # 定义用于文本特征提取的RNN模型 class TextFeatureExtractor
1.2K10编辑于 2024-10-01 - 来自专栏帅云霓的技术小屋
软硬件融合技术内幕 进阶篇 (8)
在上期《软硬件融合技术内幕 进阶篇 (7) —— 恶魔导演的战争》中，我们认识到了，正如第二代高空高速战斗机难以胜任现代信息化战争那样，如果智能网卡的核心芯片只具备较高的数据包收发能力，而在可编程方面有所不足 这款SoC包括8个MIPS核，并通过超线程技术向操作系统提供32个vCPU。我们注意一个细节，MIPS的超线程和x86不同，每个物理核(也就是一个ALU)可以带4个超线程(4个寄存器组)。 那么，如果处理器不能在67.2ns内将一个数据包处理完毕并转而处理下一个数据包，就无法实现万兆网络小包的线速收发。 因此，这款SoC处理器中设计了32个vCPU分担网络数据包的处理，大大提升了转发能力。 但是，我们还需要将以太网MAC收到的数据包分发到各个vCPU。 基于SoC实现的网络路由器和防火墙等设备，事实上成为了软硬件融合的典范，这些产品的研发过程也培养出了一大批方老师这样对系统底层技术精通的人才。 浮云朝露，乌飞兔走。
86220编辑于 2022-12-13 - 来自专栏重庆的技术分享区
大数据与机器学习融合
更多的线性代数和可扩展计算 我最近与柏林工业大学的学生进行了两次非常有趣的讨论，我了解了机器学习社区和大数据社区之间的鸿沟有多大。 我认为这里的主要信息是机器学习者真的喜欢用矩阵和向量来思考，而不是那么多的数据库和查询语言。 我认为这个系统仍然有效的主要原因是在这里运行的工作大多是计算密集型的，没有太多的数据密集型。大多数情况下，系统用于运行大批量的模型比较，在基本上相同的数据集上测试许多不同的变体。 将其与典型的“大数据”设置进行对比，您可以在其中获得数TB的数据并运行相对简单的分析方法或在其上搜索。 这里的好消息是，今天最需要的可扩展计算并不复杂。 从大数据到复杂方法？ 就我看到的方式而言，迄今为止，大数据主要是由于需要以可扩展的方式处理大量数据，而这些方法通常非常简单（至少在机器学习研究中是这么简单）。
1.3K40发布于 2018-06-10 数据融合是什么？进行数据融合的4大关键环节！
但数据融合是为了给 AI 打基础，只有高质量的数据才能给模型更精确的数据输出。这篇文章就带你系统了解：数据融合是什么？常见的数据融合类型有哪些？实施中会遇到什么样的挑战？ 一、数据融合是什么数据融合（Data Fusion）是一种将来自不同来源、不同格式或不同结构的数据集成到一个统一的数据模型或数据集中的过程。 二、数据融合有哪些类型数据融合的目的是通过整合多样化的数据，提高数据的完整性、准确性和可用性，以支持更深入的分析、决策制定或应用开发。但数据融合并非单一模式，根据数据结构的特性，可以分为以下几类。 四、数据融合的方法面对上述挑战，需要采用科学有效的方法来实施数据融合。 3.数据挖掘和机器学习技术使用数据挖掘和机器学习算法进行数据融合，识别模式和关系，从而生成更高质量的融合数据。
1K10编辑于 2025-09-09- 来自专栏IT技术精选文摘
大规模异构网络数据融合
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
1.1K70发布于 2018-05-30 - 来自专栏灯塔大数据
深度|大数据助推媒体融合
在2016年5月在贵阳举办的媒体大数据创新高峰论坛上，第十二届全国人大常委、教科文卫委员会主任委员、清华大学新闻与传播学院院长柳斌杰受邀与众多媒体界大咖共同探讨大数据作为引擎给媒体跨界和融合带来的新的动力 现在，媒体融合不仅仅要在公路建设、平台开辟方面发力，大数据能够创造更加优质的内容，这才是大数据与媒体融合的关键。 传播行业多少年来都因技术而发生转折，这一规律在新闻媒体上尤为突显。 准确地说，数据媒体时代已经到来，根据目前的发展势头，预计今年年底数字媒体可以占比50%以上。 大数据技术是互联网数字化、云计算日益普及的条件下，融合发展的一个技术突破。 形象地说，大数据已经进入到互联网传播的内容层次上，大数据不是一般的技术，它已经能自己生产，它已经是内容的时代。 二、大数据改变了传播的思路。 以大数据为核心的媒体融合，关注的是内容生产。 从中央两年来所出台的系列媒体融合的政策，可见大数据背景下媒体融合问题摆在中央的议事日程和重要位置。 内容来源：大数据观察
948100发布于 2018-04-09 - 来自专栏数据处理与分析
【随便聊一聊】数据融合？
问题 在数据融合时，怎么做才能保留最大的那个面的信息？ 数据 ? ArcGIS方式 手动肯定是很简单就可以实现的，我就不做演示了。 我展示一下使用工具来实现这个融合面，并保留最大面积要素的属性怎么实现？ 工具方式 首先介绍一下处理的思路：在数据融合的之前，先按面积对要素进行排序，然后对要素进行统计即可！ 数据也ok ? FME方式 同样的功能，使用FME也能轻松实现，并且FME也可以使用多种方式来实现 首先看一下常规方式： ? 这种方式也是先使用排序，然后进行融合。 来看一看融合后的数据： ? 除了常规方式，还有列表方式： ? 这种方式，不再关注要素到达融合转换器的顺序，转而对列表进行排序，然后再来获取列表中的属性，同样能获取到正确的要素字段信息 ? 总结 要素的合并、融合，是数据处理中经常会遇到的问题。很多人对数据处理的技术了解的比较少，遇到类似的问题只能靠手动的去合并。
94320发布于 2020-12-31 - 来自专栏数据处理与分析
随便谈一谈：数据融合
恰好想起来前几天的数据交流群里有人问数据匹配的问题，今天就以此为例，来聊一聊数据之间的融合。 数据之前的关联 我认为，数据之间最美的关系就是关联！通过关联，可以实现多源数据的融合！ 弱关联 有上面那种可以直接用来进行关联的数据，就有一些需要经过些许处理才能进行融合的数据。比如我某天遇到的问题，它长这样： ? 像这种A-B和B-A类型的数据，你直接关联的话，是肯定关联不起来的！ 数据中的ID列，有些完全一样，另外有些内容虽然一致，但顺序稍有不同。 针对这样的数据，如果想要实现两张表的融合，除了使用模糊匹配，还有更好的技术方案可以选择。 （祭出FeatureMerger，融合数据）； 模板运行动图： ? 源数据及结果展示： Sheet1： ? Sheet2: ? 1与2融合后形成的Sheet： ? 融合后的数据，拥有了更多维度的属性！ 至此，融合完成，齐活！
1.6K30发布于 2020-04-24 什么是数据融合？怎么用数据支持决策？
我认识一些搞数据的朋友，天天都在说说“数据融合”。但数据融合到底是什么，他们也说不清楚。数据融合还真不是单纯地把数据合并在一起就完事了。 今天我们就来一起讨论为什么要进行数据如何，要怎么融合，数据融合的类型有哪些。一、什么是数据融合？ 数据清洗和标准化是融合前不可或缺的步骤。只有具备了这些条件，数据融合才能真正开始，并产生有意义的成果。二、数据融合有哪些类型？了解了基本概念后，我们来看看数据融合有哪些具体的实现方式。 根据数据处理的程度和阶段，主要可以分为以下三种类型。1.数据层融合（像素级融合）这是最基础的融合层次，直接在数据采集的原始阶段进行。做法：对未经处理或仅经过初步校准的原始数据进行合并。 简单来说，这三种类型可以理解为一条处理流水线：数据层融合处理“原材料”，特征层融合处理“半成品”，决策层融合则负责产出最终的“决策结果”。三、为什么要进行数据融合？
40510编辑于 2025-11-22- 来自专栏活动
数据融合：多模态图像融合技术在安全监控中的应用
在安全监控领域，数据融合是一项关键技术，它将来自不同传感器或数据源的信息进行整合和分析，以提高监控系统的效率和准确性。 多模态图像融合技术是数据融合的一种重要形式，它结合了不同类型的图像数据，如可见光图像、红外图像、雷达图像等，以获取更全面的监控信息。 多模态图像融合技术概述多模态图像融合技术旨在将来自多个传感器或数据源的图像信息整合在一起，以获得比单一模态图像更全面、更准确的监控结果。 数据采集和标注在不同条件下采集可见光图像和红外图像数据，并进行标注和预处理，以准备用于模型训练和评估。3. 模型训练和优化利用深度学习或传统机器学习算法，对采集到的多模态图像数据进行训练和优化，构建多模态图像融合模型。4.
2K10编辑于 2024-04-25 - 来自专栏医学数据库百科
基因融合检测数据库介绍
随着高通量测序的发展，我们可以利用二代测序的数据来鉴定出发生在不同疾病当中的融合基因，所以也就出现了很多来寻找融合基因的数据库。今天就来给大家介绍几个融合基因查询的数据库。 ? 那么庞大的测序量，只要是有新的共同量分析的方法，肯定有人用这个数据来进行分析的。这个TumorFusions数据库就是基于TCGA的数据来预测融合基因的数据库。 ? 数据结果的呈现，是以表格的形式呈现的，结果当中显示了在什么样本当中哪两个基因存在融合以及融合的位置。 ? 至于结果下载的话，这个数据库说直接在下载按钮当中下载结果即可。但是现在没有了下载按钮。。。 但是关于TCGA的数据的话，只是提供了一个具体的结果，并没有具体到什么样子存在什么融合，这样也没办法让我们自己来分析TCGA的融合基因事件和相关临床表型的关系。 ? 同时数据库结合了多种检测数据，基本上这个算是目前很全的关于融合基因检测的数据库了。数据库的检索方式也很简单，这个大家一看就懂。限于文章的篇幅，我们就不介绍了(主要是这个数据库的界面，看着乱。。。) ?
2.2K21发布于 2020-06-01 - 来自专栏全栈程序员必看
ENVI5.3.1使用Landsat 8影像进行图像融合「建议收藏」
数据介绍及数据其他操作详见此博客 ENVI5.3.1使用Landsat 8影像进行预处理及分析实例操作 单一传感器获取的图像信息量有限，往往难以满足应用需要。 《遥感原理与应用》（第三版）孙家抦 1.数据获取与处理软件 数据采用Landsat8 OLI于2020年3月19日获取的郑州地区卫星图像，文件命名为LC08_L1TP_124036_20200319 _20200319_01_RT，具体含义参见我的上一个博客 软件使用ENVI 5.3.1 2.打开图像 Landsat8 的多光谱波段空间分辨率为30m，全色波段空间分辨率为15m，因此可以把全色波段融合到多光谱波段以提高空间分辨率 下图展示了30m分辨率和15m分辨率的局部图像 打开文件中的头文件（LC08_L1TP_124036_20200319_20200319_01_RT_MTL.txt），导入卫星数据 3. 打开图像融合工具 ENVI5.3.1提供了多种融合工具，包括HSV融合、PCA融合、Brovey融合等 这里选择Brovey融合，并选择RGB波段 ok后选择高分辨率波段，即第八全色波段
9.6K20编辑于 2022-09-15 - 来自专栏帅云霓的技术小屋
软硬件融合技术内幕 终极篇 (8) —— 美味的豆汁
那么问题来了： 我们知道，现代主流的CPU的位宽为64bit，也就是CPU的数据总线为64bit。 两个地址发送完毕后，CAS和RAS恢复高电平，从DQ也就是数据线读出数据。 我们发现，在这种情况下，每次读写都需要向DRAM发送两次地址，才能读到数据。而计算机读取内存中的数据，往往是有连续性的，这叫做空间局部性。 什么是空间局部性呢？ 让我们打一个比方。 进一步地，工程师们发现，在DRAM返回数据或接受写入数据时，DRAM的地址总线是空闲的。能否利用这段时间传输下一次读写的地址呢？这就是EDO DRAM的改进。 如网卡将收到的数据包通过DMA的方式写入内存缓冲区的场景，有可能连续读写上千字节的内容。这叫做猝发访问(Burst Access)。
52720编辑于 2023-02-25 - 来自专栏数据科学实战
AKShare-指数数据-融合指数
本次更新财新数据的财新指数数据-融合指数，中国数字经济指数（Digital Economy Index，DEI）作为新经济系列指数（NEI）的子指数，利用网络大数据挖掘手段，度量了由信息技术革新驱动的数字经济的增长 更新接口 "index_fi_cx" # 财新中国-融合指数 融合指数 接口: index_fi_cx 目标地址: https://s.ccxe.com.cn/indices/dei 描述: 财新指数 -融合指数 限量: 该接口返回所有历史数据 输入参数 名称 类型 描述 - - - 输出参数 名称 类型 描述 日期 object - 融合指数 float64 - 变化值 float64 - 接口示例 import akshare as ak index_fi_cx_df = ak.index_fi_cx() print(index_fi_cx_df) 数据示例 日期 融合指数
75510编辑于 2022-03-15 - 来自专栏数据库
SQL：数据与运算的融合体
本公众号主要关注大数据中的非结构处理，但在实际应用中，通常也离不开结构化数据处理，只不过相对而言其工具和开发环境比较成熟了。 、图像、数据挖掘、空间数据等提供统一的访问方式，但一直忠诚地支持数据库系统，为数据与运算的融合体提供了优秀的编程方法。 本文就介绍一个利用SQL语言来实现数据库记录前后记录运算的方法。 假设有一张表 abc，其结构和数据如图所示，像每个城市每天的空气质量数值、每个学校每天的上课学生数等，都与这个表结构类似。 首先构建用下面的语句构建两个表a,b，注意这里增加了一个新的列表示数据的行号id，是按时间排序的。 欢迎选用本书做大数据相关的教材，有相关教学资源共享。
69680发布于 2018-01-22 - 来自专栏葡萄城控件技术团队
万物皆可集成系列：低代码释放用友U8+深度价值（3）— 数据融合应用
通过在U8+系统中构建数据透视表，来结合低代码系统外联数据库的能力，即可轻松实现生产齐套分析系统，帮助业务部门提高对数据价值的应用，解决生产排产难的问题。 今天我们以费用报销系统为例，向大家展示如何将新业务系统中生产的数据回写至用友U8+系统中，实现用友U8+与基于低代码开发的费用报销系统之间的双向数据传递。 总结 至此，我们就完成了U8+系统与活字格应用的双向数据融合。了解更多信息可以查看课程： https://gcdn.grapecity.com.cn/forum.php? ，很多业务价值需要通过系统间的数据融合才能被很好地利用起来，活字格与用友U8+的双向对接能力为探索数据价值提供了更多的可能。 当然，除了与用友U8+实现数据的双向融合，我们也可以在业务场景中进行尝试，挖掘探索更多低代码价值。
94850编辑于 2022-09-27 - 来自专栏AI智韵
YoloV8改进策略：FastVit与YoloV8完美融合，重参数重构YoloV8网络（全网首发）
此外，FastViT模型能够较好的适应域外和破损数据，相较于其它SOTA架构具备很强的鲁棒性和泛化性能。 Yolov8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 改进一 测试结果 结果1 YOLOv8l 0.88 Speed: 0.1ms preprocess, 4.8ms inference, 0.0ms loss, 0.6ms postprocess per image 改进三 测试结果 YOLOv8l 改进四 测试结果 YOLOv8l summary: 742 layers, 21079664 parameters, 0 gradients, 68.0 GFLOPs
46110编辑于 2024-10-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号