- 综合排序
- 最热优先
- 最新优先
数据同步最全避坑指南！4大痛点+4大场景技术方案
系统A和系统B的数据对不上，流程卡住，用户投诉？想搞实时同步提升体验，结果把核心数据库拖慢了？尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面 结语数据同步技术正从 “技术工具” 向 “数据基础设施” 演进，流批一体、湖仓融合、服务化交付成为其核心特征。
59210编辑于 2025-09-22- 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
2015年，整个IT技术领域发生了许多深刻而又复杂的变化。本文是大数据解读篇，在这篇文章里我们将回顾2015展望2016，看看过去的一年里广受关注的技术有哪些进展，了解下数据科学家这个职业的火热。 【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 ●可配置的store compression 存储的field，例如_source字段，可以使用默认的LZ4算法快速压缩，或者使用DEFLATE算法减少index size。 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 ●2015年4月，亚马逊启动其机器学习平台Amazon Machine Learning，这是一项全面的托管服务，让开发者能够轻松使用历史数据开发并部署预测模型。
93870发布于 2018-04-10 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... 数据表征 多模态转换 2文本多模态技术 图像生成文本方法 基于模板的图像描述方法 支持向量机(SVM) 3种元索 物体 动作 场景 基于检索的图像描述方法 搜寻相似之处 基于深度学习的图像描述方法 图像生成文本 模型 OpenAl的DALL-E2和GPT4 谷歌大脑的 lmaen和Stable Diffusion 百度的文心一言 文本生成图像 基于GAN的文本生成图像方法 AlignDRAW Transformer 的语言模型,采用自回归的编码理念,接收文本提示,生成高维的词嵌入 图像信息生成器 实现扩散模型的反向过程,去噪音生成图像的隐藏信息 图像解码器 把隐信息还原成图像 4语音多模态技术 Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍 Transformer：编码器-解码器框架 编码器：衍生出了自编码大模型，如BERT、RoBERT和ALBERT
46210编辑于 2024-09-10 - 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” 2016年初 然后到了16年初，感觉机器学习突然间火起来了，突然间大数据的概念就被割裂出去了一大部分，机器学习和数据挖掘这部分和算法强相关的内容一下子就不属于大数据这个概念了。 然后数据量一下暴增了，一天要处理的数据增到了百亿的级别，很多任务的数据量都超过了千亿，。下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。 其实是离不开数据二字，但是总体来讲，自己之前对数据的认知是不太够的，更多是在关注技术的提升上。换句话讲，自己是在做技术，这些技术处理的是数据，而不能算是自己是在做数据的。 大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。 我们在做大数据的时候也更应该有数据的理解，这里对数据的理解可能会和数据分析、数据挖掘有类似，但是又不同。
85230发布于 2018-05-25 - 来自专栏数据计算
大数据技术的 4 个 E
大数据的 4 个 V 说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。 为方便记忆，类似 4 个 V，我们把这些特性总结成 4 个 E，用户在选择大数据技术解决方案时可作为参考。1. Easy 大数据技术要足够简单易用这个 E 很容易理解。 当然，任何技术都有局限性，面向一般规模和面向超大规模的技术相差是很大的，不大可能有一种技术能够有效适应数据规模从 0 到无穷大的各个阶段 ( 所谓有效适应是在各个阶段该技术都能达到相当优良的性能，而不只是可以处理 而且，大多数大数据技术常常需要独立部署，即使其计算能力可以被集成，但必须依赖于外部的独立进程，不能被应用完全控制，有时会显得非常累赘。4. 其实最后那个特性用 E 并不是很贴切，但为了凑 4 个 E 就对付了。这个词本来是环保的意思，开放的大数据技术可以少复制一些数据，少部署一些硬件，省点电，也算环保吧。
12210编辑于 2025-10-16 - 来自专栏智能大数据分析
大数据存储技术（4）—— NoSQL数据库
NoSQL数据库具有如下四大分类： 1、键值（Key-Value）存储数据库：常见的键值存储数据库有Tokyo Cabinet / Tyrant、Berkeley DB、MemcacheDB、Redis 4、图（Graph）数据库：诸如Neo4J、InfoGrid、Infinite Graph等。 （二）HBase数据表 相较于传统的数据表，HBase中的数据表一般有这样一些特点： （1）大表，一个表可以有上亿行，上百万列； （2）面向列（族）的存储和权限控制 （3）大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候往往会选择传统的文件进行存储。 Neo4j重点解决了拥有大量连接的传统RDBMS在查询时出现的性能衰退问题。围绕图进行数据建模后，Neo4j会以相同的速度遍历节点与边，其遍历速度与构成图的数据规模没有关系。
1.8K10编辑于 2025-01-22 - 来自专栏云计算D1net
大数据时代 云安全4大策略
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据，基础设施。 近期的一些加密技术，如分裂密钥加密，都非常适合云计算。用户在享受基础设施云解决方案提供的优势的同时又可以将密钥保存在自己手中，让密钥处于安全状态下。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。 总结 只有为数据建立了最为严格的安全标准，大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。 分裂密钥加密和同态密钥管理等新技术应当投入到保护敏感数据当中，同时用户还需要严格遵守HIPAA、PCI等规章制度。
1.3K70发布于 2018-03-21 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 (4) DQC：清洗和监控数据，接收到到的数据与规则库对比，监控相关数据的可用性和对无用的数据进行清洗。 3.3 任务调度系统 调度系统分为调度引擎和执行引擎。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.6K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.2K30发布于 2019-04-19 - 来自专栏数据派THU
数据蒋堂 | 大数据技术的4个E
作者：蒋步星 来源：数据蒋堂 本文共1100字，建议阅读8分钟。 本文将大数据特点总结成4个E，可作为选择大数据技术解决方案的参考。 ? 大数据的4个V说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。 为方便记忆，类似4个V，我们把这些特性总结成4个E，用户在选择大数据技术解决方案时可作为参考。 Easy 大数据技术要足够简单易用 这个E很容易理解。 当然，任何技术都有局限性，面向一般规模和面向超大规模的技术相差是很大的，不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能，而不只是可以处理 其实最后那个特性用E并不是很贴切，但为了凑4个E就对付了。这个词本来是环保的意思，开放的大数据技术可以少复制一些数据，少部署一些硬件，省点电，也算环保吧。 专栏作者简介 ?
51920发布于 2019-11-28 数据资产怎么管？关键在这4大环节！
在IT和数据行业待了这么多年，我越来越觉得，很多企业的问题不是技术不行，而是没把数据真正当成“资产”来管。资产是什么？是你能清晰盘点、知道价值、并能持续产生回报的东西。 它不仅仅是确保数据准确、安全的技术活（那是数据管理的重要部分），更是像管理公司固定资产一样，去盘点、评估、运营这些数据，让它们持续产生价值。 我们可以利用数据发现工具或数据目录平台，自动连接到公司内部的各个数据库、数据仓库甚至文件存储。 2.核心是抓取“元数据”工具会自动采集“关于数据的数据”，比如一个数据表叫什么、在哪里、包含哪些字段（这是技术元数据）；每个字段在业务上代表什么，归哪个部门管（这是业务元数据）。 2.设计一致的数据模型在数据汇聚的层面，比如数据仓库里，按照商定好的标准来设计和整合数据，确保口径一致。3.理清数据血缘这一点非常关键。
32310编辑于 2025-12-08- 来自专栏程序你好
区块链4大优势，与传统金融4大短板
现在很多人容易把区块链和比特币混为一谈，事实上，比特币只是区块链技术的一种小应用，只是借助了区块链基础技术架构开发的一种金融产品。 通俗地说，所有网络虚拟数字货币的交易过程都是去中心化的分布式网络账本，被记录的所有交易数据都可以在区块链各个节点上共享，各个数据终端通过加密合约彼此间相互链结。 技术的关键点在于所有节点都分散保存着一个账本，单一或部分节点无法单独篡改数据。 ? 在传统金融日系，都依赖于信用背书系统。 区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。 所有参与区块链交易节点都参与记录和验证，以及数据的维护。
1.2K10发布于 2018-07-20 - 来自专栏大数据知识
大数据5大关键处理技术
一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 4）数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 5）结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 4、覆盖正例排斥反例方法 它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。 大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术 它可帮助分析用户的结构化和非结构化数据中的趋势、模式和关系，运用这些指标来洞察预测将来事件，并作出相应的措施。 4.
10.8K30发布于 2021-03-12 C-RADIOv4：统一三大模型的视觉骨干技术
技术概述某机构推出的 C-RADIOv4 是一种新型聚合式视觉骨干网络，通过将三个强教师模型——SigLIP2-g-384、DINOv3-7B 和 SAM3——蒸馏至单个学生编码器中，实现了模型统一。 该方法延续了 AM-RADIO 和 RADIOv2.5 的技术路线，在保持相近计算成本的同时，提升了密集预测质量、分辨率鲁棒性，并与 SAM3 实现即插即用兼容。 RADIO 中的聚合蒸馏技术RADIO 系列采用聚合蒸馏技术。单个 ViT 风格的学生网络接受训练，同时匹配多个异构教师网络的密集特征图和总结令牌。 此外，训练过程采用 DAMP 技术，向权重注入乘性噪声，进一步提升了模型对数据损坏及小分布偏移的鲁棒性。角分散感知的总结损失实现教师平衡先前 RADIO 模型的总结损失使用学生与教师嵌入间的余弦距离。 关键技术要点单一统一骨干：C-RADIOv4 将 SigLIP2-g-384、DINOv3-7B 与 SAM3 蒸馏至单一 ViT 风格编码器，同时支持分类、检索、密集预测与分割。
33810编辑于 2026-02-12- 来自专栏加米谷大数据
五大最核心的大数据技术
五大最核心的大数据技术 大数据技术有5个核心部分，分别是数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个核心部分都有哪些核心技术？ 一起来了解一下吧 ? 预测分析 预测分析是一种数据挖掘方案，可在结构化和非结构化数据中使用算法和技术,进行预测、预报和模拟。许多公司利用大数据技术来收集海量数据、训练模型并发布预测模型来提高业务水平或者避免风险。 NoSQL数据库 NoSQL泛指非关系型的数据库，这种工具可以为大数据建立快速、可扩展的存储库。 数据可视化 数据可视化是成为研究数据展示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的数据可视化技术。 它包含信息分析，自然语言处理和机器学习领域的大量技术创新，认知系统专门获取海量的不同类型的数据，根据信息进行推论，从自身与数据、与人们的交互中学习。
1.7K30发布于 2019-01-09 大模型技术之数据结构与算法
这些问题的解决，无一不依赖于深厚的数据结构与算法功底。 不懂这些底层逻辑，就无法真正驾驭大模型，更谈不上通过技术创新为企业创造核心价值。因此，高薪的本质是对“不确定性”的掌控力，而这种掌控力源于对算法数学原理的深刻理解。 四、创新边界：算法思维决定技术突破的上限大模型的发展已进入深水区，单纯依靠堆砌数据和扩大规模带来的边际效应正在递减。未来的突破点在于算法层面的创新：新的架构设计、新的训练范式、新的推理策略。 对于从业者而言，如果缺乏算法思维，只能跟随别人的脚步，做技术的追随者；而具备深厚算法功底的人，则有可能成为规则的制定者。 只有建立起这样坚实的地基，学生才能在快速变化的AI浪潮中站稳脚跟，不被新技术淘汰。对于个人学习者而言，无论大模型如何迭代，投入时间深耕算法永远是回报率最高的投资。
13710编辑于 2026-03-20- 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
摘要：云计算打破了传统的商业模式，大数据也持续以指数型增长，技术人员和投资人对于当前技术发展趋势都保持密切关注，因为这有可能直接影响到他们2016年及今后的商业行动。 从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 近期在达沃斯的世界经济论坛就讨论了规范这种新兴技术的重要性。 4 情感识别软件 2015年日本退出了第一个情绪只能机器人。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 （4）机器学习和人工智能：模型训练极度依赖数据质量，缺失值处理不当、异常值未识别、特征尺度差异巨大，都会导致模型性能低下甚至失效。数据清洗的效果直接影响模型的上限。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 （4）将最终字符串转为DOUBLE类型。得到干净、可直接计算的数字型“利润_清洗”列。数据过滤设置过滤条件，筛选出符合特定条件的数据。例如，筛选出「订购日期」为2023年，「运货费」大于100的数据。
45210编辑于 2025-09-26- 来自专栏亿源通科技HYC
数据中心CWDM4传输技术是什么？
数据中心光传输技术的演进 随着移动互联网的推广应用，数据中心得到迅猛发展，成为信息社会中的重要基础设施。 数据中心由大量服务器组成，服务器之间需要高速、大容量的数据传输和交换，传统的电缆传输不能满足速率要求，光纤传输技术自2010年左右进入数据中心，至今已经成为主流传输技术。 对于传输距离大于500米的应用场景，为了节约光纤成本，电信网中的CWDM技术被引入数据中心，即为CWDM4传输方案，通过波分复用/解复用器，在一根光纤中传输1271nm、1291nm、1311nm、1331nm 将AWG技术引入数据中心的CWDM4传输系统，波长间隔增加至20nm，技术难点降低了，但为了集成到QSFP28模块中并规模应用，对AWG芯片的尺寸和成本约束要严苛得多，目前主流的CWDM4 AWG芯片， AWG技术的损耗最大，信道质量最差，但工艺难度和成本最低，满足数据中心市场降成本的诉求，正在逐步替代Z-block技术的市场。
1.4K40发布于 2021-02-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号