- 综合排序
- 最热优先
- 最新优先
AI数据治理系统：给大模型喂干净饭的技术底座
这些坑，本可以靠一套AI数据治理系统躲过去。什么是AI数据治理？不是传统那套！传统数据治理管的是数据库表格——字段规范、主外键关系。 AI数据治理管的是非结构化数据的山海经：图片、视频、文本、语音，还有它们之间乱七八糟的关系。核心目标三个：让数据干净、让数据安全、让数据值钱。 三大技术支柱第一，数据质量"保鲜仪"AI对数据质量比处女座还挑剔。我们的系统植入了一套"数据体检"机制：自动清洗：上传图片模糊？自动剔除。文本乱码？实时拦截。标签矛盾？马上报警。 降风险：数据泄露、合规罚款、模型学歪，三大雷区全避开。省成本：标注成本降30%，存储成本降20%，返工成本几乎归零。提效率：数据准备周期从"周"变"小时"，模型迭代快3倍。 这套系统是给大模型配"营养师+质检员+保镖"，让它吃上干净饭、安全饭、营养饭。别等到模型上线翻车才想起数据治理。提前把数据管好，AI项目成功率能从30%提到70%以上。
39210编辑于 2025-11-24大模型真正的护城河：不是参数，是「会做研究」的数据底座
这些失效并非偶发的技术故障，而是根植于训练数据结构的深层问题——大模型缺乏对科研方法论体系的真正理解。 1.2问题根源诊断1.2.1非参数规模不足，而是数据底座缺失"科研方法论骨架"对上述失效模式的系统性分析指向一个反直觉的关键结论：大模型在科研辅助场景中的表现瓶颈，绝非源于参数规模的限制。 二、科研方法论的数据底座：构建"全学科科研方法论Scale"2.1真实科研的方法论本质2.1.1非信息搬运，而是跨学科、有规范、能落地的体系化知识理解科研方法论数据底座的价值，首先需要纠正一个普遍误解： 2.2高质量数据源的四大核心渠道构建覆盖全学科的科研方法论数据底座，必须突破泛互联网信息的局限，定向挖掘四类高质量专业数据源：2.2.1顶刊《作者指南》学术期刊的《作者指南》（AuthorGuidelines 3.1.2降低无效数据占比，提升训练效率从模型训练的经济性角度，数据底座提供了精准优化训练数据构成的抓手。
27810编辑于 2026-03-31- 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” ，和数据相关的技术也都数据大数据。 2016年初 然后到了16年初，感觉机器学习突然间火起来了，突然间大数据的概念就被割裂出去了一大部分，机器学习和数据挖掘这部分和算法强相关的内容一下子就不属于大数据这个概念了。 然后数据量一下暴增了，一天要处理的数据增到了百亿的级别，很多任务的数据量都超过了千亿，。下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。 大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。 我们在做大数据的时候也更应该有数据的理解，这里对数据的理解可能会和数据分析、数据挖掘有类似，但是又不同。
88330发布于 2018-05-25 腾讯云发布“4+N”防护体系：以原生架构与AI大模型重构企业安全底座
部署“4+N”防护体系：构建一体化管控的云端安全防线 针对基础建设薄弱与业务风控割裂的痛点，腾讯云正式发布“4+N”云上安全防护体系，旨在将安全基础建设（企业生命线）与贴合业务场景的风控管理（利益最大化前提 “4”道核心防线（解决通用安全场景问题）： 云防火墙（第一道防线）： 保护公网、内网间流量，作为云上流量管控中心。 数据安全（第四道防线）： 保护敏感数据全生命周期，提供一站式数据安全。 云安全中心（统一管控纽带）： 实现一站式管控四道防线、资产、风险与告警；支持腾讯云及主流云厂商的多云统一安全管理。 规则检出率溢价指标： 借助AI大模型提升安全规则运营效率与准确率，系统风险检出率高于同行业平均水平3.4%。 原生接入4道防线，实现数据全生命周期（分类分级、加密、脱敏、审计）的管理，满足个人敏感信息防护等核心合规性标准要求。 一汽解放集团（车联网安全检测）： 与腾讯共建网络安全测试实验室。
21900编辑于 2026-05-30数据同步最全避坑指南！4大痛点+4大场景技术方案
在数据湖仓一体、流批一体的背景下，数据同步作为数据流动越来越重要的一环。然而，数据同步听起来简单，做起来却处处是坑：业务急着要数据做决策，报表却迟迟出不来？ 系统A和系统B的数据对不上，流程卡住，用户投诉？想搞实时同步提升体验，结果把核心数据库拖慢了？尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
70910编辑于 2025-09-22- 来自专栏关于Java学习@宁在春
浅谈日常使用的 Docker 底层原理-三大底座
它告诉 socat 要将传入的数据流连接到 /var/run/docker.sock 这个路径上。 4） & : 这个符号将命令放入后台运行. 开胃小菜结束了，下面的才是有意思的，但是我想通过上面两节小小案例的演示，大家对于 Docker 的客户端和服务端之间的交互应该了解了一些了吧~ 三、Docker 核心原理的三大底座 在容器进程启动之前重新挂载它的整个根目录 4、进程隔离也是同样如此，我们在宿主机和容器中分别执行 ps -ef | grep sh 命令，看看结果就知道啦 在容器内明显看不到宿主机其他进程情况，并且容器内的 /bin/sh PID 为1，PID "userns-remap": "default" } 3、保存文件，重启启动 Docker 服务，以使配置文件生效 sudo systemctl restart docker 4、 但是，你如果在容器里执行 top 指令，就会发现，它显示的信息居然是宿主机的 CPU 和内存数据，而不是当前容器的数据。 我在容器中执行 free 命令，展示的是我宿主机的相关信息。
3.1K22编辑于 2023-10-16 - 来自专栏云计算D1net
大数据时代 云安全4大策略
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据，基础设施。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。 并不是所有的大数据基础设施是安全的，如果处于风险当中的数据非常敏感或是属于管制数据，那么用户可能需要寻找替代方案。 多备份在给用户备份数据时自动把数据压缩加密并传到多个云端平台，采用3层加密安全保护体系使得数据安全达到最高。 总结 只有为数据建立了最为严格的安全标准，大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。
1.4K70发布于 2018-03-21 - 来自专栏凯哥讲故事系列
DataOps：数据中台的必备底座
前言 数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异，是建设数据中台的必备底座能力。 为什么需要DataOps DataOps的出现，从因为数字化转型进入了数据为核心的智能时代，为了满足企业对于数据管理，数据利用的三大战略趋势： 数据分析民主化/Democratization 上图是典型的数据价值链过程，而DataOps就是支撑着整个全生命周期的底座，成功的DataOps体系有四个特质：CAUTA。 全面/Universal 作为企业全域数据的底座，DataOps要全面的支持所有的场景和数据，如下图所示例，列示出了常用的30种数据源和40种目标数据。 ? 可以分解的更加细致： ? 典型DataOps平台架构 一个典型的DataOps平台的架构如下图[4]所示，包括八大组件功能： ?
8.9K37发布于 2020-07-09 HarmonyOS Next数据底座向量数据库介绍
背景今年HDC在展厅遇见了HarmonyOS 数据底座的架构师，介绍了基于数据底座实现端侧能力的智能小助手，听着很吸引人，HarmonyOS将端侧AI做到了系统层，给开发者创造了无限可能。 向量数据库概述向量数据库是一种支持存储、管理和检索向量数据的数据库系统，同时兼容传统的关系型数据处理能力。 结果集采用惰性加载策略，只有在实际访问数据时才会从存储层加载，有效降低了内存消耗。向量数据表示floatvector是向量数据库的核心数据类型，用于表示高维向量数据。 ：系统默认维护4个读连接和1个写连接，采用连接池技术优化资源使用写入并发：同一时间只支持一个写操作，并发写请求会自动串行化处理数据大小限制：建议单条数据不超过2MB，超出可能导致读取失败数据清理机制当应用被卸载时 本文详细介绍了向量数据库的核心特性、开发接口和高级功能，为开发者提供了全面的技术指南。随着大模型和生成式AI的普及，向量数据库的重要性将进一步提升。
41610编辑于 2025-07-06- 来自专栏IT创事记
创新数据底座：智能制造的“圣杯”
进行仿真计算需要处理大量的实时数据，对系统的计算和数据吞吐能力都有极高的要求。既有的数据基础设施很难满足以汽车研发为代表的新增需求，创新的数据底座成为智能制造时代被寄予厚望的“圣杯”。 仿真平台只是创新数据底座的冰山一角。 与欧美发达国家相比，我国智能制造还有相当大的发展空间。当前90%的制造业企业配有自动生产线，但仅有40%实现数字化管理，5%打通工厂数据，1%使用智能化技术。 华为构建的创新数据基础设施，将成为国内制造企业数字化转型坚实的数据底座，其示范效应影响深远。 存储产品的高歌猛进，为华为创新数据基础设施提供了充足的底气；与更多懂行业、懂业务、懂技术的合作伙伴携手同行，则是华为构建制造业等行业数据底座的生态保障。
57620编辑于 2022-08-30 云原生湖仓一体演进：大模型多模态数据底座的重构路径
专家背书： 徐潇 | 腾讯云数据湖技术专家，Apache Gravitino PMC 一、 破除AI场景数据读写与管理瓶颈 在AI与大模型时代，企业传统数据架构在对接机器学习与模型训练时面临严重的业务瓶颈与计算损耗 该方案通过底层表格式的革新，实现多模态数据的集中治理： 引入Iceberg底座： 兼容现有Lakehouse架构，提供高拓展性的表格式与完善的开源生态，支持底层原始数据与向量表示的统一存储。 实现数据页独立编码： 去除复杂的行组分层，将数据按列直接拆分为数据页（Data Pages），每个数据页实现独立编码与管理，将元数据、索引与数据集中存放，实现高并发并行处理。 LanceDB & DeepLake 探索： 验证了作为嵌入式向量数据库（Embedded Vector DB）和基础模型数据湖（Foundational Model Datalake）的有效性，无缝衔接云端对象存储与大模型训练 五、 引领湖仓架构向大模型底座演进 腾讯云通过深度参与和主导开源社区（如 Apache Gravitino PMC 席位），确立了在云原生湖仓一体向大模型数据底座演进过程中的技术确定性。
31210编辑于 2026-04-27数据资产怎么管？关键在这4大环节！
我们可以利用数据发现工具或数据目录平台，自动连接到公司内部的各个数据库、数据仓库甚至文件存储。 2.核心是抓取“元数据”工具会自动采集“关于数据的数据”，比如一个数据表叫什么、在哪里、包含哪些字段（这是技术元数据）；每个字段在业务上代表什么，归哪个部门管（这是业务元数据）。 3.形成数据目录将所有采集到的元数据组织起来，形成一个可搜索的、统一的数据资产地图。想象一下，这就是你公司数据的“搜索引擎”。做完这一步，你就能快速回答：我们到底有没有“客户满意度评分”这个数据？ 2.设计一致的数据模型在数据汇聚的层面，比如数据仓库里，按照商定好的标准来设计和整合数据，确保口径一致。3.理清数据血缘这一点非常关键。 一旦这个正向循环建立起来，数据就不再是负担，而会成为支撑企业决策和创新的坚实底座。希望我今天分享的经验和步骤，能为你接下来的工作提供一些清晰的思路。
39110编辑于 2025-12-08大数据平台数据底座能力构建技术指南
摘要 本文旨在解析大数据平台的数据底座能力，探讨其核心价值、典型场景、关键挑战，并提供详细的操作指南。同时，对比分析通用方案与腾讯云方案的差异，并提供场景化案例以展示腾讯云产品的优势。 技术解析 核心价值与典型场景 大数据平台的数据底座能力，指的是构建企业级数据仓库和数据资产管理的能力。这一能力的核心价值在于： 性能提升：与传统数仓/大数据解决方案相比，性能提升10~100倍。 典型场景包括企业级数据仓库构建、数据资产治理和可视化数据分析。 3大关键挑战 性能瓶颈：在大规模数据处理时，如何保持高性能和响应速度。 安全风险：数据资产的安全性和隐私保护。 结论 大数据平台的数据底座能力是企业数字化转型的关键。腾讯云提供的WeData、COS和BI工具等产品，能够帮助企业在性能、成本和数据治理方面取得显著优势。 通过上述操作指南和增强方案的对比，企业可以根据自身需求选择合适的技术方案，实现数据底座能力的构建和优化。
65210编辑于 2025-07-28部署医疗大模型与全栈云底座，重塑医院诊疗效率与数据安全
（如4-5级需实现智能导医分诊及电子病历初稿自动生成）；电子病历应用水平评级对全院信息共享与全流程数据闭环提出高标准。 跨院区协同缺乏统一底座，且医疗数据作为高价值目标，正面临DDoS攻击和勒索病毒加密的严峻安全威胁。 引入混元医学大模型与全栈信创云底座 为突破上述瓶颈，腾讯构建了以底层算力与大模型为核心的医疗数字化矩阵，提供一体化解决方案： 智慧服务（混元大模型驱动）： 部署7B/33B私有化医学大模型。 结合TBDS大数据计算存储平台及T-Sec终端安全管理系统，构筑事前检查到事后追溯的一体化数据安全中枢。 头部三甲医院数智化升级业务实践 上海交通大学医学院附属瑞金医院（临床模型重构）： 作为国内Top5医院，组建数字医学创新中心，建成33B医学垂类大模型底座。
22710编辑于 2026-05-30- 来自专栏程序你好
区块链4大优势，与传统金融4大短板
通俗地说，所有网络虚拟数字货币的交易过程都是去中心化的分布式网络账本，被记录的所有交易数据都可以在区块链各个节点上共享，各个数据终端通过加密合约彼此间相互链结。 技术的关键点在于所有节点都分散保存着一个账本，单一或部分节点无法单独篡改数据。 ? 在传统金融日系，都依赖于信用背书系统。 目前大部分的金钱交易都是通过银行、保险公司、担保公司等第三受信机构作为中介完成交易的，记录单独保存于其中央数据库中，这种方式无法确保记录的完整性和唯一性。 区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。 所有参与区块链交易节点都参与记录和验证，以及数据的维护。
1.3K10发布于 2018-07-20 - 来自专栏量子位
火山引擎给大模型造大底座！MiniMax、智谱AI等已登陆
不仅为大模型玩家提供训练、推理、评测、精调等功能与服务，后续还提供运营、应用插件等工具，进一步支撑大模型生态。 总之，就是要为大模型，打造一个超强底座。 而透过火山方舟，火山引擎如何看待大模型趋势？ 对于大部分行业用户来说，通用大模型只是基础能力，想要使用更优质的大模型服务可能都需要基于自家数据进行持续训练或精调。 火山方舟能提供极简精调流程，只需两步即可一键精调：选择基础模型→上传标注数据集。 所以火山方舟同步推出了评测工具，支持用户基于自身数据、系统化地感知模型表现情况，并且给出详细的测评报告，为后续做决策提供数据基础。 吴迪表示，在大模型时代，信任问题至关重要。 大模型提供方不希望自己辛苦训练出的模型被人拷贝走，这属于重要知识产权；下游客户不希望自己的数据在推理和精调过程中不被泄露，敏感数据只有自己可见。 以及底层硬件厂商，同样也迫切需要大模型底座。 NVIDIA开发与技术部亚太区总经理李曦鹏表示，英伟达开发每一款新产品，都是以workload来驱动，所有开发都是要解决真实存在的问题。
2.8K20编辑于 2023-08-05 - 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 它的基本思想是，通过打标签的方式为不同的节点赋予不同的属性，这样，一个大的Hadoop集群按照节点类型被分成了若干个逻辑上相互独立（可能交叉）的集群。 ●可配置的store compression 存储的field，例如_source字段，可以使用默认的LZ4算法快速压缩，或者使用DEFLATE算法减少index size。 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 ●2015年4月，亚马逊启动其机器学习平台Amazon Machine Learning，这是一项全面的托管服务，让开发者能够轻松使用历史数据开发并部署预测模型。
1K70发布于 2018-04-10 本体论驱动的AI数据底座实践
背景 问题不在模型，而在数据。 在实际的大模型应用中，我逐渐发现模型能力的上限，往往取决于数据的质量与结构，而不完全是模型本身。 如果直接接入大模型，会导致 RAG 召回不稳定、上下文噪声高、幻觉严重。 因此，这个项目的核心目标，不只是做一个问答系统，更是要构建一套面向大模型的数据治理与数据供给体系。 整体架构 整个系统可以抽象为一条 数据 → 知识 → 语义 → 应用 的链路。 核心设计一：本体论 = 数据标准体系 1. 本体的本质 在这个项目中，本体论是领域数据标准 + 元数据模型。 实际最后构建一套面向大模型的数据治理与数据供给体系。 目标是让数据可理解、让数据可复用、让数据可被AI稳定使用。 在AI时代数据不再只是被存储和分析，而是要被模型消费。 而数据治理，也从服务给人看的BI，转向了服务大模型与智能系统 这也是我在这个项目中最核心的收获。
15810编辑于 2026-07-02构建普惠金融数智底座：AI大模型与数据湖驱动业务量化提效
数据底层架构臃肿： 随着多模态数据（文本、图像、行为数据）爆发，传统大数据组件面临计算资源调度慢、系统维护难度大、数据加工及查询时效低下的痛点。 二、 部署“云+智能”全景架构与多模态处理引擎 为打破上述瓶颈，腾讯云通过“AI、大数据、云基础设施”三大核心技术协同，为金融机构提供了一套从底层算力到上层Agent（智能体）的完整技术栈： 构建“湖仓一体 ，数据加工时效由近1小时大幅缩减至5分钟；明细数据查询效率提升 4-7倍，聚合查询效率提升 3-6倍。 某金融科技公司（全业务场景融合）： 利用预训练金融数据并精调公司业务数据，打造金融风控大模型与智能Agent（如百事通风险智能顾问）。 金融机构选择腾讯云的核心逻辑，在于其实现了从底层硬件到上层智能应用的高确定性与技术前瞻性： 彻底的自主可控根基（一云多芯）： 构筑了全面适配国产芯片（鲲鹏、海光、飞腾、龙芯及信创ARM/x86/MIPS）的云基础设施底座
30020编辑于 2026-04-21- 来自专栏鹅厂网事
星脉高性能计算网络：为AI大模型构筑网络底座
前几天横空出世的AI爆款产品ChatGPT，可以聊天、写代码、解答难题、写小说，其技术底座正是基于微调后的GPT3.5大模型，参数量多达1750亿个。 而在金榜题名的背后，星脉超算网络为腾讯万亿大模型构筑了高性能网络底座。 图4 MoE模型引入All-to-All集合通信操作 Lepikhin, Dmitry, et al. 因此要充分发挥GPU计算资源的强大算力，必须构建一个全新的高性能网络底座，用高速网络的大带宽来助推整个集群计算的高效率。 星脉超算网络作为腾讯大规模训练集群的重要基石，会持续在超带宽、异构网络通信、通信库定制加速、智能监控等技术上不断创新，为AI大模型训练构筑可靠的高性能网络底座。
6.4K21编辑于 2022-12-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号