- 综合排序
- 最热优先
- 最新优先
AI数据治理系统：给大模型喂干净饭的技术底座
AI数据治理管的是非结构化数据的山海经：图片、视频、文本、语音，还有它们之间乱七八糟的关系。核心目标三个：让数据干净、让数据安全、让数据值钱。 三大技术支柱第一，数据质量"保鲜仪"AI对数据质量比处女座还挑剔。我们的系统植入了一套"数据体检"机制：自动清洗：上传图片模糊？自动剔除。文本乱码？实时拦截。标签矛盾？马上报警。 技术架构极简整个系统就三层：接入层：支持S3、OSS、NAS各类存储，API十分钟接完治理引擎：规则引擎+AI模型双驱动，规则管效率，AI管智能输出层：治理后的数据直接对接训练平台，像自来水管一样即开即用给企业带来什么 降风险：数据泄露、合规罚款、模型学歪，三大雷区全避开。省成本：标注成本降30%，存储成本降20%，返工成本几乎归零。提效率：数据准备周期从"周"变"小时"，模型迭代快3倍。 这套系统是给大模型配"营养师+质检员+保镖"，让它吃上干净饭、安全饭、营养饭。别等到模型上线翻车才想起数据治理。提前把数据管好，AI项目成功率能从30%提到70%以上。
39210编辑于 2025-11-24大模型真正的护城河：不是参数，是「会做研究」的数据底座
1.2问题根源诊断1.2.1非参数规模不足，而是数据底座缺失"科研方法论骨架"对上述失效模式的系统性分析指向一个反直觉的关键结论：大模型在科研辅助场景中的表现瓶颈，绝非源于参数规模的限制。 二、科研方法论的数据底座：构建"全学科科研方法论Scale"2.1真实科研的方法论本质2.1.1非信息搬运，而是跨学科、有规范、能落地的体系化知识理解科研方法论数据底座的价值，首先需要纠正一个普遍误解： 2.2高质量数据源的四大核心渠道构建覆盖全学科的科研方法论数据底座，必须突破泛互联网信息的局限，定向挖掘四类高质量专业数据源：2.2.1顶刊《作者指南》学术期刊的《作者指南》（AuthorGuidelines 3.1.2降低无效数据占比，提升训练效率从模型训练的经济性角度，数据底座提供了精准优化训练数据构成的抓手。 Scale数据替代等量的通用数据，可使模型在科研场景下的任务完成率提升2-3倍，同时将达到同等性能所需的训练数据量降低一个数量级。
27810编辑于 2026-03-31- 来自专栏关于Java学习@宁在春
浅谈日常使用的 Docker 底层原理-三大底座
3）UNIX-CONNECT:/var/run/docker.sock: 这部分指定了 socat 要连接的目标 Unix 域套接字路径。 开胃小菜结束了，下面的才是有意思的，但是我想通过上面两节小小案例的演示，大家对于 Docker 的客户端和服务端之间的交互应该了解了一些了吧~ 三、Docker 核心原理的三大底座 在容器进程启动之前重新挂载它的整个根目录 3.IPC Namespace 隔离进程间通信。 { "userns-remap": "default" } 3、保存文件，重启启动 Docker 服务，以使配置文件生效 sudo systemctl restart docker 但是，你如果在容器里执行 top 指令，就会发现，它显示的信息居然是宿主机的 CPU 和内存数据，而不是当前容器的数据。 我在容器中执行 free 命令，展示的是我宿主机的相关信息。
3.1K22编辑于 2023-10-16 - 来自专栏凯哥讲故事系列
DataOps：数据中台的必备底座
前言 数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异，是建设数据中台的必备底座能力。 为什么需要DataOps DataOps的出现，从因为数字化转型进入了数据为核心的智能时代，为了满足企业对于数据管理，数据利用的三大战略趋势： 数据分析民主化/Democratization 上图是典型的数据价值链过程，而DataOps就是支撑着整个全生命周期的底座，成功的DataOps体系有四个特质：CAUTA。 全面/Universal 作为企业全域数据的底座，DataOps要全面的支持所有的场景和数据，如下图所示例，列示出了常用的30种数据源和40种目标数据。 ? 可以分解的更加细致： ? 典型DataOps平台架构 一个典型的DataOps平台的架构如下图[4]所示，包括八大组件功能： ?
8.9K37发布于 2020-07-09 HarmonyOS Next数据底座向量数据库介绍
背景今年HDC在展厅遇见了HarmonyOS 数据底座的架构师，介绍了基于数据底座实现端侧能力的智能小助手，听着很吸引人，HarmonyOS将端侧AI做到了系统层，给开发者创造了无限可能。 向量数据库概述向量数据库是一种支持存储、管理和检索向量数据的数据库系统，同时兼容传统的关系型数据处理能力。 ：参数必填说明time_col是时间列名(整数类型)interval否老化检查间隔(默认1天)ttl否数据保留时间(默认3月)max_num否最大数据量限制(默认1024)示例配置：await store.execute TEXT类型列进行压缩存储：await store.execute( "CREATE TABLE IF NOT EXISTS test3 (time integer not null, content 本文详细介绍了向量数据库的核心特性、开发接口和高级功能，为开发者提供了全面的技术指南。随着大模型和生成式AI的普及，向量数据库的重要性将进一步提升。
41610编辑于 2025-07-06- 来自专栏IT创事记
创新数据底座：智能制造的“圣杯”
进行仿真计算需要处理大量的实时数据，对系统的计算和数据吞吐能力都有极高的要求。既有的数据基础设施很难满足以汽车研发为代表的新增需求，创新的数据底座成为智能制造时代被寄予厚望的“圣杯”。 仿真平台只是创新数据底座的冰山一角。 与欧美发达国家相比，我国智能制造还有相当大的发展空间。当前90%的制造业企业配有自动生产线，但仅有40%实现数字化管理，5%打通工厂数据，1%使用智能化技术。 华为构建的创新数据基础设施，将成为国内制造企业数字化转型坚实的数据底座，其示范效应影响深远。 华为存储大道不孤 基于2020年Gartner Market share的数据，华为以11.9%的占有率位居全球存储市场TOP3，在中国区存储市场连续26个季度排名第一，并以52%的份额占据国内全闪存市场半壁江山
57620编辑于 2022-08-30 - 来自专栏听雨堂
测试数据——猜想大验证（3）
有数据，不妨测试一下，非常有趣： 1.各个信用等级的逾期率 其他的都比较符合预期，但A的偏高，我也很纳闷，把数据调出来，从高到低排是这样的： 借的量巨大，一旦逾期，在整个逾期率的计算中必然拖累整体。 看来数据没啥毛病。将来对选择标的进行模拟时，如果加上金额限制，同样没啥问题。如限制借款上限为6000，则逾期率就降低很多： 2.性别，女人比男人靠谱 3.借期，6月和12月是主体，但6月明显逾期率低。
1.3K100发布于 2018-01-23 云原生湖仓一体演进：大模型多模态数据底座的重构路径
专家背书： 徐潇 | 腾讯云数据湖技术专家，Apache Gravitino PMC 一、 破除AI场景数据读写与管理瓶颈 在AI与大模型时代，企业传统数据架构在对接机器学习与模型训练时面临严重的业务瓶颈与计算损耗 该方案通过底层表格式的革新，实现多模态数据的集中治理： 引入Iceberg底座： 兼容现有Lakehouse架构，提供高拓展性的表格式与完善的开源生态，支持底层原始数据与向量表示的统一存储。 实现数据页独立编码： 去除复杂的行组分层，将数据按列直接拆分为数据页（Data Pages），每个数据页实现独立编码与管理，将元数据、索引与数据集中存放，实现高并发并行处理。 LanceDB & DeepLake 探索： 验证了作为嵌入式向量数据库（Embedded Vector DB）和基础模型数据湖（Foundational Model Datalake）的有效性，无缝衔接云端对象存储与大模型训练 五、 引领湖仓架构向大模型底座演进 腾讯云通过深度参与和主导开源社区（如 Apache Gravitino PMC 席位），确立了在云原生湖仓一体向大模型数据底座演进过程中的技术确定性。
31210编辑于 2026-04-27大数据平台数据底座能力构建技术指南
技术解析 核心价值与典型场景 大数据平台的数据底座能力，指的是构建企业级数据仓库和数据资产管理的能力。这一能力的核心价值在于： 性能提升：与传统数仓/大数据解决方案相比，性能提升10~100倍。 典型场景包括企业级数据仓库构建、数据资产治理和可视化数据分析。 3大关键挑战 性能瓶颈：在大规模数据处理时，如何保持高性能和响应速度。 安全风险：数据资产的安全性和隐私保护。 操作示例： 通过WeData平台对数据进行规范化生产，确保数据规范性、完整性、及时性。 利用腾讯云的安全服务保障数据安全。 3. 结论 大数据平台的数据底座能力是企业数字化转型的关键。腾讯云提供的WeData、COS和BI工具等产品，能够帮助企业在性能、成本和数据治理方面取得显著优势。 通过上述操作指南和增强方案的对比，企业可以根据自身需求选择合适的技术方案，实现数据底座能力的构建和优化。
65210编辑于 2025-07-28部署医疗大模型与全栈云底座，重塑医院诊疗效率与数据安全
跨院区协同缺乏统一底座，且医疗数据作为高价值目标，正面临DDoS攻击和勒索病毒加密的严峻安全威胁。 引入混元医学大模型与全栈信创云底座 为突破上述瓶颈，腾讯构建了以底层算力与大模型为核心的医疗数字化矩阵，提供一体化解决方案： 智慧服务（混元大模型驱动）： 部署7B/33B私有化医学大模型。 结合定制化医疗数字人，支持全天候交互、3D可视化及科普短视频快速生成。 智慧医疗（云PACS与AI辅诊）： 构建跨院区“云+AI”数智影像平台，支持多模态医学影像接入及无损DICOM原图云端调阅。 利用Tencent Micision引擎与物联网（IoT）集成，打造支持12K高分辨率及即时光迹追踪的3D可视化运营管理大屏。 头部三甲医院数智化升级业务实践 上海交通大学医学院附属瑞金医院（临床模型重构）： 作为国内Top5医院，组建数字医学创新中心，建成33B医学垂类大模型底座。
22710编辑于 2026-05-30- 来自专栏技术翻译
大数据Python：3大数据分析工具
pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 大约一秒后它应该回复： [6844 rows x 4 columns] In [3] 15 +000... 2 2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000... 3 admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) --------+----+----------+--------------------+ | _c0| _c1| _c2| _c3| 原文标题《Big Data Python: 3 Big Data Analytics Tools》 作者：Bill Ward 译者：February 不代表云加社区观点，更多详情请查看原文链接
5.3K20发布于 2018-12-13 - 来自专栏量子位
火山引擎给大模型造大底座！MiniMax、智谱AI等已登陆
不仅为大模型玩家提供训练、推理、评测、精调等功能与服务，后续还提供运营、应用插件等工具，进一步支撑大模型生态。 总之，就是要为大模型，打造一个超强底座。 而透过火山方舟，火山引擎如何看待大模型趋势？ 对于大部分行业用户来说，通用大模型只是基础能力，想要使用更优质的大模型服务可能都需要基于自家数据进行持续训练或精调。 火山方舟能提供极简精调流程，只需两步即可一键精调：选择基础模型→上传标注数据集。 吴迪表示，在大模型时代，信任问题至关重要。 大模型提供方不希望自己辛苦训练出的模型被人拷贝走，这属于重要知识产权；下游客户不希望自己的数据在推理和精调过程中不被泄露，敏感数据只有自己可见。 以及底层硬件厂商，同样也迫切需要大模型底座。 NVIDIA开发与技术部亚太区总经理李曦鹏表示，英伟达开发每一款新产品，都是以workload来驱动，所有开发都是要解决真实存在的问题。 当时GPT-3才刚刚问世，大模型趋势远没有到来，英伟达是做了大量前瞻性的研究。而怎么做出这种前瞻性的探索，就是要从实际应用的基础结构中去发现问题。
2.8K20编辑于 2023-08-05 本体论驱动的AI数据底座实践
背景 问题不在模型，而在数据。 在实际的大模型应用中，我逐渐发现模型能力的上限，往往取决于数据的质量与结构，而不完全是模型本身。 如果直接接入大模型，会导致 RAG 召回不稳定、上下文噪声高、幻觉严重。 因此，这个项目的核心目标，不只是做一个问答系统，更是要构建一套面向大模型的数据治理与数据供给体系。 （2）关系约束 例如： 空调机组 contains 压缩机 温度 affects 制冷效果 统一关系类型 + 方向性 （3）减少幻觉 通过规则约束只允许13种关系，禁止过度推理，强制语义一致。 实际最后构建一套面向大模型的数据治理与数据供给体系。 目标是让数据可理解、让数据可复用、让数据可被AI稳定使用。 在AI时代数据不再只是被存储和分析，而是要被模型消费。 而数据治理，也从服务给人看的BI，转向了服务大模型与智能系统 这也是我在这个项目中最核心的收获。
15810编辑于 2026-07-02构建普惠金融数智底座：AI大模型与数据湖驱动业务量化提效
数据底层架构臃肿： 随着多模态数据（文本、图像、行为数据）爆发，传统大数据组件面临计算资源调度慢、系统维护难度大、数据加工及查询时效低下的痛点。 二、 部署“云+智能”全景架构与多模态处理引擎 为打破上述瓶颈，腾讯云通过“AI、大数据、云基础设施”三大核心技术协同，为金融机构提供了一套从底层算力到上层Agent（智能体）的完整技术栈： 构建“湖仓一体 ，数据加工时效由近1小时大幅缩减至5分钟；明细数据查询效率提升 4-7倍，聚合查询效率提升 3-6倍。 某金融科技公司（全业务场景融合）： 利用预训练金融数据并精调公司业务数据，打造金融风控大模型与智能Agent（如百事通风险智能顾问）。 金融机构选择腾讯云的核心逻辑，在于其实现了从底层硬件到上层智能应用的高确定性与技术前瞻性： 彻底的自主可控根基（一云多芯）： 构筑了全面适配国产芯片（鲲鹏、海光、飞腾、龙芯及信创ARM/x86/MIPS）的云基础设施底座
30020编辑于 2026-04-21- 来自专栏鹅厂网事
星脉高性能计算网络：为AI大模型构筑网络底座
前几天横空出世的AI爆款产品ChatGPT，可以聊天、写代码、解答难题、写小说，其技术底座正是基于微调后的GPT3.5大模型，参数量多达1750亿个。 而在金榜题名的背后，星脉超算网络为腾讯万亿大模型构筑了高性能网络底座。 因此要充分发挥GPU计算资源的强大算力，必须构建一个全新的高性能网络底座，用高速网络的大带宽来助推整个集群计算的高效率。 图8 GPT3模型训练性能 上图是对GPT3模型的实测性能数据，主要通信模式是AllReduce。 星脉超算网络作为腾讯大规模训练集群的重要基石，会持续在超带宽、异构网络通信、通信库定制加速、智能监控等技术上不断创新，为AI大模型训练构筑可靠的高性能网络底座。
6.4K21编辑于 2022-12-16 - 来自专栏IT创事记
源1.0的“大”时代：算法底座变革激活智算新生态
大数据蹲，大数据蹲完大算力蹲；大算力蹲，大算力蹲完大模型蹲…… 一场席卷整个业界的大型“萝卜蹲”游戏已持续多年，迄今仍意犹未尽。 2020年，OpenAI的NLP大模型GPT-3达成千亿级参数规模，除展示能写会算的才艺外，其在小样本和零样本学习领域表现出色，让人们看到了大模型应对碎片化复杂场景的潜力。 GPT-3的示范效应引发围绕大模型的超级竞赛，千亿级才起步，万亿级不是梦。 在参数量和数据集上，“源1.0”拥有比较明显的优势：其参数量超过GPT-3的幅度高达40%；数据集方面，“源1.0”爬取2017～2021年的网页数据、公开中文语料库、中文百科及电子书等，经过清洗及处理 ，最终获得5000GB高质量数据集，是GPT-3的近10倍。
65020编辑于 2022-08-30 - 来自专栏数据是生产力
别扯数据化转型了，先夯实数据底座吧
2019-2021 人人都提数据中台，张口就说业务数据化、数据业务化，数据驱动业务，甚至数据重塑业务；如今大家又与时俱进开始侃侃而谈数据化转型。 在我们讨论数据化转型、数据中台、数据云时候都离不开一个稳定可持续迭代的数据底座。这里数据底座包括离线数仓、实时数仓、数据湖。数仓（包括离线数仓、实时数仓、数据湖）就是这个数据底座。 数据使用方主要诉求是能不能快速找到、找到怎么用、有哪些数据，在使用数据时，主要存在三大类问题找不到，不知道数据有没有、在哪里。 主数据管理：通过主数据打通各业务链条，统一数据语言，统一数据标准，实现数据共享。 最后 在夯实企业数据底座过程，需要从道角度出发，这是决定我们做事情思考高度与宽度；也需要从术上明确落地实施路径。也就是，道以生术，术为道生。
3.5K30编辑于 2022-10-28 - 来自专栏数据猿
AI存储进入PBEB时代，HDD为何成为数据底座？
“西部数据的策略：从11碟HDD出发，重塑AI存储底座。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 让我们来试想这样一个场景：凌晨3点，某大模型云服务平台的日志系统依然在高速写入。 1.数据底座：更优TCO+长期信赖 在AI驱动的数据中心架构中，HDD是不可替代的底座。因为它能带来规模化成本效益。 这是对客户的长期关系战略——构建“存储信赖路径”，帮助客户把其数据底座变成护城河。 预计到2030年，该市场将突破3万亿，成为AI、工业互联网、视频流平台等数据密集型行业的底层依托。 这不是一个线性增长市场，而是一个“被AI放大的广阔空间”。 每一个多模态模型的推理调用、每一个Agent系统的上下文记录，每一次大语言模型的“记忆保存”，都是对存储底座的“微小索取”。
30510编辑于 2026-01-27 - 来自专栏数据科学与人工智能
3月20日数据动态早报 | 大健康，大数据
数据动态早报，让您了解数据新变化、新创造和新价值。 一、通信行业数据动态 1 5G网络一旦正式商用，除了会使通信业进入新一轮发展期外，还将带动多个规模万亿级别的新兴产业。 多个市场机构预测，车联网、大数据、云计算、智能家居、无人机等典型的物联网细分行业，在技术和应用层面上已相当成熟，但现有4G网络的通讯能力大大限制了上述产业的发展。 【腾讯科技】 二、电子商务数据动态 1 所谓新零售就是个性化地提供服务，线上、线下形式不重要，本质是从传统的品牌、商品、通路、营销等大规模、工业化和大众化转向个性化定制服务。 【南方都市报】 三、互金行业数据动态 1 宜人贷发布金融科技能力共享平台，将向行业内其他机构输出“数据获取”“反欺诈”“精准获客”三大能力，解决目前普遍存在的投资人信用意识薄弱、权威信用评级缺失和团伙欺诈等问题 【人民日报】 四、医疗健康数据动态 1 中国数亿人群日常工作繁忙，节奏极快，身体或多或少处于亚健康状态，存在强大的养生刚需。【大公网】
84370发布于 2018-02-28 企业落地 ChatBI，如何构建可信可靠的数据底座？
在企业 ChatBI 落地过程中，数据底座的技术路线选择直接决定了数据可信度、维护成本和业务响应速度。 传统宽表架构在数据口径一致性、维护成本和灵活性上已难以支撑企业级 ChatBI 的规模化应用，而基于 NoETL 明细语义层的方案正成为新一代数据底座的主流选择。 NoETL 明细语义层——ChatBI 数据底座的核心基于明细层数据模型进行语义抽象，覆盖完整分析场景：明细语义层直接对接企业数仓 DWD 层的明细模型，沉淀所有明细级语义，支持从宏观汇总到明细下钻的全场景问数需求 最后，为确保数据安全与合规，NoETL 明细语义层可支持行级和列级的数据权限，确保用户仅能访问其权限范围内的数据，如客户经理仅能看到所负责客户的销售数据。 Q3: 语义层方案是否支持跨表分析？支持。基于明细语义层的方案突破分析维度和数据粒度固化，支持任意维度和指标的灵活组合，实现跨表动态查询。相比宽表预聚合方案，语义层在分析灵活性上具有明显优势。
29510编辑于 2026-01-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号