- 综合排序
- 最热优先
- 最新优先
AI数据治理系统：给大模型喂干净饭的技术底座
这些坑，本可以靠一套AI数据治理系统躲过去。什么是AI数据治理？不是传统那套！传统数据治理管的是数据库表格——字段规范、主外键关系。 AI数据治理管的是非结构化数据的山海经：图片、视频、文本、语音，还有它们之间乱七八糟的关系。核心目标三个：让数据干净、让数据安全、让数据值钱。 三大技术支柱第一，数据质量"保鲜仪"AI对数据质量比处女座还挑剔。我们的系统植入了一套"数据体检"机制：自动清洗：上传图片模糊？自动剔除。文本乱码？实时拦截。标签矛盾？马上报警。 降风险：数据泄露、合规罚款、模型学歪，三大雷区全避开。省成本：标注成本降30%，存储成本降20%，返工成本几乎归零。提效率：数据准备周期从"周"变"小时"，模型迭代快3倍。 这套系统是给大模型配"营养师+质检员+保镖"，让它吃上干净饭、安全饭、营养饭。别等到模型上线翻车才想起数据治理。提前把数据管好，AI项目成功率能从30%提到70%以上。
39210编辑于 2025-11-24大模型真正的护城河：不是参数，是「会做研究」的数据底座
这些失效并非偶发的技术故障，而是根植于训练数据结构的深层问题——大模型缺乏对科研方法论体系的真正理解。 1.2问题根源诊断1.2.1非参数规模不足，而是数据底座缺失"科研方法论骨架"对上述失效模式的系统性分析指向一个反直觉的关键结论：大模型在科研辅助场景中的表现瓶颈，绝非源于参数规模的限制。 二、科研方法论的数据底座：构建"全学科科研方法论Scale"2.1真实科研的方法论本质2.1.1非信息搬运，而是跨学科、有规范、能落地的体系化知识理解科研方法论数据底座的价值，首先需要纠正一个普遍误解： 2.2高质量数据源的四大核心渠道构建覆盖全学科的科研方法论数据底座，必须突破泛互联网信息的局限，定向挖掘四类高质量专业数据源：2.2.1顶刊《作者指南》学术期刊的《作者指南》（AuthorGuidelines 3.1.2降低无效数据占比，提升训练效率从模型训练的经济性角度，数据底座提供了精准优化训练数据构成的抓手。
27810编辑于 2026-03-31- 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
1K12编辑于 2021-12-06 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.5K100发布于 2018-04-11 - 来自专栏关于Java学习@宁在春
浅谈日常使用的 Docker 底层原理-三大底座
，它可以在两个端口之间建立虚拟通道，将数据从一个端口转发到另一个端口，同时支持很多网络协议，如常见的 TCP、UDP、HTTP、HTTPS等等。 它告诉 socat 要将传入的数据流连接到 /var/run/docker.sock 这个路径上。 4） & : 这个符号将命令放入后台运行. 开胃小菜结束了，下面的才是有意思的，但是我想通过上面两节小小案例的演示，大家对于 Docker 的客户端和服务端之间的交互应该了解了一些了吧~ 三、Docker 核心原理的三大底座 在容器进程启动之前重新挂载它的整个根目录 但是，你如果在容器里执行 top 指令，就会发现，它显示的信息居然是宿主机的 CPU 和内存数据，而不是当前容器的数据。 我在容器中执行 free 命令，展示的是我宿主机的相关信息。 ~ 参考文章 https://moelove.info/2021/11/17/一篇搞懂容器技术的基石-cgroup/#contents:cgroup-的核心文件—张晋涛 https://www.cnblogs.com
3.1K22编辑于 2023-10-16 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
6.3K20编辑于 2022-09-14 - 来自专栏凯哥讲故事系列
DataOps：数据中台的必备底座
前言 数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异，是建设数据中台的必备底座能力。 为什么需要DataOps DataOps的出现，从因为数字化转型进入了数据为核心的智能时代，为了满足企业对于数据管理，数据利用的三大战略趋势： 数据分析民主化/Democratization 上图是典型的数据价值链过程，而DataOps就是支撑着整个全生命周期的底座，成功的DataOps体系有四个特质：CAUTA。 全面/Universal 作为企业全域数据的底座，DataOps要全面的支持所有的场景和数据，如下图所示例，列示出了常用的30种数据源和40种目标数据。 ? 可以分解的更加细致： ? 典型DataOps平台架构 一个典型的DataOps平台的架构如下图[4]所示，包括八大组件功能： ?
8.9K37发布于 2020-07-09 HarmonyOS Next数据底座向量数据库介绍
背景今年HDC在展厅遇见了HarmonyOS 数据底座的架构师，介绍了基于数据底座实现端侧能力的智能小助手，听着很吸引人，HarmonyOS将端侧AI做到了系统层，给开发者创造了无限可能。 向量数据库概述向量数据库是一种支持存储、管理和检索向量数据的数据库系统，同时兼容传统的关系型数据处理能力。 从API version 18开始，向量数据库正式支持通过标准化接口实现数据持久化，为开发者提供了可靠的数据存储解决方案。 结果集采用惰性加载策略，只有在实际访问数据时才会从存储层加载，有效降低了内存消耗。向量数据表示floatvector是向量数据库的核心数据类型，用于表示高维向量数据。 本文详细介绍了向量数据库的核心特性、开发接口和高级功能，为开发者提供了全面的技术指南。随着大模型和生成式AI的普及，向量数据库的重要性将进一步提升。
41610编辑于 2025-07-06- 来自专栏IT创事记
创新数据底座：智能制造的“圣杯”
进行仿真计算需要处理大量的实时数据，对系统的计算和数据吞吐能力都有极高的要求。既有的数据基础设施很难满足以汽车研发为代表的新增需求，创新的数据底座成为智能制造时代被寄予厚望的“圣杯”。 仿真平台只是创新数据底座的冰山一角。 与欧美发达国家相比，我国智能制造还有相当大的发展空间。当前90%的制造业企业配有自动生产线，但仅有40%实现数字化管理，5%打通工厂数据，1%使用智能化技术。 华为构建的创新数据基础设施，将成为国内制造企业数字化转型坚实的数据底座，其示范效应影响深远。 存储产品的高歌猛进，为华为创新数据基础设施提供了充足的底气；与更多懂行业、懂业务、懂技术的合作伙伴携手同行，则是华为构建制造业等行业数据底座的生态保障。
57620编辑于 2022-08-30 云原生湖仓一体演进：大模型多模态数据底座的重构路径
专家背书： 徐潇 | 腾讯云数据湖技术专家，Apache Gravitino PMC 一、 破除AI场景数据读写与管理瓶颈 在AI与大模型时代，企业传统数据架构在对接机器学习与模型训练时面临严重的业务瓶颈与计算损耗 该方案通过底层表格式的革新，实现多模态数据的集中治理： 引入Iceberg底座： 兼容现有Lakehouse架构，提供高拓展性的表格式与完善的开源生态，支持底层原始数据与向量表示的统一存储。 实现数据页独立编码： 去除复杂的行组分层，将数据按列直接拆分为数据页（Data Pages），每个数据页实现独立编码与管理，将元数据、索引与数据集中存放，实现高并发并行处理。 LanceDB & DeepLake 探索： 验证了作为嵌入式向量数据库（Embedded Vector DB）和基础模型数据湖（Foundational Model Datalake）的有效性，无缝衔接云端对象存储与大模型训练 五、 引领湖仓架构向大模型底座演进 腾讯云通过深度参与和主导开源社区（如 Apache Gravitino PMC 席位），确立了在云原生湖仓一体向大模型数据底座演进过程中的技术确定性。
31210编辑于 2026-04-27- 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 如果数据+工具就可以解决问题的话，还要人做什么呢4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
75270发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
86070发布于 2018-04-20 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 10.
34020发布于 2018-08-13 大数据平台数据底座能力构建技术指南
摘要 本文旨在解析大数据平台的数据底座能力，探讨其核心价值、典型场景、关键挑战，并提供详细的操作指南。同时，对比分析通用方案与腾讯云方案的差异，并提供场景化案例以展示腾讯云产品的优势。 技术解析 核心价值与典型场景 大数据平台的数据底座能力，指的是构建企业级数据仓库和数据资产管理的能力。这一能力的核心价值在于： 性能提升：与传统数仓/大数据解决方案相比，性能提升10~100倍。 典型场景包括企业级数据仓库构建、数据资产治理和可视化数据分析。 3大关键挑战 性能瓶颈：在大规模数据处理时，如何保持高性能和响应速度。 安全风险：数据资产的安全性和隐私保护。 结论 大数据平台的数据底座能力是企业数字化转型的关键。腾讯云提供的WeData、COS和BI工具等产品，能够帮助企业在性能、成本和数据治理方面取得显著优势。 通过上述操作指南和增强方案的对比，企业可以根据自身需求选择合适的技术方案，实现数据底座能力的构建和优化。
65210编辑于 2025-07-28部署医疗大模型与全栈云底座，重塑医院诊疗效率与数据安全
跨院区协同缺乏统一底座，且医疗数据作为高价值目标，正面临DDoS攻击和勒索病毒加密的严峻安全威胁。 引入混元医学大模型与全栈信创云底座 为突破上述瓶颈，腾讯构建了以底层算力与大模型为核心的医疗数字化矩阵，提供一体化解决方案： 智慧服务（混元大模型驱动）： 部署7B/33B私有化医学大模型。 数字化基础设施（专有云与大数据）： 部署基于TCE的专有云平台及TDSQL分布式数据库，实现全面去IOE与信创国产化。 结合TBDS大数据计算存储平台及T-Sec终端安全管理系统，构筑事前检查到事后追溯的一体化数据安全中枢。 头部三甲医院数智化升级业务实践 上海交通大学医学院附属瑞金医院（临床模型重构）： 作为国内Top5医院，组建数字医学创新中心，建成33B医学垂类大模型底座。
22710编辑于 2026-05-30- 来自专栏量子位
火山引擎给大模型造大底座！MiniMax、智谱AI等已登陆
不仅为大模型玩家提供训练、推理、评测、精调等功能与服务，后续还提供运营、应用插件等工具，进一步支撑大模型生态。 总之，就是要为大模型，打造一个超强底座。 而透过火山方舟，火山引擎如何看待大模型趋势？ 对于大部分行业用户来说，通用大模型只是基础能力，想要使用更优质的大模型服务可能都需要基于自家数据进行持续训练或精调。 火山方舟能提供极简精调流程，只需两步即可一键精调：选择基础模型→上传标注数据集。 所以火山方舟同步推出了评测工具，支持用户基于自身数据、系统化地感知模型表现情况，并且给出详细的测评报告，为后续做决策提供数据基础。 吴迪表示，在大模型时代，信任问题至关重要。 大模型提供方不希望自己辛苦训练出的模型被人拷贝走，这属于重要知识产权；下游客户不希望自己的数据在推理和精调过程中不被泄露，敏感数据只有自己可见。 以及底层硬件厂商，同样也迫切需要大模型底座。 NVIDIA开发与技术部亚太区总经理李曦鹏表示，英伟达开发每一款新产品，都是以workload来驱动，所有开发都是要解决真实存在的问题。
2.8K20编辑于 2023-08-05 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
84560发布于 2018-04-19 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
4 只靠数据来说话(Listen(only)totheData) IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据+工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常不可信。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
71570发布于 2018-04-09 本体论驱动的AI数据底座实践
背景 问题不在模型，而在数据。 在实际的大模型应用中，我逐渐发现模型能力的上限，往往取决于数据的质量与结构，而不完全是模型本身。 如果直接接入大模型，会导致 RAG 召回不稳定、上下文噪声高、幻觉严重。 因此，这个项目的核心目标，不只是做一个问答系统，更是要构建一套面向大模型的数据治理与数据供给体系。 整体架构 整个系统可以抽象为一条 数据 → 知识 → 语义 → 应用 的链路。 核心设计一：本体论 = 数据标准体系 1. 本体的本质 在这个项目中，本体论是领域数据标准 + 元数据模型。 实际最后构建一套面向大模型的数据治理与数据供给体系。 目标是让数据可理解、让数据可复用、让数据可被AI稳定使用。 在AI时代数据不再只是被存储和分析，而是要被模型消费。 而数据治理，也从服务给人看的BI，转向了服务大模型与智能系统 这也是我在这个项目中最核心的收获。
15810编辑于 2026-07-02构建普惠金融数智底座：AI大模型与数据湖驱动业务量化提效
数据底层架构臃肿： 随着多模态数据（文本、图像、行为数据）爆发，传统大数据组件面临计算资源调度慢、系统维护难度大、数据加工及查询时效低下的痛点。 二、 部署“云+智能”全景架构与多模态处理引擎 为打破上述瓶颈，腾讯云通过“AI、大数据、云基础设施”三大核心技术协同，为金融机构提供了一套从底层算力到上层Agent（智能体）的完整技术栈： 构建“湖仓一体 部署多模态大模型矩阵（MaaS）： 提供基础混元大模型与金融行业大模型，结合 TI 平台矩阵（TI-One训练平台、TI-Matrix应用平台、TI-OCR、TI-DataTruth），实现从特征工程、 某金融科技公司（全业务场景融合）： 利用预训练金融数据并精调公司业务数据，打造金融风控大模型与智能Agent（如百事通风险智能顾问）。 金融机构选择腾讯云的核心逻辑，在于其实现了从底层硬件到上层智能应用的高确定性与技术前瞻性： 彻底的自主可控根基（一云多芯）： 构筑了全面适配国产芯片（鲲鹏、海光、飞腾、龙芯及信创ARM/x86/MIPS）的云基础设施底座
30020编辑于 2026-04-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号