- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI工程落地
大语言模型--开源数据集
Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具 搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset 考验模型的推理能力。根据数据集大小又分为：winogrande_debiased、winogrande_l、winogrande_m、winogrande_s、winogrande_xl。 是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力。 ：openai/openai_humaneval · Datasets at Hugging Face 语言：English 介绍：OpenAI发布的测试大模型编程能力的数据集，编程问题是用Python
1.9K20编辑于 2024-09-18 - 来自专栏数据分析师小熊
数据分析八大模型：OGSM模型
上一篇分享了经营分析的基本思路，很多小伙伴习惯性的问：那做经营分析有没有什么模型呢?有的，可以参考OGSM模型，今天跟大家简单分享一下。 一、OGSM模型是什么？ 此时，利用OGSM模型进行分解如下图： 当然，OGSM不止是简单的分解，还有运作流程。 二、OGSM如何运作？ 经营分析的运作，都是自上而下，OGSM模型的运作也是如此。 OGSM模型中，把企业发展目标O至于更高一层，这样便于大家从各自一亩三分地里跳出来，站在全局视角看经营目标。毕竟对于互联网公司，融资上市才是终极目标，过程中挣钱亏钱都是小事。 OGSM模型中，采用O（定性目的）G（定量目标）分离的方式，一定程度上解决了这个问题。比如O定为：2022年度成为行业销量第一。那么如果面临全行业下降，就能通过行业数据，合理、合法、不扯皮地调整目标。 不过作为做数据分析的小伙伴，我们自己知道这些事就好了。毕竟找工作的时候，被人问到“你会什么模型呀”多说一个总是好的，哈哈。
1.9K20编辑于 2022-01-15 - 来自专栏datartisan
三大数据模型：星型模型、雪花模型、星座模型
在数据仓库的建设过程中，根据事实表与维表的关系，经常将数据模型分为星型模型、雪花模型及星座模型，那么，这几种数据模型有什么区别呢？在前期规划设计时，又应该选择星型模型，雪花模型还是星座模型呢？ 星型模型是最简单最常用的模型。星型模型本质是一张大表，相比于其他数据模型更合适于大数据处理。其他模型可以通过一定的转换，变为星型模型。 星型模型的缺点是存在一定程度的数据冗余。 星座模型 星座模型也是星型模型的扩展。区别是星座模型中存在多张事实表，不同事实表之间共享维表信息，常用于数据关系更复杂的场景。其经常被称为星系模型。 对比 三种数据模型特点对比如下： 属性 星型模型（星座模型） 雪花模型 事实表 1张或多张 1张或多张 维表 一级维表 多层级维表 数据总量 多 少 数据冗余度 高 低 可读性 高 低 表个数 少 多 表宽度 宽 窄 查询逻辑 简单 复杂 查询性能 高 低 扩展性 差 好 总结 通过上面的对比分析，可以发现数据仓库更适合使用星型模型来构建底层数据 hive 表，通过数据冗余来减少查询次数以提高查询效率
19.4K21编辑于 2022-08-22 - 来自专栏深度学习与python
大数据在大模型趋势下的“新姿态”：大模型与企业数据充分协同
作者 | 鲁冬雪 随着大数据、人工智能和云计算等技术的不断发展，大模型成为了企业数据体系中不可或缺的一部分。大模型趋势下，企业数据体系面临着新的挑战和机遇。 ”等行业背景、“大模型时代的数据处理新需求及传统数据架构的桎梏”、“大模型时代的企业数据处理发展趋势”、“企业数据架构演变的前瞻展望”四个方面展开了分享，输出了众多精彩观点。 过去半年大模型的飞速发展给行业非常大的震撼，数巅科技近期在大模型上也做了一些事情，探索怎么能让大模型跟企业数据充分的协同起来，这样能够真正释放大模型的潜力，能够释放大数据的价值。 数巅科技却不是这样认为的——大模型不能取代数据计算存储体系的作用，其实大模型是需要跟企业的数据做深度协同才能够真正地做出一个好的决策。 这就意味着，在企业部署大模型之后，构建可以自我演进的大模型框架是一个关键课题，自我迭代的大模型应用框架可以帮助企业根据自己的数据体系来构建大模型应用，让企业数据与大模型充分协同后发挥出最大价值。
2.8K40编辑于 2023-08-09 - 来自专栏数据分析师小熊
数据分析八大模型：详解PEST模型
今天介绍一个行业分析的业务模型：PEST模型。 即使不是专业做数据分析的人，也能感受到：政策、经济、社会、技术会影响到行业发展。问题是在，怎么把这四个因素，量化成可分析的指标呢？ 有了这个设定，就可以分头找数据了。 用户数量可以从国家统计局获得，用户喜好，可以通过市场调查抽样获得，或者通过天猫/京东/抖音/快手等平台发布的平台用户画像数据来获得。 因此，PEST的分析，不需要每日/每周的追数据。本身指标变化就不是很大，采集数据难度又很高。 一般是在月度复盘的时候，把变化的苗头提示出来，在季度复盘的时候，如果PEST某方面放生重大变化，再单独列数据进行分析。这样既能满足需求，又不增加很大工作量。
2.5K00编辑于 2021-12-08 - 来自专栏数据分析师小熊
数据分析八大模型：同期群模型
今天继续来谈数据分析八大模型系列。今天分享的，是一个原理很简单，但是应用很广泛的模型：同期群模型。在商品分析、用户分析、渠道分析上，都用得着哦。 一、同期群的原理 同期群分析原理很简单：种豆子。 二、商品同期群：商品LTV模型 商品分析中的同期群模型，也被称为商品LTV模型。 同时，基于同期群数据，可以拟合出预计留存用户数量，就能为运营筹划服务用户资源，提供数据支持（如下图）。 常见的情况，如： 理想状态：用户每个月按固定金额，比例付钱（月租型业务） 前低后高：越忠诚的用户，买得越多，付费越高（粉丝型业务） 前高后低：初期吸引用户大量付费，后边不管了（收割型业务） 对应的数据， 单靠同期群解释不了，需要其他分析模型来解释。
1.1K71编辑于 2022-02-09 - 来自专栏AI SPPECH
大模型与数据隐私保护_03
数据隐私保护已成为大模型发展的关键瓶颈和社会关注焦点。2023年，全球因AI数据隐私问题引发的诉讼增长了187%，68%的企业因隐私顾虑推迟或放弃了大模型部署计划2。 本文系统探讨大模型时代的数据隐私风险，从技术原理、法律合规到实践应用多个维度，构建大模型全生命周期的隐私保护框架。 目录 概念解析 数据隐私风险 隐私保护技术 实践案例分析 代码演示 法律法规框架 未来趋势 结论 参考文献 概念解析 大模型数据隐私定义 大模型数据隐私特指在大语言模型的训练、微调、推理和维护全生命周期中 更新数据泄露、模型版本管理不当 中 隐私保护技术分类 大模型隐私保护技术可分为三大类： 数据预处理技术 数据匿名化：移除或替换个人标识符 数据脱敏：通过技术手段隐藏敏感信息 数据扰动：添加噪声使敏感信息不可识别 本文系统分析了大模型全生命周期中的隐私风险，从训练数据收集到模型部署应用，全面梳理了数据泄露、模型记忆、推理攻击等核心威胁。
1K10编辑于 2025-11-12 - 来自专栏AI技术探索和应用
常见的大模型评测数据集
开源大模型评测排行榜 https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard 其数据是由其后端lm-evaluation-harness CMMLU 是一个包含了 67 个主题的中文评测数据集，涉及自然科学、社会科学、工程、人文、以及常识等，有效地评估了大模型在中文知识储备和语言理解上的能力。 SuperCLUE https://github.com/CLUEbenchmark/SuperCLUE SuperCLUE是一个综合性大模型评测基准，本次评测主要聚焦于大模型的四个能力象限，包括语言理解与生成 GAOKAO-Bench https://github.com/OpenLMLab/GAOKAO-Bench Gaokao 是一个中国高考题目的数据集，旨在直观且高效地测评大模型语言理解能力、逻辑推理能力的测评框架 同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果
11.3K12编辑于 2024-03-13 - 来自专栏前端必修课
数据库接入大模型实战
一、数据准备与导入 借助 ChatGPT，将 Excel 数据快速转换为 SQL 语句，实现高效导入数据库。SQL 语句不再赘述，以下为效果截图，直观感受 AI 的强大能力。 四、系统提示词配置 回到聊天界面（确保所选模型支持函数调用，模型名称后有小扳手图标），选择刚配置的 Postgres MCP 服务器。 接下来，编辑系统提示词。 先将数据库表结构信息提供给 AI。 注意需选择支持工具调用的模型（模型名称后有小扳手图标）。 再问“年龄最大的学生是谁”，同样查询成功。 进一步测试复杂问题，如“哪些学生选修了数学课，分数最高前三名”。 通过 MCP server 对接数据库，在结构化数据检索方面，效果远超普通知识库。 六、总结 除了上述优化，还可以利用支持超长上下文的模型，将资料直接拖入对话框。 本文到此结束，感谢阅读，下一篇将探讨超长上下文模型的应用。
1.3K10编辑于 2025-05-04 - 来自专栏数据分析师小熊
数据分析八大模型：人货场模型
之前分享了销售分析的基本做法，今天来分享一个销售分析最常用的模型：人货场模型。这是来源于传统零售业的经典分析模型，在电商环境里其实也能用。大家一起来看一下。 传送门：一文看懂：销售数据分析怎么做？ 因此人货场模型被非常广泛地用于诊断销售情况。具体操作时，根据销售形式的不同（实体门店/线上店铺/APP站内转化/电话销售……），人货场指标会有区别。 是否因XX地区实体店不能正常运作，导致销量不佳 是否因XX渠道流量出问题，导致线上销售不佳 五、如何综合利用“人货场”进行分析 在综合利用人货场进行诊断的时候，需要按照从大到小，逐级排查的原则，播洋葱一样 比如发现本月销量下降，可以先从人货场三大因素中，每一个挑选出一个最优代表性的进行分解： 人：客户等级、销售等级 货：商品大类 场：大区 然后先看：哪一块发生的问题更严重？ 六、模型不足之处 人货场模型产生于传统零售业，而传统零售业里，“场”才是最主要因素。占据了有利旺铺位置，就能有源源不断的客流。 但互联网消费不是这样，促销活动、明星带货等效果更明显。
1.9K20编辑于 2021-12-22 - 来自专栏数据分析师小熊
数据分析八大模型：详解RFM模型
今天跟大家分享的是一个经常被提及，但是价值被严重低估的模型：RFM模型。 一、RFM的基本思路 RFM模型由三个基础指标组成： R：最近一次消费至今的时间 F：一定时间内重复消费频率 M：一定时间内累计消费金额 RFM模型里，三个变量的含义是很具体的： M：消费越多，用户价值越高 分好组以后，可以打开数据透视表，看一下每组的消费占比。 哇！ 可是，如果我们发现： A用户：趁大促销，囤了1000元洗发水、沐浴露、护发素、纸巾 B用户：趁大促销，买了个1000元的空调 那即使RFM分类一致，我们也知道，A与B用户是完全不同的两类人，应该采用2类激活消费的策略 因此，RFM模型可以用，但是要结合用户消费品类，做细化思考哦。 作者：小熊妹。数据界新人，喜欢数据分析、数据挖掘。
13.3K36编辑于 2022-01-23 - 来自专栏小洁叫你mysql
数据采集助力AI大模型训练
高质量的数据是训练强大AI模型的核心驱动力，无论是自然语言处理、计算机视觉还是推荐系统，数据的规模、多样性和准确性直接决定了模型的性能和泛化能力。 通过专业的代理IP服务配合高效的数据采集工具，能够为AI大模型训练提供稳定、可靠且合规的数据支持。 无论是数据采集新手还是资深开发者，都能快速上手，高效获取所需数据。接下来，我们将通过两个实际案例，分别体验亮数据的抓取浏览器和AI训练数据集，看看它们如何简化数据采集流程，助力AI模型训练。 AI训练数据 在AI模型训练过程中，数据采集往往是最耗时耗力的环节。 所有数据都经过专业的清洗和结构化处理，确保可直接用于模型训练，大幅提升AI项目的开发效率。 接下来我们一起选购AI数据集。
65810编辑于 2025-04-02 - 来自专栏AI SPPECH
大模型与数据隐私保护_01
当企业和组织部署大模型时，他们不可避免地需要处理大量敏感数据，包括用户个人信息、商业机密、医疗记录等。如何在充分发挥大模型价值的同时，有效保护数据隐私，已成为业界关注的焦点。 1.2 大模型对数据隐私的影响 大模型的出现和广泛应用，对数据隐私产生了深远的影响： 数据收集规模扩大：大模型需要海量数据进行训练，这导致数据收集的规模空前扩大，涉及的个人信息和敏感数据也越来越多。 1.3 当前大模型隐私保护的主要挑战 当前，大模型隐私保护面临着诸多挑战： 技术挑战：如何在保证大模型性能的同时，有效保护数据隐私，是一个技术难题。 大模型数据处理的关键环节与隐私风险 2.1 数据收集环节 数据收集是大模型开发的第一步，也是隐私风险的源头之一。 法规完善促进合规发展：随着法规的不断完善，企业将更加重视大模型的数据隐私保护，合规将成为大模型开发和应用的基本要求。
65210编辑于 2025-11-13 - 来自专栏AI SPPECH
大模型与数据隐私保护_02
然而，大模型的训练和应用离不开海量数据的支撑，这也引发了日益严峻的数据隐私保护问题。 数据作为大模型的"燃料"，其质量和数量直接决定了模型的性能。 本文将深入探讨大模型与数据隐私保护的关系，分析大模型应用中面临的数据隐私风险，介绍主流的数据隐私保护技术，并探讨未来的发展趋势和应对策略，为企业和个人在大模型时代的数据隐私保护提供参考。 概念解析 大模型的数据需求 大模型，尤其是基于深度学习的大语言模型，需要海量的数据进行训练和优化。 大模型与数据隐私的矛盾 大模型的发展与数据隐私保护之间存在着一定的矛盾： 数据需求与隐私保护的矛盾：大模型需要大量数据进行训练和优化，而数据收集和使用可能侵犯个人隐私 模型性能与隐私保护的矛盾：增强隐私保护措施 ： 各国数据隐私法规的趋同和协调 跨境数据流动规则的统一 国际数据隐私标准的制定 针对AI和大模型的专门法规出台 大模型监管框架完善： 对生成式AI和大模型实施分类分级监管 建立大模型备案和审核制度
65010编辑于 2025-11-13 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
毕竟，不同的场景有着不一样的任务要求、数据特征以及对模型功能的侧重点，只有充分考虑这些实际因素，才能让所选择的大模型发挥出最大的效能。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 这类模型往往是在海量且多元领域的数据集之上开展训练的，通过这种大规模的数据滋养，从而能够广泛汲取各类知识与技能，进而达成跨领域的强大泛化能力。通用大模型的参数量极为庞大，数量级处于百万到数十亿之间。 更为厉害的是，它能够驾驭多种数据类型，无论是文本这种富含语义信息的类型，图像这种视觉性的内容，还是声音这种带有听觉特征的类型，通用大模型都能游刃有余地处理，进而实现对不同模态数据跨模态的理解与生成。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。
76301编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 这种巨大的模型规模赋予了大模型更强的表达能力和预测能力，可以处理更为复杂的任务和数据。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device
1.5K30编辑于 2023-10-10 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 数据集发布：将高质量的数据集打包发布，供模型训练和评估使用。这个流程确保了数据集的可靠性和可用性，是构建高质量NLP模型的基础。2. : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
42132编辑于 2026-02-07 - 来自专栏学习
开源大模型与闭源大模型
一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 优点： 1.透明性和可验证性： 开源模型的代码和数据完全公开，任何人都可以检查模型的构建和训练过程，确保其行为的透明性。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.7K10编辑于 2024-10-09 - 来自专栏大数据成神之路
阿里大数据之路：数据模型篇大总结
，将金融业务划分为10大主题，并以设计面向金融仓库模型的核心为基础，企业基于此模型做适当调整和扩展就能快速落地实施。 至此，我们也得到了一个经验：在不太成熟、快速变化的业务面前，构建 ER 模型的风险非常大，不太适合去构建 ER 模型。 基于应用的数据组装 : 大宽表集市、横表转纵表、趋势指标串。 主要依据高内聚、低耦合的理念，在物理实现中，将业务关系大、源系统影响差异小的表进行整合： 将业务关系小、源系统影响差异大的表进行分而置之。 业务实体的结束时间分区：每天的分区存放当天结 束的数据，设计一个时间非常大的分区，比如 3000-12-31 ，存放截至当前未结束的数据。
2.6K22编辑于 2022-11-11 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 大模型的基本原理与特点 大模型的原理是基于深度学习，它利用大量的数据和计算资源来训练具有大量参数的神经网络模型。 通过不断地调整模型参数，使得模型能够在各种任务中取得最佳表现。通常说的大模型的“大”的特点体现在：参数数量庞大、训练数据量大、计算资源需求高等。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。 需要保证在训练大模型的同时保障数据安全，防止数据泄露和滥用。OpenAI在发布ChatGPT模型的时候用了数月来保证数据安全以及符合人类正常价值观标准。
21.2K29编辑于 2023-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号