- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 三种压缩模型的方法 模型压缩有多种技术。这里我将重点介绍三种广泛使用的类别。 因此，可以组合来自多个类别的技术，以实现最大的压缩效果！ 量化 虽然"量化"听起来像是一个复杂的术语，但它实际上是一个简单的概念。它包括降低模型参数的精度。 虽然这种方法在技术上更具挑战性，但它可以生成一个显著更小且表现良好的模型。例如，BitNet架构使用了一种三进制数据类型（即1.58位），匹配了原始Llama模型的性能！ 当然，PTQ和从零开始的QAT之间存在较大的技术鸿沟。一种介于两者之间的方法是量化感知微调，它包括在量化后对预训练模型进行额外的训练。 剪枝 剪枝的目的是删除对模型性能影响较小的组件。
59410编辑于 2024-09-24 - 来自专栏LiveEdu在线科技教育平台
2017编程趋势预测：10大技术大热，10大技术遇冷
下面所列出的10种技术，摘自infoworld.com的一位编辑Peter Wayner撰写的文章21 hot programming trends -- and 21 going cold。 SVG和HTML包含了一大堆标签，Web开发者使用起来往往更方便，现在还有了大的APIs，让你可以在画布对象上详细地绘画图形，通常还会提供视频卡来帮助你使用。 大热的是Node.js, 遇冷的是JavaEE, Ruby on Rails 服务器的世界一直在线程模型上长盛不衰，它让程序员在使用操作系统时可以有种种行为，如固执，低效或是放任。 Node连同JavaScript一起回调编程模型，它的代码的确运行得很快，比任何人预期的还快。它曾经可能是一种无实用价值的语言，只是被用于警告消息框。 10. 在线即时教育成趋势，四年传统教育不再是主流 以计算机为媒介的课程已经不是新玩意了，每个人正在享受着观看视频讲座的好处。
1.9K100发布于 2018-05-21 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升 需要设计对齐技术减少模型使用风险，并进一步提升模型性能 ➢ 工具使用：使用外部工具加强模型的弱点，拓展其能力范围
77910编辑于 2025-03-15 - 来自专栏媒矿工厂
视频技术10大进展@2020
媒矿工厂盘点了本年度视频技术的一些代表性技术，总结成以下10个方面。 1.新一代视频编码标准正式公布 ? 流媒体直播进入低延迟时代，端到端延迟下降到小秒级(~3s)，互联网上广泛使用的还是HLS和DASH，这两大阵营今年都对技术规范做了更新和发布：DASH IF: Guidelines on Low Latency 10/chrome-is-deploying-http3-and-ietf-quic.html 5.视频流媒体核心技术ABR算法研究平台及新Benchmark ? 此外，ITU-T今年也推出了新一代流媒体无参考视频质量评估模型P.1204，适用于H.264、H.265和VP9编码的UHD/4K、60fps、10bit视频序列，该模型可以部署在分发系统中的任何位置， 这方面，微软的Face X-ray技术，提出通用的检测不同模型生成的合成图的方法，核心是去学习换脸的边界，方法泛化性能优良；芝加哥大学的Fawkes技术，可为私人照片提供人眼不可见的像素级保护，避免用户被未知第三方人脸识别模型检测并追踪
1.8K40发布于 2021-01-11 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 1.6 当前的技术局限性 专业的领域，缺乏语料训练的情况下，GPT无法生成合适的回答。 可信度问题，缺乏答案的具体来源。 时效性问题，大模型底层训练数据是过往数据，再一次训练的成本很高。 最后，大语言模型作为一个被验证可行的方向，其“大”体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。 大语言模型能够发展，主要还是模型具备很好的并行扩展性，随着数据量和计算量的增加，主要挑战在工程和调优上。
2.5K45编辑于 2023-05-30 - 来自专栏Java技术
AI技术和大模型技术LLM
-CoderOilStation(程序员编程助手科技股份有限责任公司)AI技术和大模型技术LLM人工智能技术AI是美国高等院校哈佛大学的一种原型框架技术。AI技术西方和全球的部署研发和运用。 AI人工智能引领全球技术的更新和迭代监控不同的区域。相信知识不要服从于命运。美国麻省理工学院MIT会同步不同的领域模型驱动技术DDD(DomainDrivenDesign)。 领域模型驱动技术西方发达社会更注重不同想法和设计的美学应用。协会institute是定义技术标准的国际性知识传播组织。亚洲的工程师杰作Agent智能体应用于基本的搜索应用和广告商品推荐。 私有用户和公众的开放平台用户一小一大意味着平台的设计开始运行正常。大模型LLM(LargeLanguageModel)模型开放基础框架的模型搭建方式。很多的应用逻辑都是有编程范式和编程方法学。
29010编辑于 2026-03-08 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂 但是对于技术来说要看价值及发展，有可能现在很流行的技术半年或几年后就过了。当然也不是完全说固步自封，一切看自身条件(阶段、能力、意愿、时间等)、社会发展、价值等。
1.8K30编辑于 2023-09-12 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 所以最初在业务角度并不够重视，然而近期随着大模型技术的快速发展，我们也在逐步尝试将大模型在业务中落地，目前大模型在自然语言处理相关的业务里都取得了比传统模型更优的效果，下面详细介绍相关工作。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 Continue-Train为了进一步提升大模型在实际业务中的效果，同花顺与澜舟科技合作，引入孟子Mengzi 模型中的技术 ，针对大模型进行 Continue-Train 训练，让模型更适用于金融相关的 比如“用户问句相似问生成”这个任务，我们用到了知识蒸馏技术，将 10 层以上的大模型蒸馏成 3 层的小模型，性能上会有很大的提升，同时保证准确率不会有大幅下降的情况，GPT2-chinese-12 层单样本
3.3K20编辑于 2022-08-11 - 来自专栏京东技术
大模型技术及趋势总结
•对模型进行加固，提高其抗攻击能力。 •采用加密存储和差分隐私技术来保护数据隐私。 •增强模型的可解释性，以便更好地理解和控制模型行为。 之所以叫zero-shot，是因为我们直接用大模型做任务而不给其参考示例。这也被视为评测大模型能力的重要场景之一。 RAG（Retrieval-Augmented Generation） 什么是RAG RAG（Retrieval-Augmented Generation）技术是一种结合检索和生成的方法，用于提升大语言模型 随着技术的进步，RAG 及其变体在处理复杂的认知任务方面展现出了巨大的潜力。 多模态大模型是人工智能领域的重要进展，它们通过整合多种类型的数据，显著提升了模型的表现力和鲁棒性。这不仅使得人工智能系统能够更好地理解复杂的现实世界，也为未来的技术发展带来了无限可能。
1.1K10编辑于 2024-07-04 大模型技术之Python基础
Python，作为人工智能时代的通用语言，正是连接大模型技术与商业价值的那座桥梁。用 Python 基础打底，不仅能让你学得更稳，更能让你在变现之路上跑得更快。 一、 穿透技术黑盒，从“调包侠”进阶为“应用构建者”在当前的大模型应用层开发中，Python 占据着绝对统治地位。 三、 驾驭 AI 生态工具，构建不可替代的职场护城河大模型技术迭代极快，今天流行 LangChain，明天可能就有新的框架出现。 结语AI 时代，机会属于那些既能仰望星空懂技术，又能脚踏实地写代码的人。Python 不是大模型学习的障碍，而是助飞的翅膀。 与其在概念的海洋中漂浮，不如沉下心来，用 Python 基础打底，构建起坚实的技术底座。当你用一行行代码将大模型转化为解决实际问题的产品时，你会发现，变现不再是焦虑的等待，而是水到渠成的必然。
24110编辑于 2026-03-20- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 ：查找的最优提示，可能是次优的在小参数量模型中表现差（小参数模型如Bert，330M），上了10B的模型效果才开始可以持平序列标注等对推理和理解要求高的任务，prompt-tuning效果会变差P-tuning ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 与使用Adam对GPT-3 175B进行微调相比，LoRA可以将可训练参数数量减少10,000倍，GPU内存需求减少3倍。
3.3K00编辑于 2025-05-08 - 来自专栏啄木鸟软件测试
大模型测试：技术深度解析
与此同时，传统软件测试范式——基于明确输入/输出断言、覆盖路径与边界值的方法——在大模型面前频频失效。 这些案例揭示一个现实：大模型测试不是‘加个Prompt跑几轮’，而是一场融合认知科学、统计推断、对抗攻防与领域知识的系统工程。 一、为何传统测试方法在大模型面前失灵？ 根本原因在于大模型的三大非确定性特征： 1）输出不可重现性：相同Prompt在不同温度（temperature）、采样策略（top-p）或微调版本下，可能生成语义一致但结构迥异的回答，甚至逻辑矛盾； 二、大模型测试的四维技术框架 业界领先实践已形成可落地的四维测试体系： ✅ 1. 三、实战案例：某省级政务大模型的测试攻坚 该模型需支撑12345热线智能分派与政策解读。
28200编辑于 2026-06-15 - 来自专栏架构之巅
大模型相关技术-初识RAG
简单来讲就是让用户的问题先经过一个提前预置的专业知识库，先检索知识库，将知识库的响应提交给大模型，让大模型总结输出，或者直接就输出了，不经过大模型总结。 为什么需要RAG 大模型在没有答案的情况下提供幻象数据，也就是胡说八道。 当用户需要特定的当前响应时，提供过时或通用的信息，模型提供的最新信息为训练模型时的数据。 图片 向量(vector)是在大语言模型、知识库交互、计算过程中的重要指标。它可以将文本和知识表示为数学向量，实现文本相似度计算、知识库检索和推理等功能。 是的，整体的流程是和es类似，哪思考一个问题为 什么不用es，反而用这么复杂的模型来实现呢？ - 哔哩哔哩 (bilibili.com) 我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
82941编辑于 2024-04-28 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 无论技术有多么先进，输入的数据质量仍然至关重要。如果输入的数据是模糊、不准确或不完整的，那么模型输出的答案也可能同样如此。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10.
67610编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 这意味着我们仍然需要深入理解业务需求和技术挑战，以确定是否真的需要引入大模型来解决问题。在某些情况下，传统的机器学习算法或者规则引擎可能已经足够满足需求，而无需使用复杂的大模型。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10. 这些挑战要求我们架构上综合考虑技术、安全和运营等多方面因素，以推动大模型应用的落地。
1.3K10编辑于 2024-12-24 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (10) 工业化武装的巨龙 （下）
Mellanox掌握了两大黑科技：InfiniBand，RoCE。 实际上，这二者都是RDMA传输的载体。 以太网与Token Ring的一大差异，就是没有内建这种Credit机制，在传统的以太网中也无法避免这种数据包丢失。而以太网之上的网络层IP协议，也是个“尽力而为”的传输协议，也没有流控机制。 在大模型的计算中，还会涉及一个问题：存储。一个典型的场景是，海量图片数据保存在NVMe SSD中。有没有好的办法实现GPU高速访问NVMe SSD中的数据呢？ 请看下期。
65410编辑于 2023-11-20 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.7K10编辑于 2023-10-13 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 典型数据集：TNEWS：新闻文本分类，包含15个新闻类别IFLYTEK：应用描述分类，涵盖200+个应用领域技术要点：1. : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
75932编辑于 2026-02-07 - 来自专栏xiaosen
大模型Prompt-Tuning技术入门
4 Prompt-Tuning技术发展历程 Prompt-Tuning自GPT-3被提出以来，从传统的离散、连续的Prompt构建、走向面向超大规模模型的In-Context Learning、Instruction-tuning 一般10-100条）做指导. 因此我们总结人工设计方法的缺陷： 采用人工构建的方法成本高，需要与领域任务相关的先验知识； 人工设计的Pattern和Verbalizer不能保证获得最优解，训练不稳定，不同的PVP对结果产生的差异明显，方差大； ）方法为每一个输入文本假设一个固定前缀提示，该提示表由神经网络参数化，并在下游任务微调时进行更新，整个过程中预训练的大模型参数被冻结。 Prompt Tuning特点： 优点： 大模型的微调新范式 模型参数规模大了之后，可以将大模型参数固定，指定附加参数来适配下游任务，而且适配性能基本和全参数微调相当。
1.6K30编辑于 2024-06-05 - 来自专栏深度学习与python
Hugging Face 大语言模型优化技术
作者 | Sergio De Simone 译者 | 明知山 策划 | 丁晓昀 大语言模型的生产部署存在两个主要的挑战，一个是需要大量的参数，一个是需要处理非常长的用于表示上下文信息的输入序列 Hugging Face 基于他们提供大模型服务的经验分享了一些克服这些障碍的技术。 大语言模型需要大量的 VRAM 来加载，从几十 (bigcode/starcoder) 到数百 GB (Llama、Bloom、GPT3)。 在生产环境中部署大语言模型的第三项优化措施是选择正确的架构，让它们能够有效地处理长文本输入。 位置嵌入通过将每个标记的位置编码为数字表示来帮助语言大模型理解序列顺序。对于需要处理大型文本输入任务的大语言模型，应该使用 RoPE 和 ALiBi 等相对位置嵌入技术进行训练。
54910编辑于 2023-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号