- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习AI算法工程
大模型时代下智能文档处理核心技术大揭秘
一张弯曲的图像文档想要处理成一张看着平整清晰的图像，可以处理方式为：图像输入–>文档提取–>手指去除–>形变校正–>图像增强，整体架构如图： 我们一起看一下经过上述步骤处理的效果展示，可以看到图像变得又清晰又平整： 核心技术点 整体流程如下图： 核心技术点 版面分析与还原：版面分析与还原是指通过对文档图像进行分析，识别出其中的版面元素（如页眉、页脚、页码、标题等），并还原出原有的版面结构。 针对这些篡改内容也有一套完整的系统架构: 大模型时代思考 随着chatGpt和Gpt4的到来，大模型时代已悄悄走进我们的生活，看过GPT4发布会的朋友有没有被一个场景震惊到，主持人在笔记本上简单的画出了他对一个网站的需求 除此之外，GPT4还可以解释漫画： 以此来看，大模型识别中OCR模型的设计仍然很重要，同时也带来了一些机遇： 大模型仍有很多不足 要充分利用大模型特征表示和语言能力从而可以解决更多智能识别场景 不同任务的专用模型和学习算法仍大有可为 大模型时代已经不仅仅局限于文档对文档的识别，还可以做到对图像进行解释。文档分析与识别快速进步，但仍有很大研究空间，同时给了我们一些新方向，如：语义信息提取，跨模态的融合，面向应用的推理决策等。
84310编辑于 2023-11-22 构建可靠AI模型的7大核心技术
例如，飞机识别模型在训练数据集中能识别所有飞机图像，并在测试数据上表现优异，那么该模型应该能在任何数据集中识别飞机图片，即使之前未遇到过这些图像。 模型性能是否会下降？在什么情况下模型不再可行？当环境中的微小变化导致功能和准确性发生巨大变化时，模型就被认为是非弹性或“脆弱”的。脆弱性是软件工程中的已知概念，也适用于AI。 数据可靠性经验模型的质量仅取决于用于开发模型的训练和测试数据。如果对数据质量相对于真实世界的代表性没有信心，模型的输出可能无法在操作环境中可靠地提供准确输出。 当模型输出或预测与预期不同时，将数据分类用于分析和调查。常用于此类分析的数据类型包括事件发生时间（模型偏离需要多长时间）、退化数据（关于模型如何退化的信息）和复发事件数据（发生多次的错误）。 检查模型稳健性和准确性的频率应取决于模型的优先级和模型更新的频率。高风险、定期更新的模型最好每天检查（由人类验证输出）。
30100编辑于 2025-08-30- 来自专栏运维开发王义杰
AI: 判别模型与生成模型两大核心技术解析
判别模型和生成模型是机器学习中两大重要的模型类别，它们在数据处理和预测方面有不同的应用和特点。以下是对这两种模型的详细讲解。 判别模型 判别模型（Discriminative Models）主要用于分类任务，其核心思想是直接学习输入数据（特征）与标签（类别）之间的映射关系。 常见的生成模型包括朴素贝叶斯（Naive Bayes）、隐马尔可夫模型（HMM）、生成对抗网络（GAN）和变分自编码器（VAE）。 应用场景 判别模型： 常用于分类、回归、异常检测等任务。例如，图像分类、文本分类和信用卡欺诈检测。 生成模型： 常用于数据增强、图像生成、语音合成等任务。 总结 判别模型和生成模型各有优劣，选择合适的模型取决于具体的任务需求。判别模型在分类任务中表现优异，而生成模型在数据生成和理解数据结构方面具有优势。
1.1K10编辑于 2024-07-10 深度拆解大模型核心技术：从底层原理到开发实践
一、引言：为什么今天我们必须理解大模型的底层逻辑？ 尤其当下，大模型正在从「AI 产品应用阶段」进入「AI 系统能力建设阶段」，开发者不掌握底层逻辑，将很快被“懂系统 + 懂大模型”的工程团队所取代。 为什么非 AI 岗位的技术人员也要理解大模型？ 要解决这些问题，就必须掌握：大模型的核心技术结构 + 工程化开发路径。 下面我们从模型架构、训练范式、输入编码三个核心技术层出发，一同拆解一个现代大模型的内部构造。 1. Transformer：大模型的“神经引擎” 什么是 Transformer？ 核心技术：模态统一表示（Multimodal Embedding） 无论输入是图片、语音还是代码，最终都要转成向量，进入 Transformer 统一处理。
3.9K11编辑于 2025-06-27- 来自专栏nginx
大语言模型核心技术解析：从理论到实践的深度探索
大语言模型核心技术解析：从理论到实践的深度探索 引言：LLM如何重塑人工智能格局 2023-2024年，大语言模型以惊人的速度渗透到各行业。 这些现象背后是LLM技术的三大突破性进展： 规模效应：参数量从GPT-3的1750亿到GPT-4的1.8万亿，性能呈现非线性增长 涌现能力：当模型超过临界规模（约700亿参数）时，突然获得few-shot 第一章：Transformer架构深度解析 1.1 注意力机制的数学本质 现代大模型普遍采用改进版注意力机制，其核心公式可扩展为： \text{Attention}(Q,K,V) = \text{softmax ：Mamba等SSM模型在长序列任务中展现优势 训练方法：联合嵌入预测架构(JEPA)成为自监督学习新范式 硬件适配：光子计算芯片将推理能效提升100倍 安全合规：欧盟AI法案要求模型具备可解释性 开发者资源宝库 torch==2.2.1 transformers==4.40.0 vllm==0.3.2 学习路径： 初级：HuggingFace《Transformers课程》 中级：Stanford CS324《大语言模型基础
61810编辑于 2025-11-15 - 来自专栏AI大模型应用开发炼丹房
深度解析AI大模型架构→训练→推理核心技术全景图
最近看到很多人对MCP/RAG/Agent/Cache/Fine-tuning/Prompt/GraphRAG 都分不清楚，今天我将通过图文，为你讲解其核心技术与实践原理，希望对你们有所帮助。 一、大模型核心架构演进1.1 函数调用 & MCP（模型上下文协议）传统方案：预定义工具链导致灵活性差，错误传播风险高MCP突破：动态上下文感知路由（Context-Aware Routing MoE架构进化核心创新： 稀疏激活：每次推理仅激活2-4个专家（如Mixtral 8x7B）专家专业化：每个专家学习不同领域知识（代码/数学/语言）吞吐量提升：相同参数量下推理速度提升6倍二、大模型训练技术全景 RFT/Rejection Sampling复杂推理能力ps：这里顺便给大家分享一个大模型微调的实战导图，希望能帮助大家更好的学习，粉丝朋友自行领取：《大模型微调实战项目思维导图》2.2 蒸馏技术应用LLM + KV缓存优化复杂任务场景：Agent架构 + 多工具编排作者总结：未来通过MCP协议实现智能体工具动态编排，结合GraphRAG解决复杂知识推理，配合MoE架构提升推理效率，将会形成新一代大模型应用开发范式
2.3K14编辑于 2025-08-15 - 来自专栏AI大模型进阶笔记
AI大模型进阶系列(03) prompt 工程指南 | 实战核心技术有哪些？
模型参数配置完成后，开始向大模型输入内容。每条内容由role+content组成。 ，用于当前会话，比如让大模型扮演角色的要求定义，以及控制会话行为、风格、任务，让大模型输出具有稳定性和适应特定任务的案例。 assistant：是大模型回答返回的内容。 比如这个demo，大模型返回： 2.2 message实现多轮会话记忆 大模型会话请求调用是没有状态的，比如当前会话，最开头你告诉大模型你的名字，经过多次对话后，大模型依然记得你的名字，是因为背后的请求默认将 messages上下文拼接发送给大模型。
1K20编辑于 2025-04-11 - 来自专栏深度学习与python
大模型竞争突然升级！亚马逊 CEO 亲自监督、组建新的核心技术团队，集中优势资源打造“最具野心”的大语言模型
编译 | 凌敏、核子可乐 亚马逊“最具野心”的大语言模型，将会是什么样？ 大语言模型是 AI 工具中的底层技术，能够从巨大的训练数据集中学会生成与人类相似的响应结果。OpenAI、谷歌和 Meta 等企业都已建立起规模庞大、功能强劲的大语言模型，并在全球范围起掀起热潮。 “简单说一下，Prasad 将调任新岗位，负责领导一支中央小组并构建我们最具泛用性的大语言模型。 2 亚马逊入局“大模型之战” 根据 Insider 之前的报道，亚马逊正急于应对生成式 AI 的迅速崛起。 亚马逊的 AI 产品布局 在这场大模型竞赛中，亚马逊云科技已经交出过不少答卷。
36320编辑于 2023-08-10 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
75901编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏机器学习算法与理论
深度学习核心技术实战——图像分类模型
一、图像分类模型： 1.LeNet-5： 每一个卷积核都会形成一个特征图，3个通道则是每个通道是不同的卷积核，但是最后是将三通道的卷积值相加，最后变成一个通道，所以5564的卷积核，感知范围是5*5，最后出来是 ResNet：残差网络 shortcut 一定程度上解决了过深模型梯度发散导致无法训练的问题。 DenseNet 从第一层开始每层都作为后面各层的输入。
58210发布于 2018-08-02 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.7K10编辑于 2024-10-09 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.8K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.2K29编辑于 2023-11-22 揭秘DeepSeek-V3.2三大核心技术
揭秘DeepSeek-V3.2三大核心技术1. 为什么DeepSeek-V3.2是里程碑式的大模型？ DeepSeek-V3.2是一个里程碑式的大语言模型，其目标极具前瞻性：不仅要追赶当下的顶尖模型之间的性能差距，更重要的是要解决大模型领域的三个关键短板：处理长篇文本时效率低下、后期高级能力训练的计算投入不足 为应对这些挑战，DeepSeek-V3.2引入了三大核心技术突破。 大模型、AIGC、AI芯片和机器人等的产品、技术和应用实践的资料。 结论：开启高效、强大的开源AI新篇章DeepSeek-V3.2通过三大核心技术突破，为开源AI的发展树立了新的标杆。
59710编辑于 2025-12-06- 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 task_type: 指定任务类型，如'CAUSAL_LM'，以确保LoRA适应正确应用到模型的相应部分。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
95010编辑于 2024-08-13 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 人类对齐（Human Alignment） ➢ 将大语言模型与人类的期望、需求以及价值观对齐 ➢ 基于人类反馈的强化学习对齐方法（RLHF） 大模型的研发已经成为一项系统工程 扩展定律（ Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升
51410编辑于 2025-03-15 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十二）：Evaluate模型评估
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 本文重点介绍Evaluate模型评估。 二、Evaluate模型评估 2.1 概述 Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。 下面是一个使用Python和Transformers库进行模型评估的基本步骤，假设你已经有了一个预训练模型和相应的数据集处理器。 评估结果将包含各种指标，如准确率，具体指标还要取决于你的模型。
1K10编辑于 2024-08-13 - 来自专栏muller的测试分享
MetaLlama大模型
llama 大模型介绍我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。 我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。 特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，llama2 大模型介绍我们开发并发布了 Llama 2，这是一组经过预训练和微调的大型语言模型 (LLM)，其参数规模从 我们经过微调的大语言模型（称为 Llama 2-Chat）针对对话用例进行了优化。 //huggingface.co/meta-llama/Llama-2-7bhttps://huggingface.co/docs/transformers/model_doc/llamallama 大语言模型提供的主要模型列表
44510编辑于 2024-09-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号