- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：多尺度注意力解析：大模型特征提取的基础概念与应用价值.43
一、引言 在大模型的特征提取技术中，注意力机制是核心支柱，它让模型能聚焦关键信息。 多尺度注意力通过同时捕捉不同粒度的特征，实现了“细节 + 全局”的双重理解，是大模型处理长文本、复杂图像、多模态数据的关键技术。 核心作用：特征是大模型理解世界的基础，模型处理数据，本质就是提取这些特征，再通过特征判断数据的属性，比如“这是猫”、“这句话是疑问句”。3. 多尺度注意力 结合前文我们将"注意力机制比拟为大模型的智能聚光灯"，那么多尺度注意力可以比拟为"大模型的多焦距聚光灯系统"，通俗的解释，给模型装一套"可调节焦距的聚光灯"，既有能看清细节的 多尺度注意力就是把这种“人类感知逻辑”搬到大模型里，通过3个关键设计实现：1.
21443编辑于 2026-03-12 - 来自专栏机器学习AI算法工程
文本挖掘模型：本特征提取
文本挖掘模型结构示意图 1. 文档模型 包含三种模型：布尔模型、向量空间模型、概率模型 2.1 布尔模型 布尔模型是建立在经典的集合论和布尔代数的基础上，根据每个词在一篇文档中是否出现，对应权值为0或1 概率统计检索模型(Probabilistic Retrieval Model)是另一种普遍使用的信息检索算法模型，它应用文档与查询相关的概率来计算文档与查询的相似度。 奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。 也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解： r是一个远小于m、n的数，这样矩阵的乘法看起来像是下面的样子： 右边的三个矩阵相乘的结果将会是一个接近于A的矩阵，在这儿
1.8K60发布于 2018-03-12 - 来自专栏机器学习炼丹术
alphaFold2 | 模型细节之特征提取（三）
文章转自微信公众号：机器学习炼丹术 作者：陈亦新（欢迎交流共同进步） 调用 AlphaFold2 forward 总结 上一篇文章谈了一下alphafold模型框架。现在来解决细节和实现问题。 AlphaFold2 先看全部模型代码： class Alphafold2(nn.Module): def __init__( self, *, 好在这个结构是经典pytorch模型类构建，看到这个类继了nn.Module和forward()的时候，我已经谢天谢地了。 老规矩，和之前一样先从forward函数看起来。 搞明白了数据流转，那么就搞明白了模型。 rearrange(mask, 'b n -> b () n') 这里面从einops库中使用了rearrange函数，这个函数其实就是pytorch的unsqueeze，squeeze，permute操作的大合集
1.4K20编辑于 2022-11-22 - 来自专栏具身小站
Python从零实现文本特征提取（词袋模型）
词袋模型是一种基于单词出现次数的统计模型，将文本表示为一个固定大小的向量，每个维度代表一个词语，该维度的值表表示该词语在文本中出现的次数。 1. 模块概述 sklearn.feature_extraction.text 是 scikit-learn 库中专门用于文本特征提取的核心模块，它提供了一系列工具将原始文本数据转换为机器学习算法可以处理的数值特征向量 这个转换过程通常称为向量化(Vectorization)或特征提取(Feature Extraction)。 词袋模型 CountVectorizer 是文本特征提取的基础工具，它实现了词袋模型(Bag of Words, BoW)，将文本转换为词频矩阵。 words_list_str) count_vec = CountVectorizer() words_count = count_vec.fit_transform(words_seg_str) print("词袋及其模型特征向量
46010编辑于 2025-10-31 - 来自专栏机器学习AI算法工程
特征工程(六): 非线性特征提取和模型堆叠
与非线性流体降维相反，k 均值执行非线性流形特征提取更容易解释。如果正确使用它，它可以是特征工程的一个强大的工具。 k 均值聚类 k 均值是一种聚类算法。 我们提出 100 这个数字，因为它看起来相当大，使每一簇覆盖了相当小的空间。结果看起来不错；簇群确实是很小的的，并且流体的不同部分被映射到不同的簇。不错！但我们完成了吗？ 因此，k 均值特征化创建了一个压缩的空间索引，该数据可以在下一阶段被馈送到模型中。这是模型堆叠（stacking）的一个例子。 例 7-3 显示了一个简单的 k 均值特征。 使用 k 均值将空间数据转换为模型堆叠的一个例子，其中一个模型的输入是另一个模型的输出。堆叠的另一个例子是使用决策树类型模型（随机森林或梯度提升树）的输出作为线性分类器的输入。 就像 K 均值一样，较低层次的深度学习模型是无监督的。
1.5K21发布于 2019-10-28 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
75901编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏毛利学Python
特征提取
某种程度而言，好的数据以及特征往往是一个性能优秀模型的基础 那么如何提取好的特征将是本文主要内容 我们将简要介绍一些常用的特征提取方法： 字典加载特征:DictVectorizer 文本特征提取：词频向量 字典特征提取器： 将字典数据结构抽和向量化 类别类型特征借助原型特征名称采用0 1 二值方式进行向量化 数值类型特征保持不变 from sklearn.feature_extraction import ，同时可以看到提取后的特征的含义，二值方式进行向量化，1代表是，0代表不是，说明city:是Dubai 文本特征提取:词频向量(CountVectorizer) 词库模型（Bag-of-words model ）是文字模型化最常用方法，它为每个单词设值一个特征值。 中文文本进行词频特征提取，可以先用jieba进行分词 import jieba seg_list = jieba.cut("大家好，我叫毛利") "/".join(seg_list) OUT: '大家
1.4K30发布于 2019-08-29 - 来自专栏DrugOne
bioRxiv | SIMBA:基于图嵌入的单细胞特征提取模型
然而，随着单细胞多组学技术的发展，测序数据包含更多的模态和更高的分辨率，这给分析模型带来了极大的挑战。 2 结果 2.1 模型概述 SIMBA是一种单细胞嵌入方法，支持单模态或多模态分析，将细胞及其相关基因组特征嵌入到共享的潜在空间，生成可解释的细胞和特征嵌入。 图1 SIMBA模型概述 2.2 对scRNA-seq分析 作者将SIMBA应用于10x Genomics的PBMCs数据集。首先使用UMAP可视化SIMBA获得的细胞嵌入。
84330发布于 2021-11-04 - 来自专栏机器学习算法与Python学习
【特征提取+分类模型】4种常见的NLP实践思路
由于文本数据是一种典型的非结构化数据，因此可能涉及到特征提取和分类模型两个部分。 某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，所以通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。 3.2.2. 4.2 Word2Vec+深度学习分类器(思路3) 4.2.1 Word2Vec Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。 sentence-level and token-level tasks, outperforming many systems with task-specific architectures 3、所需计算量非常大。 16 Cloud TPU 已经是非常大的计算力了。
3.7K10发布于 2020-08-28 - 来自专栏总结xyp
ASK-HAR：多尺度特征提取的深度学习模型
一、探索多尺度特征提取方法在近年来，随着智能家居智能系统和传感技术的快速发展，人类活动识别（HAR）技术已经成为一个备受瞩目的研究领域。 这也意味着，探索多尺度特征提取方法成为了亟待解决的问题。 为了解决这个问题，研究了多尺度特征提取方法。发现一些模型，如InceptionNet，通过在单个特征层中使用不同大小的核来适应性地改变RF大小。 通道注意力：空间注意力：ASK-HAR模型的一个主要贡献是其对多尺度特征提取的研究。通过重建核心框架，模型能够获得更大的感受野，从而捕获更多的多尺度信息。 为了比较ASK-HAR模型的性能，我们还构建了多个具有不同感受野的基线模型，并采用了不同的架构来增强对多尺度信息的捕获。实验设计ASK-HAR模型的主要目的是研究多尺度特征提取方法。
60910编辑于 2025-03-03 - 来自专栏机器学习AI算法工程
文本情感分析：特征提取（TFIDF指标）&随机森林模型实现
监督算法型主要分别以下几个步骤： 构建训练+测试集+特征提取（TFIDF指标）+算法模型+K层交叉验证。 同样也要跟训练集一样，进行特征提取，计算TFIDF指标，但是稍有不同，见下3.4节。 三、特征提取——TFIDF指标 在统计TFIDF等指数之前，还要处理下数据，因为在分词的时候分出了空白符，这种空白符即不能用is.na、is.null、is.nan这些函数查出来，也不能使用常见的空白符 四、算法模型 关于算法模型，书中选用了随机森林，先不考虑为啥选择这个模型，我们直接来看看如何实现这个模型。 如下图4，可知左边按id与label进行分类，右边是按每个单词，相当于变成了n*n个数据量，计算消耗非常大。
9.8K50发布于 2018-03-13 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.7K10编辑于 2024-10-09 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.8K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.2K29编辑于 2023-11-22 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 task_type: 指定任务类型，如'CAUSAL_LM'，以确保LoRA适应正确应用到模型的相应部分。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
95010编辑于 2024-08-13 - 来自专栏大阳岛
LegoLoam(2)特征提取
概述 本节主要讲节LeogLoam中点云特征提取部分 2. 特征提取 2.1 点云预处理 点云数据的坐标轴进行交换，变换后的坐标轴如下图: 图片 点云数据计算偏航角yaw, yaw = -\arctan(point.x, point.z) (-atan2 0.02 * segInfo.segmentedCloudRange[i]) cloudNeighborPicked[i] = 1; } } 特征提取 ，每条扫描线的特征点，分成6段，每段找出2个曲率最大的非地面点特征作为cornerPointsSharp，和20个曲率大的非地面点作为cornerPointsLessSharp；选择4个曲率最小的地面特征点作为 if (largestPickedNum <= 2) { // 论文中nFe=2,cloudSmoothness已经按照从小到大的顺序排列
1.4K20编辑于 2023-02-17 - 来自专栏微卡智享
C++ OpenCV特征提取之扩展LBP特征提取
前言 前面我们学习了《C++ OpenCV特征提取之基本的LBP特征提取》，用的是基本的LBP特征的提取，这次我们接着上次的代码，来看看扩展的ELBP的特征提取。 我们看到中心点的邻居不再是它上下左右的8个点（补充一句，不一定非要是3*3的邻域，这个自己定，但是邻域大了意味着直方图向量维度的增加），而是以它为圆心的一个圈，规定了这个圆的半径和点的个数，就可以求出各个点的坐标 上图为值为17时 可以看到，扩展的LBP算法比基本的LBP特征提取的更为明显一些。关键代码里面的写法不太好理解，我里面也有一知半解的东西，也是先做了后再研究吧。
2.7K30发布于 2019-07-24 - 来自专栏1996
特征工程系列之非线性特征提取和模型堆叠
与非线性流体降维相反，k 均值执行非线性流形特征提取更容易解释。如果正确使用它，它可以是特征工程的一个强大的工具。 k 均值聚类 k 均值是一种聚类算法。聚类算法根据数据在空间中的排列方式来分组数据。 因此，k 均值特征化创建了一个压缩的空间索引，该数据可以在下一阶段被馈送到模型中。这是模型堆叠（stacking）的一个例子。 例 7-3 显示了一个简单的 k 均值特征。 总结 使用 k 均值将空间数据转换为模型堆叠的一个例子，其中一个模型的输入是另一个模型的输出。堆叠的另一个例子是使用决策树类型模型（随机森林或梯度提升树）的输出作为线性分类器的输入。 模型堆叠的关键点 复杂的基础层（通常是昂贵的模型）产生良好的（通常是非线性的）特征，随后结合简单并且快速的顶层模型。这常常在模型精度和速度之间达到正确的平衡。 改进的树模型训练和预测在数据大小和模型的大小上线性的（ t 个树，每个最多 2 的 m 次幂子叶，其中 m 是树的最大深度）。KNN 的实现根本不需要训练时间，因为训练数据本身本质上是模型。
1.6K40编辑于 2022-09-23 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 人类对齐（Human Alignment） ➢ 将大语言模型与人类的期望、需求以及价值观对齐 ➢ 基于人类反馈的强化学习对齐方法（RLHF） 大模型的研发已经成为一项系统工程 扩展定律（ Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升
51410编辑于 2025-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号