首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度应用

    ·主流声学模型对比

    主流声学模型对比 目录 概述 基础概念 语音帧 语音识别系统 主流声学建模技术 HMM DNN-HMM FFDNN CNN RNN及LSTM CTC 其他建模技术 语言建模技术 语音唤醒技术 关于未来 本文由搜狗语音交互中心语音技术部负责人陈伟来为大家分享伴随着本轮人工智能浪潮下语音识别建模技术的演进,希望能够帮大家理清主流的识别建模脉络以及背后的思考。 主流声学建模技术 近年来,随着深度学习的兴起,使用了接近30年的语音识别声学模型HMM(隐马尔科夫模型)逐渐被DNN(泛指深度神经网络)所替代,模型精度也有了突飞猛进的变化,整体来看声学建模技术从建模单元 图8 DNN-HMM建模流程 FFDNN FFDNN的模型结构如下所示: ? 图9 FFDNN建模流程 CNN 编者注:实际上,最早CNN只应用于图像识别,直到2012年才被用于语音识别系统。 ? 图13 CTC尖峰效果演示 可以预期,基于CTC或者引用CTC概念(如LFMMI)的端到端识别技术将逐渐成为主流,HMM框架将逐渐被替代。

    3.9K22发布于 2019-06-27
  • 来自专栏xiaosen

    LLM主流开源代表模型

    LLM主流开源大模型介绍 1 LLM主流模型类别 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。 目前,市面上已经开源了各种类型的大语言模型,本章节我们主要介绍其中的三大类: ChatGLM-6B:衍生的大模型(wenda、ChatSQL等) LLaMA:衍生的大模型(Alpaca、Vicuna 显存(推理) 最低GPU显存(高效参数微调) FP16(无量化) 13GB 14GB INT8 10GB 9GB INT4 6GB 7GB 2.5 模型特点 优点: 较低的部署门槛: INT4 精度下 4 BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。 小结 主要介绍了LLM主流的开源大模型,对不同模型架构、训练目标、优缺点进行了分析和总结。

    67610编辑于 2024-06-04
  • 来自专栏机器学习入门

    【AI大模型】LLM主流开源大模型介绍

    学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流模型类别 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用 显存(推理) 最低GPU显存(高效参数微调) FP16(无量化) 13GB 14GB INT8 10GB 9GB INT4 6GB 7GB 2.5 模型特点 优点: 较低的部署门槛: INT4 精度下 BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。 小结 本小节主要介绍了LLM主流的开源大模型,对不同模型架构、训练目标、优缺点进行了分析和总结。

    1.3K10编辑于 2024-09-24
  • 来自专栏Python与算法之美

    9模型的评估

    模块中的交叉验证相关方法可以评估模型的泛化能力,能够有效避免过度拟合。 二,分类模型的评估 模型分类效果全部信息: confusion_matrix 混淆矩阵,误差矩阵。 ? 模型整体分类效果: accuracy 正确率。通用分类评估指标。 模型对某种类别的分类效果: precision 精确率,也叫查准率。模型不把正样本标错的能力。“不冤枉一个好人”。 recall 召回率,也叫查全率。模型识别出全部正样本的能力。 三,回归模型的评估 回归模型最常用的评估指标有: r2_score(r方,拟合优度,可决系数) explained_variance_score(解释方差得分) ? ? 留出法 为了解决过拟合问题,常见的方法将数据分为训练集和测试集,用训练集去训练模型的参数,用测试集去测试训练后模型的表现。

    98431发布于 2020-07-17
  • 来自专栏量子位

    主流的深度学习模型有哪些?

    这个问题的机会,我也想介绍一下主流的神经网络模型。因为格式问题和传播原因,我把原回答内容在这篇文章中再次向大家介绍。 同理,另一个循环网络的变种 - 双向循环网络(Bi-directional RNN)也是现阶段自然语言处理和语音分析中的重要模型。 深度生成模型(Deep Generative Models) 说到生成模型,大家一般想到的无监督学习中的很多建模方法,比如拟合一个高斯混合模型或者使用贝叶斯模型。 深度学习中的生成模型主要还是集中于想使用无监督学习来帮助监督学习,毕竟监督学习所需的标签代价往往很高…所以请大家不要较真我把这些方法放在了无监督学习中。 2.1.1. 另一个常常被放在GAN一起讨论的模型叫做变分自编码器(Variational Auto-encoder),有兴趣的读者可以自己搜索。

    3.1K40发布于 2018-03-26
  • 来自专栏IT从业者张某某

    大语言模型-2.23-主流模型架构与新型架构

    简介 本博客内容是《大语言模型》一书的读书笔记,该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品,覆盖大语言模型训练与使用的全流程,从预训练到微调与对齐,从使用技术到评测应用,帮助学员全面掌握大语言模型的核心技术 transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代,自然语言处理领域广泛采用了预训练 + 微调的范式,并诞生了如下三种主流架构。 随着 GPT 系列模型的成功发展,当前自然语言处理领域走向了生成式大语言模型的道路,解码器架构已经成为了目前大语言模型主流架构。 在本节中,我们将首先对于参数化状态空间模型展开讨论,然后针对状态空间模型的各种变种模型进行介绍。为了帮助读者更好地理解这些模型之间的区别,我们在表 5.2 中对于它们进行了比较。 参数化状态空间模型 状态空间模型变种 尽管状态空间模型计算效率较高,但是在文本任务上的表现相比 Transformer模型仍有一定的差距。

    87810编辑于 2025-03-24
  • 来自专栏福大大架构师每日一题

    ⽬前 主流的开源模型体系 有哪些?

    ⽬前 主流的开源模型体系 有哪些? 答案: ⽬前主流的开源LLM(语⾔模型模型体系包括以下⼏个: 1. 技术亮点:通过稀疏激活专家模块提升计算效能,如DeepSeek V3集成256个专家,仅激活9个参与推理。 多头潜在注意力(MLA) 代表模型:DeepSeek V3、Kimi 2。 智谱AI GLM 系列 • 代表模型:ChatGLM、GLM-4、GLM-4-9B(支持多模态) • 特点:中文能力突出,支持长上下文(最高1M token),工具调用和多模态能力强大。 OPT 系列(Meta) • 代表模型:OPT-175B • 特点:开源GPT-3替代方案,适合学术和非商业研究。 • 应用:学术研究、自然语言处理教学。 • 参考】: 9. 以上分类与格局构成了当前主流的开源大模型体系。 腾讯元宝: 腾讯元宝 目前主流的开源模型体系主要分为以下几大类别: 国际主流开源模型体系 1.

    1.8K10编辑于 2025-12-19
  • 来自专栏全栈程序员必看

    主流量化交易的几种策略模型

    二者所用模型一样,但后者少了期货的对冲。缺少对冲有坏处也有好处,坏处是这种策略的收益曲线是会有较大的回撤。 简单地做一些计算,比如说你的策略一共覆盖了10个主流的品种,而策略类型则大致分为相关性较低的三类,并且这三类策略中每一个你都可以在5分钟、半小时和日线三个周期上去运行。

    3K20编辑于 2022-09-07
  • 来自专栏腾讯技术工程官方号的专栏

    主流大语言模型的技术原理细节

    作者:spring 1.比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention 大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。 0. 大纲 1. 大语言模型的细节 1.0 transformer 与 LLM 1.1 模型结构 1.2 训练目标 1.3 tokenizer 1.4 位置编码 1.5 层归一化 1.6 激活函数 1.7 参考文献 分析 transformer 模型的参数量、计算量、中间激活、KV cache 【万字长文】LLaMA, ChatGLM, BLOOM 的高效参数微调实践 FlashAttention:加速计算

    2.5K64编辑于 2023-09-13
  • 来自专栏数说工作室

    主流CTR预估模型的演化及对比

    常用模型 1. LR LR模型是广义线性模型,从其函数形式来看,LR模型可以看做是一个没有隐层的神经网络模型(感知机模型)。 ? ? PNN和FNN与其他已有的深度学习模型类似,都很难有效地提取出低阶特征组合。WDL模型混合了宽度模型与深度模型,但是宽度模型的输入依旧依赖于特征工程。 9. 总结 主流的CTR预估模型已经从传统的宽度模型向深度模型转变,与之相应的人工特征工程的工作量也逐渐减少。 [Huifeng Guo et al, 2017] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 9.

    1.4K40发布于 2019-07-17
  • 来自专栏DevOps

    AI框架:9主流分布式深度学习框架简介

    前言 转载翻译Medium上一篇关于分布式深度学习框架的文章 https://medium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models -5faa86199c1fmedium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models 2.模型并行 当单个 GPU无法容纳模型尺寸时,模型并行性变得必要,有必要将模型拆分到多个 GPU 上进行训练。 /推理变得高效,包含如下: TensorParallel Pipeline Model Parallel Zero Redundancy Optimizer (ZeRO) Sharded DDP 三、主流框架 使用 OneFlow,很容易: 使用类似 PyTorch 的 API 编写模型 使用 Global View API 将模型缩放到 n 维并行/分布式执行 使用静态图编译器加速/部署模型9.

    6.6K10编辑于 2024-03-29
  • 来自专栏全栈程序员必看

    五大主流数据库模型有哪些_五大主流品牌

    访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供或多或少的功能。 迄今为止,主导的数据模型仍然是关系模型。在这里,我们主要想为大家介绍一下非关系模型,作为对比,本文也会简要介绍一下关系模型。 数据模型概述 1.关系模型 关系模型使用记录(由元组组成)进行存储,记录存储在表中,表由架构界定。表中的每个列都有名称和类型,表中的所有记录都要符合表的定义。 与关系模型不同的是,文档存储模型支持嵌套结构。例如,文档存储模型支持XML和JSON文档,字段的“值”又可以嵌套存储其它文档。文档存储模型也支持数组和列值键。 选择哪一种数据模型? 数据模型有着各自的优缺点,它们适用于不同的领域。不管是选择关系模型,还是非关系模型,都要根据实际应用的场景做出选择。

    2.3K10编辑于 2022-09-20
  • 来自专栏小鹏的专栏

    PyTorch图像分类框架(支持多种主流分类模型)

    | 模型方面 | (efficientnet/resnest/seresnext等) | 1 | | 数据增强 | (旋转/镜像/对比度等、mixup/cutmix) | 2 | | 损失函数 | (交叉熵 /focal_loss等) | 3| | 模型部署 | (flask/grpc/BentoML等) | [4] (https://github.com/MachineLP/PyTorch_image_classifier /tree/master/serving)| | onnx/trt | () | 5 | 支持的全部模型: RESNEST_LIST = [“resnest50”, “resnest101”, “resnest200 /data/train.csv" --random_state 2020 1、修改配置文件,选择需要的模型 以及 模型参数:vim conf/test.yaml cp conf/test.yaml conf /effb3_ns.yaml vim conf/effb3_ns.yaml 2、训练模型: (根据需求选取合适的模型) python train.py --config_path "conf/effb3

    2.1K30发布于 2020-10-29
  • 来自专栏小义思

    无需魔法,国外主流AI大模型免费使用!

    在这个AI技术飞速发展的时代,各种大型AI模型如同雨后春笋般涌现,人们自然会产生比较和讨论。因此也就产生了不少整合各个AI大模型的网站,借助这些网址平台,自然可以实现免费使用。 截至2024年4月9日,Chatbot Arena已经汇集了超过50万的用户投票,对80个不同的大型模型进行了深入比较。最终,平台发布了全球前15名的大型模型排行榜。 在得到两个大模型的回复后,可以选择继续聊天,或者为认为回答得更好的模型投票,系统后台自会统计测评结果。 OpenRouter OpenRouter是一个提供大型语言模型(LLMs)和其他AI模型统一接口的平台。 OpenRouter的目标是为用户提供最佳的模型选择和价格,简化了模型的测试和比价过程。

    24.3K20编辑于 2024-04-10
  • 来自专栏贾志刚-OpenCV学堂

    十种主流模型C++部署演示

    虽然小编本周一直是摸鱼工作状态,但是完成了最后一种模型推理支持,实现十种主流模型推理部署封装: YOLOv5 YOLOv5-Seg YOLOv6 YOLOv7 YOLOX Faster-RCNN Mask-RCNN 其中YOLO系列模型部署全部支持TensorRT!支持零代码一键集成部署到QT项目中,支持多线程推理,下面的截图只是集成小小的演示!

    1.2K20编辑于 2023-01-04
  • 来自专栏深度学习和计算机视觉

    Github | NumPy手写全部主流机器学习模型

    该 repo 的模型或代码结构如下所示: 1. 高斯混合模型 EM 训练 2. 隐狄利克雷分配模型(主题模型) 用变分 EM 进行 MLE 参数估计的标准模型 用 MCMC 进行 MAP 参数估计的平滑模型 4. 线性模型 岭回归 Logistic 回归 最小二乘法 贝叶斯线性回归 w/共轭先验 7.n 元序列模型 最大似然得分 Additive/Lidstone 平滑 简单 Good-Turing 平滑 8. / Dyna-Q+ 优先扫描 9. 非参数模型 Nadaraya-Watson 核回归 k 最近邻分类与回归 10.

    90110编辑于 2022-02-11
  • 来自专栏网络技术联盟站

    国外比较主流9个防火墙设备厂商有哪些?

    以下是9主流厂商的防火墙设备,它们都是业内领先的产品,具有高可靠性和稳定性。1. Cisco图片Cisco是网络设备制造商的领导者之一,其防火墙设备被广泛应用于各种规模的企业和组织。 9. Sophos图片Sophos是一家网络安全公司,其防火墙产品被称为Sophos XG Firewall。 除了以上列出的9主流国外厂商外,还有很多其他的防火墙设备厂商,例如F5 Networks、Citrix等等。不同的厂商提供不同的功能和特性,可以根据具体需求进行选择。 下期给大家分享一下国内的有哪些主流防火墙设备厂商。

    7.4K00编辑于 2023-05-03
  • 来自专栏又见苍岚

    DE-9IM 空间关系模型

    DE-9IM 是Dimensionally Extended 9-Intersection Model 的缩写,直接翻译为 维度扩展的 9 个相交模型,本文记录相关内容。 简介 DE-9IM 是Dimensionally Extended 9-Intersection Model 的缩写,DE-9IM 模型是用于描述两个 二维几何对象(点、线、面) 之间的空间关系的一种模型 维度扩展九交模型(DE-9IM)是一种拓扑模型和标准,用于描述两个区域(二维中的两个几何图形,R2)的空间关系,在几何学、点集拓扑、地理空间拓扑、以及与计算机空间分析相关的领域。 空间关系 模型主要要描述的就是二维平面下的两个几何对象之间的空间关系。 DE-9IM 模型 DE-9IM 模型把几何对象分为 内部、边界、外部 三个部分,两个几何对象这三个部分两两之间的关系,就可以组合为一个3X3大小(就是 9 个值)的矩阵,这9个值的组合,就表示两个几何对象的空间关系

    99110编辑于 2024-07-04
  • 来自专栏PaddlePaddle

    史上最全解读 | 飞桨模型库重大升级,主流算法模型全覆盖

    飞桨模型库,包含智能视觉(PaddleCV),智能文本处理(PaddleNLP),智能语音(PaddleSpeech)和智能推荐(PaddleRec)四大领域,飞桨官方支持 100 多个经过产业实践长期打磨的主流模型 以上可以看到,本次的升级点中,飞桨提供了更多的官方支持模型和预训练模型,同时也开源多个国际冠军模型,截至目前,飞桨已官方支持超过 100 个模型和 200 多个预训练模型,极大的方便开发者的快速应用实践 官方支持的模型从 60 个扩充到了 100 多个,新增了对于语音算法的支持。截至目前,飞桨已经可以支持人工智能领域应用主流算法模型的。开发者在工业应用项目落地中,可以利用飞桨模型库中快速实现。 ? 下面,我们将从主流四大领域分别为开发者介绍飞桨模型库的一些核心内容,因为算法模型数量众多且受限于篇幅,仅对算法模型的分类及名称、简介和应用场景、以及在不同数据集上的评价指标进行了整理。 4.1.2.词向量(Word2vec) 提供单机多卡,多机等分布式训练中文词向量能力,支持主流词向量模型(skip-gram,cbow 等),可以快速使用自定义数据训练词向量模型。 4.1.3.

    1K30发布于 2019-11-18
  • 来自专栏有三AI

    【完结】总结12大CNN主流模型架构设计思想

    诠释了增加深度是如何提高了深度学习模型的性能。 详细解读如下: 【模型解读】说说移动端基准模型MobileNets 05残差网络 当深层网络陷身于梯度消失等问题而导致不能很有效地训练更深的网络时,脱胎于highway network的残差网络应运而生 文章依旧写的很简单,这是一个致力于提升CNN对具有不同几何形变物体识别能力的模型,关键在于可变的感受野。 虽非真主流,了解一下也无妨。 【模型解读】历数GAN的5大基本结构

    1K10发布于 2019-07-26
领券