首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度应用

    ·主流声学模型对比

    主流声学模型对比 目录 概述 基础概念 语音帧 语音识别系统 主流声学建模技术 HMM DNN-HMM FFDNN CNN RNN及LSTM CTC 其他建模技术 语言建模技术 语音唤醒技术 关于未来 ,找到最为匹配的词序列作为识别结果输出,整体流程请见图3。 +ou1 s-ou1+g ou1-g+ou3 g-ou3+y ou3-y+u3 y-u3+y u3-y+in1 y-in1+sil ? 主流声学建模技术 近年来,随着深度学习的兴起,使用了接近30年的语音识别声学模型HMM(隐马尔科夫模型)逐渐被DNN(泛指深度神经网络)所替代,模型精度也有了突飞猛进的变化,整体来看声学建模技术从建模单元 图13 CTC尖峰效果演示 可以预期,基于CTC或者引用CTC概念(如LFMMI)的端到端识别技术将逐渐成为主流,HMM框架将逐渐被替代。

    3.9K22发布于 2019-06-27
  • 来自专栏xiaosen

    LLM主流开源代表模型

    LLM主流开源大模型介绍 1 LLM主流模型类别 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。 闻达:大型语言模型调用平台,基于 ChatGLM-6B 实现了类 ChatPDF 功能 3 LLaMA模型 LLaMA(Large Language Model Meta AI),由 Meta AI 于 3.5 模型特点 优点: 具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3( 参数量达 1750 亿)。 训练数据的语言分布如下图所示,可以看到中文语料占比为 16.2% 按照模型参数量,BLOOM 模型有 560M、1.1B、1.7B、3B、7.1B 和 176B 这几个不同参数规模的模型。 小结 主要介绍了LLM主流的开源大模型,对不同模型架构、训练目标、优缺点进行了分析和总结。

    67610编辑于 2024-06-04
  • 来自专栏机器学习入门

    【AI大模型】LLM主流开源大模型介绍

    学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流模型类别 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用 3.5 模型特点 优点: 具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3( 参数量达 1750 亿)。 训练数据的语言分布如下图所示,可以看到中文语料占比为 16.2% 按照模型参数量,BLOOM 模型有 560M、1.1B、1.7B、3B、7.1B 和 176B 这几个不同参数规模的模型。 小结 本小节主要介绍了LLM主流的开源大模型,对不同模型架构、训练目标、优缺点进行了分析和总结。

    1.3K10编辑于 2024-09-24
  • 来自专栏量子位

    主流的深度学习模型有哪些?

    这个问题的机会,我也想介绍一下主流的神经网络模型。因为格式问题和传播原因,我把原回答内容在这篇文章中再次向大家介绍。 然而,“深度”只是一个商业概念,很多时候工业界把3层隐藏层也叫做“深度学习”,所以不要在层数上太较真。在机器学习领域的约定俗成是,名字中有深度(Deep)的网络仅代表其有超过5-7层的隐藏层。 以下图的3种不同结构为例,我们可以看到连接结构是非常灵活多样的。 ? 同理,另一个循环网络的变种 - 双向循环网络(Bi-directional RNN)也是现阶段自然语言处理和语音分析中的重要模型。 深度生成模型(Deep Generative Models) 说到生成模型,大家一般想到的无监督学习中的很多建模方法,比如拟合一个高斯混合模型或者使用贝叶斯模型

    3.1K40发布于 2018-03-26
  • 来自专栏性能与架构

    3主流 Java 微服务框架

    本文我们简单聊聊当下主流3 个 Java 微服务框架,看看各自的特点。 1. 官网地址: https://www.dropwizard.io 3. Micronaut Micronaut 有3个突出的特点: 启动极快 内存占用少 原生支持 ServerLess IOC 是 Spring 引以为傲的特性,是基于大量的反射实现的,但这会影响启动速度,Micronaut

    4.8K31发布于 2021-05-14
  • 来自专栏JavaGuide

    3主流 Java 微服务框架

    本文我们简单聊聊当下主流3 个 Java 微服务框架,看看各自的特点。 1. 官网地址: https://www.dropwizard.io 3. Micronaut Micronaut 有3个突出的特点: 启动极快 内存占用少 原生支持 ServerLess IOC 是 Spring 引以为傲的特性,是基于大量的反射实现的,但这会影响启动速度,Micronaut

    1.7K40发布于 2021-05-20
  • 来自专栏IT从业者张某某

    大语言模型-2.23-主流模型架构与新型架构

    简介 本博客内容是《大语言模型》一书的读书笔记,该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品,覆盖大语言模型训练与使用的全流程,从预训练到微调与对齐,从使用技术到评测应用,帮助学员全面掌握大语言模型的核心技术 transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代,自然语言处理领域广泛采用了预训练 + 微调的范式,并诞生了如下三种主流架构。 随着 GPT 系列模型的成功发展,当前自然语言处理领域走向了生成式大语言模型的道路,解码器架构已经成为了目前大语言模型主流架构。 在本节中,我们将首先对于参数化状态空间模型展开讨论,然后针对状态空间模型的各种变种模型进行介绍。为了帮助读者更好地理解这些模型之间的区别,我们在表 5.2 中对于它们进行了比较。 参数化状态空间模型 状态空间模型变种 尽管状态空间模型计算效率较高,但是在文本任务上的表现相比 Transformer模型仍有一定的差距。

    87810编辑于 2025-03-24
  • 来自专栏福大大架构师每日一题

    ⽬前 主流的开源模型体系 有哪些?

    ⽬前 主流的开源模型体系 有哪些? 答案: ⽬前主流的开源LLM(语⾔模型模型体系包括以下⼏个: 1. 主流开源模型体系概览 体系类别 核心特点与代表模型 主要应用方向 通用大语言模型 Llama系列 (如基于Llama的OpenHathi)、DeepSeek系列 (DeepSeek-V3, DeepSeek 360智脑: 360智脑 目前主流的开源模型体系包括以下几种: 1. GPT系列:由OpenAI发布,包括GPT、GPT-2、GPT-3等。 以上分类与格局构成了当前主流的开源大模型体系。 腾讯元宝: 腾讯元宝 目前主流的开源模型体系主要分为以下几大类别: 国际主流开源模型体系 1. 百度ds: 百度ds 目前主流的开源大模型(LLM)体系主要包括以下几个代表性系列: 主流开源模型体系 1.

    1.8K10编辑于 2025-12-19
  • 来自专栏机器学习算法与Python学习

    惊为天人,NumPy手写全部主流机器学习模型,代码超3万行

    谁用 NumPy 手推了一大波 ML 模型 通过项目的代码目录,我们能发现,作者基本上把主流模型都实现了一遍,这个工作量简直惊为天人。 手写 NumPy 全家福 作者在 GitHub 中提供了模型/模块的实现列表,列表结构基本就是代码文件的结构了。整体上,模型主要分为两部分,即传统机器学习模型主流的深度学习模型。 其中浅层模型既有隐马尔可夫模型和提升方法这样的复杂模型,也包含了线性回归或最近邻等经典方法。而深度模型则主要从各种模块、层级、损失函数、最优化器等角度搭建代码架构,从而能快速构建各种神经网络。 隐马尔可夫模型 维特比解码 似然计算 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计 3. 隐狄利克雷分配模型(主题模型) 用变分 EM 进行 MLE 参数估计的标准模型 用 MCMC 进行 MAP 参数估计的平滑模型 4.

    84320发布于 2019-07-12
  • 来自专栏小小挖掘机

    惊为天人,NumPy手写全部主流机器学习模型,代码超3万行

    用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgin 最近开源了一个非常剽悍的项目。超过 3 万行代码、30 多个模型,这也许能打造「最强」的机器学习基石? 尽管目前使用 NumPy 写模型已经不是主流,但这种方式依然不失为是理解底层架构和深度学习原理的好方法。 谁用 NumPy 手推了一大波 ML 模型 通过项目的代码目录,我们能发现,作者基本上把主流模型都实现了一遍,这个工作量简直惊为天人。 手写 NumPy 全家福 作者在 GitHub 中提供了模型/模块的实现列表,列表结构基本就是代码文件的结构了。整体上,模型主要分为两部分,即传统机器学习模型主流的深度学习模型。 隐马尔可夫模型 维特比解码 似然计算 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计 3.

    61650发布于 2019-07-12
  • 来自专栏全栈程序员必看

    主流量化交易的几种策略模型

    二者所用模型一样,但后者少了期货的对冲。缺少对冲有坏处也有好处,坏处是这种策略的收益曲线是会有较大的回撤。 简单地做一些计算,比如说你的策略一共覆盖了10个主流的品种,而策略类型则大致分为相关性较低的三类,并且这三类策略中每一个你都可以在5分钟、半小时和日线三个周期上去运行。 3.高频交易策略 国内使用高频交易策略主要应用在,期货趋势、期货套利、期货做市、股票T+0以及全做市交易,国外机构自营交易,比如美股以及股指等。

    3K20编辑于 2022-09-07
  • 来自专栏腾讯技术工程官方号的专栏

    主流大语言模型的技术原理细节

    大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention 3. 大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。 0. 大纲 1. 大语言模型的细节 1.0 transformer 与 LLM 1.1 模型结构 1.2 训练目标 1.3 tokenizer 1.4 位置编码 1.5 层归一化 1.6 激活函数 1.7 LLM 的分布式预训练 2.0 点对点通信与集体通信 2.1 数据并行 2.2 张量并行 2.3 流水线并行 2.4 3D 并行 2.5 混合精度训练 2.6 激活重计算 2.7 ZeRO ,零冗余优化器 2.8 CPU-offload,ZeRO-offload 2.9 Flash Attention 2.10 vLLM: Paged Attention 3.

    2.5K64编辑于 2023-09-13
  • 来自专栏Datawhale专栏

    惊为天人,NumPy手写全部主流机器学习模型,代码超3万行

    用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgin 最近开源了一个非常剽悍的项目。超过 3 万行代码、30 多个模型,这也许能打造「最强」的机器学习基石? 尽管目前使用 NumPy 写模型已经不是主流,但这种方式依然不失为是理解底层架构和深度学习原理的好方法。 谁用 NumPy 手推了一大波 ML 模型 通过项目的代码目录,我们能发现,作者基本上把主流模型都实现了一遍,这个工作量简直惊为天人。 手写 NumPy 全家福 作者在 GitHub 中提供了模型/模块的实现列表,列表结构基本就是代码文件的结构了。整体上,模型主要分为两部分,即传统机器学习模型主流的深度学习模型。 隐马尔可夫模型 维特比解码 似然计算 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计 3.

    65920发布于 2019-07-15
  • 来自专栏数说工作室

    主流CTR预估模型的演化及对比

    常用模型 1. LR LR模型是广义线性模型,从其函数形式来看,LR模型可以看做是一个没有隐层的神经网络模型(感知机模型)。 ? ? 3. FM、FFM 因子分解机(Factorization Machines, FM)通过特征对之间的隐变量内积来提取特征组合,其函数形式如下: ? FM和基于树的模型(e.g. PNN和FNN与其他已有的深度学习模型类似,都很难有效地提取出低阶特征组合。WDL模型混合了宽度模型与深度模型,但是宽度模型的输入依旧依赖于特征工程。 总结 主流的CTR预估模型已经从传统的宽度模型向深度模型转变,与之相应的人工特征工程的工作量也逐渐减少。 ACM SIGKDD. 3. [Rendle, 2010] Factorization machines. In ICDM. 4.

    1.4K40发布于 2019-07-17
  • 来自专栏全栈程序员必看

    五大主流数据库模型有哪些_五大主流品牌

    访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供或多或少的功能。 迄今为止,主导的数据模型仍然是关系模型。在这里,我们主要想为大家介绍一下非关系模型,作为对比,本文也会简要介绍一下关系模型3.文档存储 文档存储支持对结构化数据的访问,不同于关系模型的是,文档存储没有强制的架构。 事实上,文档存储以封包键值对的方式进行存储。 与关系模型不同的是,文档存储模型支持嵌套结构。例如,文档存储模型支持XML和JSON文档,字段的“值”又可以嵌套存储其它文档。文档存储模型也支持数组和列值键。 选择哪一种数据模型? 数据模型有着各自的优缺点,它们适用于不同的领域。不管是选择关系模型,还是非关系模型,都要根据实际应用的场景做出选择。

    2.3K10编辑于 2022-09-20
  • 来自专栏小鹏的专栏

    PyTorch图像分类框架(支持多种主流分类模型)

    | 模型方面 | (efficientnet/resnest/seresnext等) | 1 | | 数据增强 | (旋转/镜像/对比度等、mixup/cutmix) | 2 | | 损失函数 | (交叉熵 /focal_loss等) | 3| | 模型部署 | (flask/grpc/BentoML等) | [4] (https://github.com/MachineLP/PyTorch_image_classifier /data/train.csv" --random_state 2020 1、修改配置文件,选择需要的模型 以及 模型参数:vim conf/test.yaml cp conf/test.yaml conf /effb3_ns.yaml vim conf/effb3_ns.yaml 2、训练模型: (根据需求选取合适的模型) python train.py --config_path "conf/effb3 _ns.yaml" 3、测试 python test.py --config_path "conf/effb3_ns.yaml" --n_splits 5 4、infer python infer.py

    2.1K30发布于 2020-10-29
  • 来自专栏小义思

    无需魔法,国外主流AI大模型免费使用!

    用户可以直接访问这个平台,无需注册,也无需特殊操作,即可免费体验包括GPT-4、Claude3、Gemini等在内的众多国际知名AI模型。 在打开的新页面点击Arena(side-by-side),选择想要使用的两个大语言模型并排聊天,比如Claude 3和GPT-4,然后就可以展开对话啦。 OpenRouter的目标是为用户提供最佳的模型选择和价格,简化了模型的测试和比价过程。 此外,OpenRouter还与Anthropic合作推出了低延迟版本的模型,如Claude3Haiku,以及Command-R和GPT-3.5Turbo等。 结语 综合来看,GPT-4 Turbo和Claude3-opus能力最强,但是Chatbot Arena和openRouter两个平台却不能免费使用。

    24.3K20编辑于 2024-04-10
  • 来自专栏贾志刚-OpenCV学堂

    十种主流模型C++部署演示

    虽然小编本周一直是摸鱼工作状态,但是完成了最后一种模型推理支持,实现十种主流模型推理部署封装: YOLOv5 YOLOv5-Seg YOLOv6 YOLOv7 YOLOX Faster-RCNN Mask-RCNN RetinaNet KeyPointRCNN Deeplabv3 - 后续还会支持 FCOS SSD CPU与GPU推理部署封装支持! 其中YOLO系列模型部署全部支持TensorRT!支持零代码一键集成部署到QT项目中,支持多线程推理,下面的截图只是集成小小的演示!

    1.2K20编辑于 2023-01-04
  • 来自专栏深度学习和计算机视觉

    Github | NumPy手写全部主流机器学习模型

    该 repo 的模型或代码结构如下所示: 1. 高斯混合模型 EM 训练 2. 隐马尔可夫模型 维特比解码 似然计算 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计 3. 隐狄利克雷分配模型(主题模型) 用变分 EM 进行 MLE 参数估计的标准模型 用 MCMC 进行 MAP 参数估计的平滑模型 4. 线性模型 岭回归 Logistic 回归 最小二乘法 贝叶斯线性回归 w/共轭先验 7.n 元序列模型 最大似然得分 Additive/Lidstone 平滑 简单 Good-Turing 平滑 8. 非参数模型 Nadaraya-Watson 核回归 k 最近邻分类与回归 10.

    90110编辑于 2022-02-11
  • 来自专栏Python数据科学

    普林斯顿博士NumPy手写全部主流机器学习模型,代码超3万行

    来自机器之心报道 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgin 最近开源了一个非常剽悍的项目。 超过 3 万行代码、30 多个模型,这也许能打造「最强」的机器学习基石? NumPy 作为 Python 生态中最受欢迎的科学计算包,很多读者已经非常熟悉它了。 尽管目前使用 NumPy 写模型已经不是主流,但这种方式依然不失为是理解底层架构和深度学习原理的好方法。 谁用 NumPy 手推了一大波 ML 模型 通过项目的代码目录,我们能发现,作者基本上把主流模型都实现了一遍,这个工作量简直惊为天人。 隐马尔可夫模型 维特比解码 似然计算 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计 3.

    97931发布于 2019-07-12
领券