首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI科技评论

    模型完成6项自然语言处理任务

    语言技术平台(Language Technology Platform, LTP)是哈工大社会计算与信息检索研究中心(HIT-SCIR)历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台 该平台集词法分析(分词、词性标注、命名实体识别)、句法分析(依存句法分析)和语义分析(语义角色标注、语义依存分析)等多项自然语言处理技术于一体。 既有效提升了系统的运行效率,又极大缩小了模型的占用空间 基于预训练模型进行统一的表示 ,有效提升了各项任务的准确率 基于教师退火模型蒸馏出单一的多任务模型,进一步提高了系统的准确率 基于PyTorch框架开发 ,提供了原生的Python调用接口,通过pip包管理系统一键安装,极大提高了系统的易用性 下表列出了新旧版LTP在精度、效率和模型大小方面的对比: 为了模型的小巧易用,本次发布的版本基于哈工大讯飞联合实验室发布的中文 ELECTRA Small预训练模型

    1K20发布于 2020-06-17
  • 6个开源的最佳本地运行大语言模型(LLM)工具

    你可以使用 图形界面工具(如 LM Studio) 或 命令行工具(如 Ollama) 在本地尝试运行大语言模型(LLMs)。 • 离线支持: 你可以在没有网络连接的情况下加载并调用本地大语言模型。 •AI 对话与 Playground :支持使用大语言模型进行多轮对话,并可同时加载多个模型进行对比与实验。 如上方示意图所示,本文使用的是 Meta-Llama-3.1-8B-Instruct.Q6_K.llamafile,其中 Q6 表示量化等级。 本地 LLM 的使用场景 在本地运行大语言模型(LLMs)对于那些希望深入理解模型性能与原理的开发者来说非常有帮助。

    3.3K10编辑于 2026-03-13
  • 来自专栏生信矿工

    R语言笔记-6

    arrange(Sepal.Length) %>% head(,3) 输出结果: 图片 图片 #模拟一个表达矩阵数据 set.seed(1) exp = matrix(rnorm(18),ncol = 6) exp = round(exp,2) rownames(exp) = paste0("gene",1:3) colnames(exp) = paste0("test",1:6) exp[,1:3] =

    77420编辑于 2023-06-26
  • 来自专栏IT从业者张某某

    语言模型-01-语言模型发展历程-03-预训练语言模型到大语言模型

    简介 1.1语言模型发展历程 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解,这是科学思维的一次重要跃升。 语言模型的发展历程如下: 神经语言模型(Neural Language Models,NLM) 预训练语言模型(Pre-trained Language Model,PLM) 预训练语言模型是一种在大规模文本数据上进行无监督学习得到的语言模型 语言模型任务是根据给定的上文预测下一个单词,通过这种方式,模型可以学习到语言的统计规律和语义表示。 掩码语言模型任务是随机掩盖输入文本中的一些单词,然后让模型预测被掩盖的单词,这可以帮助模型更好地理解上下文信息。 、千亿甚至万亿的模型 经过大规模数据预训练的数十亿参数的高性能模型也可以称为大语言模型 与传统语言模型构建的差异 极大地扩展了模型参数和数据数量 需要更为复杂、精细的模型训练方法 模型需要能够学习更多的数据知识

    73400编辑于 2025-03-15
  • 来自专栏C++

    C语言(指针)6

    我们知道,变量有地址,数组有地址,指针也有地址,那函数肯定也有地址。存放变量地址的指针叫一级指针,存放数组地址的指针叫数组指针,存放指针地址的指针叫二级指针,那存放函数的指针就叫函数指针。在学习函数指针之前,我们先来探讨一下函数的地址。

    20410编辑于 2024-10-16
  • 【C语言】指针(6)

    2,strlen strlen是C语言中的库函数使用它时需要包含<string.h>这个头文件,它的功能是求字符串长度,是统计一个字符串中\0之前的字符个数的函数。 &arr+1取出整个数组的地址再加1就相当于跳过一个数组指向该数组的末尾 只要数组内部无\0再怎么去查找都是找不到的 所以也是随机值但是会与从第一个元素开始查找得到得随机值相差6(6为元素个数)。 arr+0拿到的是首元素的地址 情况同上 结果为6。 *arr是对首元素解引用拿到的是第一个元素 会报错!。 &arr取地址a取出的是整个数组的地址 整个元素的地址是从首元素开始的从第一个元素开始直到碰到\0 所以结果为66. 但是会与从第一个元素开始查找得到得随机值相差6(6为元素个数) &arr[0]+1拿到的是第二个元素的地址那就是从第二个元素开始统计 所以结果为5。

    21600编辑于 2025-12-23
  • 来自专栏IT从业者张某某

    语言模型-1.1-语言模型发展历程

    简介 本博客内容是《大语言模型》一书的读书笔记,该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品,覆盖大语言模型训练与使用的全流程,从预训练到微调与对齐,从使用技术到评测应用,帮助学员全面掌握大语言模型的核心技术 /27667 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型语言模型的发展历程如下: 统计语言模型(Statistical Language models,SLM) ➢ 主要建立在统计学习理论框架,通常使用链式法则建模句子序列 ➢ 例如: n-gram 语言模型 语料库的样例如下: 参考:https://bcc.blcu.edu.cn/zh/search/0/%E6%88%91%E5%BE%88 基于频率的估计方法 (最大似然估计) ➢ 四元语言模型估计示例 预训练语言模型(Pre-trained Language Model,PLM) 预训练语言模型是一种在大规模文本数据上进行无监督学习得到的语言模型

    49700编辑于 2025-03-15
  • 来自专栏DeepHub IMBA

    2024年6月上半月30篇大语言模型的论文推荐

    语言模型(LLMs)在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文,可以让你及时了解最新进展。 随着问题复杂度的增加,模型性能急剧下降:所有模型在涉及10个城市的情况下的表现均低于5%,这凸显了在自然语言规划中存在的显著差距。 https://arxiv.org/abs/2406.07394 6、MedFuzz: Exploring the Robustness of Large Language Models in Medical https://arxiv.org/abs/2406.04370 6、PowerInfer-2: Fast Large Language Model Inference on a Smartphone 但是控制大语言模型不应知道的信息同样重要,这样可以确保对齐和安全使用。

    1K10编辑于 2024-07-01
  • 来自专栏ceshiren0001

    MCP零基础学习(6)|与大型语言模型(LLM)的深度融合

    本期内容将进一步深入,聚焦于 MCP 与大型语言模型(LLM)的深度融合,探索如何通过协议与模型的协同,释放更强大的智能潜力。 本文将围绕三大关键实践方向展开:本地模型集成(如 Ollama、vLLM)、在线模型扩展(如 OpenAI、DeepSeek),以及提示词模板的高效设计。 MCP客户端     +------+   MCP服务器     +------+    LLM后端     ||  (应用层)      |      |  (适配层)      |      |  (模型层 、本地模型接入:Ollama/vLLM + MCP2.1 Ollama集成方案环境准备首先安装必要的依赖:# 安装Ollamacurl -fsSL https://ollama.ai/install.sh =f"ollama://{model['name']}",                name=model['name'],                description=f"Ollama模型

    52200编辑于 2025-08-22
  • 来自专栏xingoo, 一个梦想做发明家的程序员

    汇编语言 手记6

    用A命令用汇编语言的形式来修改内存中的指令 ? 用汇编的形式来查看内存中的内容 ? 由于之前修改过CS IP中的内容,此时要想执行程序,要修改回CS IP内容 ? 使用T命令一步一步的执行汇编命令。

    88370发布于 2018-01-17
  • 来自专栏null的专栏

    神经语言模型

    语言模型 什么是语言模型?通俗的来讲是判断一句话是否符合人说话的模型,如可以说”猫有四条腿“,却不能说”四条腿有猫“。因为”四条腿有猫“这样的表述不符合人们的正常语言规范。 在语言模型的发展过程中,分别出现了专家语法规则模型,统计语言模型,神经网络语言模型三个阶段。 其中,专家语法规则模型出现在语言模型的初始阶段,我们知道,每一种语言都有其特定的语法规则,因此在早期,人们设法通过归纳出的语法规则来对语言建模;统计语言模型则是对句子的概率分布建模,通过对大量语料的统计发现 ,符合人们正常语言规范的句子出现的概率要大于不符合语言规范的句子,如上述的“猫有四条腿”出现的概率要大于“四条腿有猫”的概率;神经网络语言模型是在统计语言模型的基础上,通过神经网络模型对句子的概率分布建模的方法 下面将从统计语言模型开始讲起。 2. 统计语言模型 2.1. 统计语言模型 统计语言模型(statistical language modeling)通过对大量语料的统计预测出句子的分布。

    49310编辑于 2022-01-05
  • 来自专栏小鹏的专栏

    07 语言模型

    语言模型

    58110发布于 2020-03-25
  • 来自专栏新智元

    Meta开源像语言识别系统,模型识别唇语翻译6语言,本地部署人人可用

    其中包含了1200小时,9种语言的文本语音视频素材,还有英语与6语言之间的双向翻译。 语音识别数据的详细内容: 英语到6语言翻译的素材具体包括: 6语言到英语的翻译素材具体包括: 论文 针对这个系统,Mate的研究人员也发布了论文介绍它与现有SOTA的对比。 研究人员按照AV-HuBERT论文中的方式来微调超参数,不同之处在于他们将双语模型微调为30K更新,将多语言 AVSR 模型微调为90K更新。 对于非英语 AVSR,研究人员对预先训练好的英语AVHuBERT模型进行了微调,微调方式可以是对每种语言分别进行微调(8 种单语模型),也可以是对所有8种非英语语言联合进行微调(多语模型)。 在纯音频和视听模式下,研究人员的多语言AVSR模型在每种非英语语言(除El语外)上的表现都优于单语言模型

    95110编辑于 2023-09-09
  • 来自专栏公众号:咻咻ing

    6. Gremlin查询语言

    Gremlin是JanusGraph的查询语言,用于从图中检索数据和更新数据。 Gremlin是一种面向路径的语言,它能够简洁地表示复杂的图形遍历和多步操作。 Gremlin是一种函数式语言,遍历运算被链接在一起形成类似路径的表达式。 例如,“从Hercules,遍历他的父亲,然后他父亲的父亲,并返回祖父的名字。” 提供这种更复杂的遍历以展示语言的灵活性和可读性。 对Gremlin的有效掌握为JanusGraph用户提供了快速查询底层图结构遍历的能力。 Gremlin语言中有许多步(参见Gremlin Steps)。 通过简单地改变步骤或着改变步骤的顺序,可以实现不同的遍历。 注意:本节中介绍的Gremlin概述重点介绍了在Gremlin控制台中Gremlin-Groovy语言实现版本的使用。 Gremlin的其他语言驱动和实现也是可以使用的。 2.

    4.5K20发布于 2019-08-07
  • 来自专栏存储内核技术交流

    redis 6多线程模型

    redis 多线程架构 redis6之前的版本一直单线程方式解析命令、处理命令,这样的模式实现起来简单,但是无法使用多核CPU的优势,无法达到性能的极致;到了redis 6,redis6采用多线程模式来来读取和解析命令 ,但是命令的执行依然通过队列由主线程串行执行,多线程的好处是分离了命令的解析和命令执行,命令的解析有独立的IO线程进行,命令执行依旧有main线程执行,多线程增加了代码的复杂度 开启多线程模型 Redis.conf readQueryFromClient->processInputBuffer->processCommandAndResetClient->processCommand->call } } } //多线程模型初始化

    59520编辑于 2022-08-17
  • 来自专栏写代码和思考

    Go语言基础6 - 并发

    概述 我们将用几节来学习Go语言基础,本文结构如下: 1. 并发 通过通信共享内存 Go程 信道 信道中的信道 并行化 可能泄露的缓冲区 2. Go语言另辟蹊径,它将共享的值通过信道传递, 在任意给定的时间点,只有一个Go程能够访问该值,数据竞争从设计上就被杜绝了。 例如,引用计数通过为整数变量添加互斥锁来很好地实现。 1.2 Go程 Go程具有简单的模型: 它是与其它Go程并发运行在同一地址空间的函数。 它是轻量级的, 消耗几乎就只有栈空间的分配。 错误 Go语言具有多值返回特性, 使得它可以在返回常规的值,和详细的错误描述。 按照约定,错误的类型通常为 error,这是一个内建的简单接口。 type error interface { Error() string } 库的编写者通过更丰富的底层模型可以轻松实现这个接口,这样不仅能看见错误, 还能提供一些上下文。

    61400发布于 2020-03-16
  • 来自专栏IT从业者张某某

    语言模型-01-语言模型发展历程-01

    简介 本博客内容是《大语言模型》一书的读书笔记,该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品,覆盖大语言模型训练与使用的全流程,从预训练到微调与对齐,从使用技术到评测应用,帮助学员全面掌握大语言模型的核心技术 这里没有继续问,一问一个不吱声 大语言模型的百花齐放时代 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解,这是科学思维的一次重要跃升。 语言模型的发展历程如下: 统计语言模型(Statistical Language models,SLM) ➢ 主要建立在统计学习理论框架,通常使用链式法则建模句子序列 ➢ 例如: n-gram 语言模型 语料库的样例如下: 参考:https://bcc.blcu.edu.cn/zh/search/0/%E6%88%91%E5%BE%88 基于频率的估计方法 (最大似然估计) ➢ 四元语言模型估计示例 通常这种方式可以结合不同阶数估计方法的优势 但仍然不能从根本解决数据稀疏性问题 神经语言模型(Neural Language Models,NLM) 在自然语言处理领域,NLM 指神经语言模型

    42800编辑于 2025-03-15
  • 来自专栏frytea

    在自己的电脑运行清华开源语言模型 ChatGLM-6B

    过去这段时间 AIGC 市场竞争异常激烈,各大厂纷纷祭出自家的大预言模型,在这场国产 AI 大乱斗中,清华大学于 2023 年 3 月 28 日发布的开源通用语言模型 —— ChatGLM-6B 显得格外不同 ,因为这是一款开源的语言模型。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。 经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。 每个人都可以将源代码和模型下载到自己的电脑上运行。这也许才是未来 AI 正确的打开方式,避免一家独大造成垄断格局。

    51840编辑于 2023-10-21
  • 来自专栏ShowMeAI研究中心

    斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型

    ;1651948281&q-key-time=1651941081;1651948281&q-header-list=&q-url-param-list=&q-signature=12fffc53ce6d97d65c0910422852d785dee5e910 语言模型 介绍一个新的神经网络家族 Recurrent Neural Networks (RNNs) 1.语言模型 1.1 语言模型 [语言模型] 语言建模的任务是预测下一个单词是什么 更正式的说法是 {x}^{(1)}\right) 1.3 随处可见的语言模型 [随处可见的语言模型] 1.4 随处可见的语言模型 [随处可见的语言模型] 1.5 n-gram 语言模型 [n-gram 语言模型] the [固定窗口的神经语言模型] 使用和NER问题中同样网络结构 1.14 固定窗口的神经语言模型 [固定窗口的神经语言模型] 1.15 固定窗口的神经语言模型 [固定窗口的神经语言模型] 超越 n-gram Source: https://medium.com/deep-writing/harry-potter-written-by-artificial-intelligence-8a9431803da6

    73821编辑于 2022-05-08
  • 来自专栏YO大数据

    【AI大模型】基于ChatGLM-6b从零开始本地部署语言模型,步骤详细无坑版

    模型下载 5.模型调用 5.1 代码调用 5.2 web页面调用 6.报错解决相关文章参考 1.什么是ChatGLM-6B ChatGLM-6B 是的一种自然语言处理模型,属于大型生成语言模型系列的一部分 6B"在这里指的是模型大约拥有60亿个参数,这些参数帮助模型理解和生成语言。ChatGLM-6B 特别设计用于对话任务,能够理解和生成自然、流畅的对话文本。 这个模型通过大量的文本数据进行训练,学习如何预测和生成语言中的下一个词,从而能够参与到各种对话场景中。 它可以用于多种应用,比如聊天机器人、自动回复系统和其他需要语言理解的技术中,ChatGLM-6B 的能力取决于它的训练数据和具体的实现方式,通常能够处理复杂的语言任务,提供有用和合理的回复。 ,上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径,即可从本地加载模型

    1.7K00编辑于 2024-05-25
领券