- 综合排序
- 最热优先
- 最新优先
- 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
40810编辑于 2024-04-24 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (6) 分割与征服
所谓的分治，就是将一个大而复杂的问题，拆分为小而容易解决的问题。
41620编辑于 2023-10-25 - 来自专栏量子位
AI的大模型时代 ≠ 只有大模型的AI时代
从这个规律来看，大语言模型（简称LLM）出现后虽然霸占了所有与AI相关的关键词，吸引了所有人的注意力，但这并不代表“LLM之前无AI”。 所以，AI不是只有大模型。AI的大模型时代也 ≠ 只有大模型的AI时代。 成熟的AI，早就已经上岗了 或许你还不敢相信，现在哪怕小小的快递背后，都已经有AI技术在加持了。 然而，这些仅仅是已经成熟上岗的AI技术在英特尔®️ 平台得到的优化，英特尔的能力还远不止如此。 这就要说回大模型了。 例如最近大火的ChatGLM-6B，其借助第四代至强®️ 可扩展处理器内置的英特尔®️ AMX，让模型微调计算速度得以大幅提升；利用至强®️ CPU Max系列处理器集成的HBM，满足大模型微调所需的大内存带宽 更多《英特尔平台上的行业AI实战与大模型优化》相关内容，可扫描下方海报中的二维码获取。点击原文链接，阅读英特尔《最“in”大模型》专栏的所有文章。 — 完 —
65010编辑于 2023-09-27 - 来自专栏司钰秘籍
AI大模型学习
在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。 AI大模型学习的理论基础 数学基础： 线性代数：AI 大模型中大量使用向量和矩阵运算，如矩阵乘法、向量点积等，用于表示和操作数据。 AI大模型在特定领域的应用 在自然语言处理领域，AI 大模型如 GPT-3 被广泛应用于文本生成、机器翻译、问答系统等。 此外，模型的性能也受到计算资源、数据质量和算法优化等因素的影响 AI大模型学习的伦理与社会影响 AI 大模型学习确实带来了一些伦理和社会问题，我们需要认真对待： 1.
65710编辑于 2024-04-04 分享6类10种政务AI大模型应用场景
大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。 大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 6类政务AI大模型的应用场景：政务咨询领域：通过构建具备深厚专业知识的智能助手，针对财务、环保等专业领域，提供精确的咨询和解答服务。这有助于提升企业和公众的办事体验，同时增强政府机构的工作效率。 城市治理领域：大模型专注于快速响应民意诉求、智能分类问题、高效处理事件工单等城市治理需求，开发特色应用，提高城市事件处理的效率，提升城市治理的智能化水平。 机关运行优化：利用大模型技术，通过人机协作，减少公务人员在日常工作中的重复性劳动，使他们能更专注于核心职责，从而提升工作效率。
2.6K10编辑于 2024-08-06- 来自专栏人工智能领域
AI大模型学习
AI大模型学习 在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 方向一：AI大模型学习的理论基础 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 ———————————————— 方向二：AI大模型的训练与优化 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 ———————————————— 方向三：AI大模型在特定领域的应用 AI大模型的训练与优化是深度学习领域中至关重要的一部分。 ———————————————— 方向四：AI大模型学习的伦理与社会影响 AI大模型学习的伦理与社会影响是一个备受关注的话题，以下是一些关于这个方向的重要内容： 数据隐私：AI大模型需要大量的数据来训练
64110编辑于 2024-12-18 零基础学AI大模型之读懂AI大模型
大模型知识，因此希望可以通过自己学习然后以写文章的形式向大家同样想零基础学习大模型的同学进行互相交流，欢迎大家在评论区打出自己的疑问或者本文不正确的地方，我们一起学习 零基础学AI大模型之读懂AI大模型 甚至企业里说的“开发大模型”，真的是从头造一个“大脑”吗？ 今天就用通俗的语言，把AI大模型的核心逻辑、能力边界和落地场景讲透，最后再给大家一份主流模型的选择指南。 一、什么是AI大模型？ 这时候，AI智能体（Agent） 才是大模型的“落地形态”。 企业真正要开发的是AI智能体：大模型的“升级版” 所谓“AI智能体（Agent）”，是给大模型加上“手脚”“记忆”和“规划能力”，让它从“聊天工具”变成“能干活的助手”。 （70B）对硬件配置要求较高 最后：AI大模型的核心不是“越复杂越好”，而是“越实用越好” 看完这些，你会发现：AI大模型的本质是“用海量规律解决问题”，而它的落地关键是“智能体”——把“语言能力”变成
1.2K20编辑于 2025-12-22- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.6K00编辑于 2025-05-08 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 闻达：大型语言模型调用平台，基于 ChatGLM-6B 实现了类 ChatPDF 功能 LLaMA模型 LLaMA（Large Language Model Meta AI），由 Meta AI 于2023
1.2K10编辑于 2024-09-24 零基础学AI大模型之AI大模型常见概念
大模型 零基础学AI大模型之SpringAI 前情摘要： 1、零基础学AI大模型之读懂AI大模型 2、零基础学AI大模型之从0到1调用大模型API 3、零基础学AI大模型之SpringAI 零基础学 AI大模型之AI大模型常见概念 一、先搞懂：什么是AI大模型？ 二、AI大模型的6个核心概念 如果把AI大模型比作“智能大脑”，下面这些概念就是它的“神经中枢”——决定了它“怎么思考”“怎么干活”“怎么不犯错”。 1. 6. 工具调用（Tool Calling/Function Call） 大模型本身不能查天气、查股票，但工具调用能让它“调用外部API”，获取实时数据或执行操作，相当于给模型装了“外接大脑”。 价值：让模型从“只懂理论”变成“能做实事”，比如自动查物流、生成实时报表。 6. AI大模型概念总结 觉得有用请点赞收藏！ 如果有相关问题，欢迎评论区留言讨论~
45210编辑于 2025-12-22- 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 task_type: 指定任务类型，如'CAUSAL_LM'，以确保LoRA适应正确应用到模型的相应部分。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
95110编辑于 2024-08-13 - 来自专栏NLP/KG
大模型应用：大模型AI Agent在企业应用中的6种基础类型，企业智慧升级必备
大模型应用：大模型AI Agent在企业应用中的6种基础类型，企业智慧升级必备 AI Agent 智能体在企业应用中落地的价值、场景、成熟度做了分析，并且探讨了未来企业 IT 基础设施与架构如何为未来 自定义流程助手 1.创作与生成类助手 大模型是生成式 AI 的基础，因此，理解、创作与生成内容是其强项也是最基本的能力。 而常看到的个人 AI 助手大部分是基于预设提示词的大模型问答 Bot，在不借助其他插件时，通常不具备工具使用能力。 传统 BI 工具使用门槛高、过度依赖技术部门、结果产出周期长的问题在 AI 时代可以借助大模型的能力得以缓解。 6.自定义流程助手 最后一种 AI Agent 严格来说是上面的几种基础 Agent 能力的组合。
3.1K33编辑于 2024-05-07 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（二）：AutoModelForCausalLM
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 2.2 主要功能 这个类是基于`AutoModel`的，它能够根据指定的模型名称或路径自动加载相应的模型架构。 这里使用了Auto自动模型，transformers包括管道pipeline、自动模型auto以及具体模型三种模型实例化方法，如果同时有配套的分词工具（Tokenizer），需要使用同名调度。 管道(Pipline)方式：高度集成的使用方式，几行代码就可以实现一个NLP任务 自动模型(AutoModel)方式:自动载入并使用BERT等模型 具体模型方式：在使用时需要明确具体的模型，并按照特定参数进行调试 同时，列举了管道模型、自动模型、具体模型等三种transformers预训练大模型实例化方法。期待大家三连。
2.9K11编辑于 2024-08-13 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（四）：AutoTokenizer
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 这意味着，当你知道模型的名称时，你可以使用AutoTokenizer自动获取与该模型匹配的分词器，而不需要了解分词器的具体实现细节。 2.2 主要特点 模型兼容性：通过模型名称自动匹配合适的分词器，支持BERT、RoBERTa、Albert、DistilBERT、T5等众多模型。 灵活性：对于新发布的模型，只要其分词器在Hugging Face模型库中可用，AutoTokenizer.from_pretrained就能加载。 这意味着，当知道模型的名称时，可以使用AutoTokenizer自动获取与该模型匹配的分词器。
1.8K10编辑于 2024-08-13 - 来自专栏muller的测试分享
智谱 AI 大模型
简介智谱是清华大学技术成果转化公司中英双语千亿级大模型 GLM-130B对话模型 ChatGLM开源模型 ChatGLM-6BAI 提效助手智谱清言高效率代码模型 CodeGeeX多模态理解模型 CogVLM 文生图模型 CogView文生视频模型 CogVideo文生视频大模型开放平台 大模型体验中心编程调用# pip install zhipuai 请先在终端进行安装from zhipuai import temperature= 0.95, max_tokens=1024, stream=True)for trunk in response: print(trunk)总结国内开源大模型的领先者 ， 大模型领域的经典成功商业案例
53510编辑于 2024-10-28 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（一）：Tokenizer
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 本文重点介绍Tokenizer类。 **编码**：将tokens转换为数字ID，这些ID是模型的输入。每个token在词汇表中有一个唯一的ID。 4.
1.7K12编辑于 2024-08-13 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十二）：Evaluate模型评估
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 本文重点介绍Evaluate模型评估。 二、Evaluate模型评估 2.1 概述 Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。 下面是一个使用Python和Transformers库进行模型评估的基本步骤，假设你已经有了一个预训练模型和相应的数据集处理器。 创建训练和评估数据集 train_dataset = encoded_dataset['train'] eval_dataset = encoded_dataset['test'] 2.2.6 步骤6:
1K10编辑于 2024-08-13 - 来自专栏YO大数据
【AI大模型】从零开始运用LORA微调ChatGLM3-6B大模型并私有数据训练
AI和清华大学 KEG 实验室联合发布的对话预训练模型。 ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3 -6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3 总结 到这里已经完成了LORA微调ChatGLM3-6B，整体下来如何自己造的数据不够多和精准，效果并不是那么好 后续将更新更多微调方式 需要大模型语言包的朋友们可以看主页
3.7K02编辑于 2024-05-25 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十三）：Datasets库
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 test_size=0.2) train_dataset = train_test_split['train'] eval_dataset = train_test_split['test'] 2.2.6 步骤6:
72710编辑于 2024-08-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号