- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：构建智能大模型运维体系：模型健康度监测系统实践.8
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作，从代码生成到科学研究，大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源，但无法深入理解大模型服务的特殊行为模式，无法感知模型推理的内在质量，更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例，深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明，为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 多层次监控体系 系统构建我们采用了四层级的立体化监控架构，每一层都针对大模型服务的特定维度进行深度监控：系统资源层：基础硬件资源监控（CPU、内存、磁盘、网络），确保运行环境稳定模型运行层 ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
48843编辑于 2026-02-05 - 来自专栏token的技术分享
基于.NET8的AI大模型管理
此外，AIDotNet API还支持多种AI大模型，包括OpenAI、星火大模型、Claudia、智谱AI、Ollama、通义千问（阿里云）、AzureOpenAI以及腾讯混元大模型，满足了用户对各种AI 模型的需求。 基于.NET Core 8实现使用EntityFrameworkCore对于数据库操作。基于MiniApis提供WebAPI服务。 功能实现 支持用户管理 支持渠道管理 支持token管理 提供数据统计预览 支持日志查看 支持系统设置 支持接入外部Chat链接 支持支付宝购买账号余额 AI大模型支持列表 OpenAI （支持function ） 星火大模型（支持function） Claudia 智谱AI Ollama 通义千问（阿里云） AzureOpenAI（支持function） 腾讯混元大模型 支持数据库 SqlServer 配置类型
43210编辑于 2024-05-28 - 来自专栏社区动态
AI日报｜文生语音大模型国内外均有突破，Pika完成6亿新融资，视频大模型也不远了！
AI日报｜智谱AI再降价，同时开源9B系列模型；国内外气象大模型竞逐升级字节推出文本到语音模型家族Seed-TTS：擅长情感表达，与真人几乎无异字节跳动推出文本到语音模型家族——SEED TTS，其核心亮点在于生成的语音音色高度接近人类 并且Stable Audio Open一大亮点是用户可基于个人音频资料微调模型，让生成的内容更加个性化。 https://techcrunch.com/2024/06/05/stability-ai-releases-a-sound-generator/Pika完成全新6亿融资，即将发布全新视频生成大模型AI 视频生成初创公司Pika日前已完成总额8000万美元的B轮融资，由Spark Capital领投，Greycroft、Lightspeed Venture Partners以及Jared Leto参投， 截至目前，Pika总融资额已达1.35亿美元。Pika用户数达到数百万，每周生成数百万个视频。同时，Pika已租用数百个量级的GPU（图形处理器）芯片，用于模型训练和推理计算。
57310编辑于 2024-06-07 - 来自专栏AI科技评论
独家｜非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资
RWKV是国产开源的首个非Transformer架构的大语言模型，目前已经迭代到第六代RWKV-6。 彭博6岁开始编程，拥有30多年编程经验，迄今RWKV的基底模型都是由他一个人训练的。他认为，大模型被少数公司垄断会对于人类存在风险，所以训练出RWKV后便开源了，目的是想创建一个更开放的模型生态。 他认为目前的OpenAI过于封闭，他希望做更开放的事情，所以给出的回复是“如果以后OpenAI愿意做开源的大模型，欢迎合作”。 国内已经有一些公司在尝试用RWKV来训练模型，国外拿RWKV开源进行创业，拿到融资的，据罗璇了解已经超过10家。 据罗璇透露，此次融资的钱主要用于工具栈建设、孵化生态、孵化应用，模型训练主要靠赞助和合作，现在最大的阻碍是需要更多算力，所以训练出千亿模型仍然是他们当前最具挑战性的任务。
1.8K10编辑于 2024-01-23 - 来自专栏MavenTalk
开源社区大模型目前面临的8大瓶颈问题
但面对商业化的ClosedAI和OpenAI等语言模型，还存在一些瓶颈。 数据量不足，预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练，导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限，GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数，很难进行长时间的预训练，无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 商业化受限，收入有限，难以持续投入 开源社区很难直接通过模型商业化来获得持续的财务支持，长期投入会面临资金短缺问题。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强，部署时存在不确定性，这也是限制其应用的一个因素。
68330编辑于 2023-09-06 - 来自专栏MavenTalk
8家国产AI大模型开放使用，人手一个大模型的时代来临
什么是大模型 先做个扫盲，AI大模型是“人工智能预训练大模型”的简称。语言模型是一种人工智能模型，它被训练成理解和生成人类语言。 这8家分别是谁 百度（文心一言） 抖音（云雀大模型） 智谱AI（GLM大模型） 中科院（紫东太初大模型） 百川智能（百川大模型） 商汤（日日新大模型） MiniMax（ABAB大模型） 上海人工智能实验室 （书生通用大模型） 书生通用大模型与云雀大模型我确实是第一次听说，国内大模型再现当年百团「团购」大战的身影，截至2023年7月,中国累计已经有130个大模型问世。 MiniMax（ABAB大模型） https://www.sensetime.com/ 商汤（日日新大模型） https://intern-ai.org.cn 上海人工智能实验室（书生通用大模型） 至于这8家的AI大模型的能力如何，交给你来评判吧。不过至今为止，依旧是无人能挑战ChatGPT的霸主地位。 祝你早日用上AI大模型，帮助自己提升工作、生活、学习效率。
3.3K40编辑于 2023-09-06 - 来自专栏老张的求知思考世界
全链路压测(8)：构建三大模型
梳理核心链路的一个重要目的是获得流量模型。但在全链路压测中，除了流量模型，业务模型和数据模型一样重要。这篇文章，为大家介绍如何构建这三大模型。 下图是一个常见的电商双11大促时候的业务场景模型图，我以这个思维导图为例来做分析说明。 峰值流量模型 预估的流量模型要以峰值流量场景来预估，否则很可能由于错误的预估导致准备不足而致使大促期间线上出现问题。这不仅是一个技术和监控的问题，还要综合考虑本次大促期间业务目标以及业务转化率的因素。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。 ，确认以下信息： 是否有热点数据相关的操作：比如说所有用户秒杀同一件商品； 不同类型数据处理逻辑有差异时，需通过测试数据多样化提高性能测试代码覆盖率； 缓存数据：要确认是否有缓存，缓存大小为多少（排除大key
1.6K30编辑于 2022-05-17 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
87501编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.7K30编辑于 2023-10-10 - 来自专栏大模型应用
大模型应用：大模型量化：INT4与INT8核心差异、选型指南及代码实现.53
一、引言 大模型的量化我们前期也探讨了基础概念和实践原理，针对CPU的量化流程做了通俗易懂的基础说明，但实际应用场景往往是需要GPU的落地实践，随着大模型参数规模突破千亿级别，存储大、显存高 压缩比的直观数学说明：INT8压缩比：32位 → 8位，压缩率75%，只有原始的1/4大小INT4压缩比：32位 → 4位，压缩率87.5%，仅有原始的1/8大小实际存储示例：原始10亿参数模型（FP32 "# 测试提示词PROMPT = "请简要介绍大模型INT4和INT8量化的核心区别"# 计算模型显存占用的工具函数def calculate_model_memory_usage(model): 五、总结 简单而言，大模型INT8和INT4量化，本质就是给笨重的高精度模型减减肥，让它又小又快，还能在普通设备上跑。 总的来说，量化不是瞎压缩，是用一点点精度损失，换存储、显存减半甚至减八成，推理速度还能快 2~5 倍，让原本只能在高端GPU上跑的大模型，在普通环境也能轻松用起来，是大模型落地的关键技巧。
1.3K55编辑于 2026-03-23 - 来自专栏自然语言处理(NLP)论文速递
ICLR2024 | 分享 8篇Spotlight论文，涉及多模态大模型、大模型优化、RLHF等热门话题！
今天给大家整理了8篇值得阅读的Spotlights论文，其中主要涉及多模态大模型、Transformer多头注意力、上下文预训练、安全RLHF、LLM指令微调、大模型数据隐私、生成流网络等热门方向。 多模态大模型框架 https://openreview.net/attachment? 对不同规模和类型的大模型进行的大量实验表明，现有的大模型仍然缺乏事实知识，并且存在各种虚假相关性。本文认为这是实现可信人工智能的关键瓶颈。数据集 Pinocchio 和我们的代码将公开。 该技术在提高中等规模的大模型性能方面显示出特别的优势，有时甚至可以与更大的模型变体相媲美。本文提出了两个问题： 1、指令调整模型对指令的特定短语有多敏感？ 2、如何使它们对这种自然语言变化更加鲁棒？ 我们证明这种方法持续提高了指令调整模型的稳健性。 大模型数据隐私 https://openreview.net/attachment?
3.4K10编辑于 2024-01-20 - 来自专栏量子位
阿里领投Minimax 6亿美元融资，5家大模型独角兽集齐了
彭博社消息称，新一轮融资或将使MiniMax估值超25亿美元。据悉目前阿里和红杉已承诺将参与本轮融资，其余跟投者还在洽谈中，相关条款可能会有所调整。 自大模型浪潮以来，阿里可谓研投并进，不仅自家正开发通义千问等大模型产品，且投资出手不是一般积极—— 大模型创业独角兽、有着“大模型五虎”之称的智谱、百川、月之暗面、零一万物，加上MiniMax，投了个遍 MiniMax员工最早给大模型起了个昵称叫 “ABAB”，以此模仿语言能力训练初期，模型像婴儿般口齿不清，只会“阿巴阿巴”。 基础模型（base）、聊天模型（chat）以及量化模型（包括Int4和Int8 GPTQ模型，以及AWQ和GGUF量化模型）全都有。 月之暗面新一轮融资超10亿美元，估值已飙升至约25亿美元。 可见，目前国内头部大模型企业融资依然畅开，“军备竞赛”仍在继续。
90210编辑于 2024-03-07 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
2K10编辑于 2024-10-09 - 来自专栏运维开发故事
探索AI+k8s：如何使用Deepseek大模型增强k8s-dashboard
基于 AMIS 构建，并通过 kom 作为 Kubernetes API 客户端，k8m 内置了 Qwen2.5-Coder-7B 模型交互能力，同时支持接入您自己的私有化大模型，比如deepseek模型 "sk-xxxxxxx") -m, --chatgpt-model string 大模型的自定义模型名称 (default "Qwen/Qwen2.5-7B-Instruct OPENAI_API_URL "" 大模型的 API URL OPENAI_MODEL Qwen/Qwen2.5-7B-Instruct 大模型的默认模型名称，如需DeepSeek，请设置为deepseek-ai AI诊断报告呈上，有没有感觉很酷～ 4.4 AI智检 智检功能主要是引用了k8s_gpt工具中预置的规则使用大模型，进行集群的智能巡检，目前平台支持集群，节点，部署，有状态集，容器组，svc，ingress 无论是需要快速查看集群状态，还是解决复杂的配置和运行问题，k8m 都能为开发者和运维团队提供可靠支持。同时，它兼容本地化大模型部署，有效解决了数据安全和访问效率问题，为企业提供更高的自主性。
90110编辑于 2025-03-27 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 什么是大模型中的涌现？在较小的模型中不出现，而在较大的模型中出现的能力，称为涌现。 我们看这张图片，它包含8张子图。分别在是八个不同的子任务下测试大模型的few-shot的能力。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
2K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.4K29编辑于 2023-11-22 - 来自专栏域名资讯
暴风TV启用bftv.com 获8亿融资
暴风TV获得8亿元来自东山精密和如东鑫濠的战略投资。其官网域名系bftv.com。 [图片] 图：网站 据了解，这是暴风上市以来zui大的一笔融资，而之所能够成功融资8亿，源于扎实的企业团队和文化和还有面向未来对的方向。 暴风TV CEO刘耀平表示：“此次完成8亿元战略融资，暴风TV的发展驶入快车道，迎接新拐点，在2018年要保持实现AI电视第一、单用户盈利、家用投影份额第一。” 除了暴风TV获得融资外，另外，暴风魔镜也宣布与贵安新区达成3亿元战略合作和投资意向协议，将在贵安新区建设VR制造中心、VR内容中心、VR培训中心，可谓双喜临门。
1.4K00发布于 2017-12-08 - 来自专栏AIGC 先锋科技
Eir-8B 专为医学领域打造的先进大语言模型 ！
为此，作者引入了Eir-8B，这是一个起初基于LLaMA 3.1 Instruct-8B进行修改的8亿参数模型[5]。 模型合并 Fine-tuning之后，作者采用了一种模型合并策略将LaMA-3.1-8B-instruct模型与fine-tuned模型合并。 4 Evaluation 为了评估Eir模型（Enhanced IR Model）的潜力，作者开发了两种变体：专门针对阅读电子健康记录（EHR）数据的Eir-8B模型 [Eir-8B，专门用于文本分类任务 Eir-8B-prob]，以及关注问题回答任务的Eir-8B-prob模型。 而Eir-8B模型在得分上比Typhoon-v1.5x-8B-instruct 高2.8%，比GPT-3.5 Turbo 1106 高5.3%。
56110编辑于 2024-09-29 - 来自专栏AI科技评论
独家 | 多模态大模型初创企业“智子引擎”，近日完成千万元天使轮融资
作者 | 黄楠 编辑 | 陈彩娴 大模型在四五月份迎来“百家争鸣”，战况愈加激烈，有新玩家仍在陆续进场。 AI 科技评论获悉：近日，一家多模态大模型初创公司“智子引擎”完成了千万元天使轮融资。 “悟道”之后，唐杰、刘知远与黄民烈均基于大模型技术成立了公司，而人大的入局，为智源大模型“四大金刚”的创业阵容拉开了完满的序幕。 “悟道·文澜”团队，从事多模态大模型方向研究，卢志武任模型研发主力军。 在 ChatGPT 的热浪下，卢志武和高一钊看到了多模态研究在大模型时代的新机遇，成立多模态大模型公司“智子引擎”。 借鉴以往参与文澜模型研发的经验，“智子引擎”团队于今年的 3 月 8 日正式推出了自主研发的多模态对话大模型，并发布了第一款应用级多模态 ChatGPT 产品“元乘象 ChatImg”。
98720编辑于 2023-08-08 - 来自专栏流川疯编写程序的艺术
《书生大模型实战营第3期》基础岛 第2关 ：8G 显存玩转书生大模型 Demo
模型。 LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型 InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解 LMDeploy 部署 InternVL2-2B 模型 InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。 InternVL2 系列从千亿大模型到端侧小模型全覆盖，通专融合，支持多种模态。 后台等了三分多钟还是没有结果，我也不太看明白log 啥意思 其他学习内容 参考文献 大模型实战营 地址 https://openxlab.org.cn/models/InternLM/subject
46810编辑于 2024-08-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号