一、大模型登记具体流程登记是针对调用第三方已备案大模型API接口的企业或开发者所进行的合规性备案。大模型登记同样需要与网信办取得联系,了解备案要求和具体流程。 根据相关流程,准备以下材料,包括但不限于:按要求准备好材料后,根据属地网信办要求进行提交,并关注生成式人工智能服务登记信息公告或当地网信办公众号上获取上线编号,并在显著位置或产品详情页面标明所取得的上线编号 二、重点(一)双备案很常见:算法备案是前提,即使只是调用大模型API也许先行完成;规模较大的企业建议算法与大模型登记同步进行(二)常见拒绝原因:训练语料未经授权,输出内容缺乏安全控制,材料不完整/不一致 (三)备案后维护:披露备案号,内容安全实时更新,信息变更同步备案三、算法备案、大模型备案、大模型登记的区别
一、大模型登记与备案的基本概念区分 根据《生成式人工智能服务管理暂行办法》及相关监管要求,大模型备案与大模型登记是两个既有联系又有区别的概念。 大模型登记则适用于通过API接口或其他方式直接调用已备案大模型能力,且面向境内公众提供具有舆论属性或社会动员能力的生成式人工智能服务。 二、大模型登记全流程详解 1. 材料准备阶段 大模型登记所需核心材料包括:信息采集表:涵盖企业基本情况、功能服务、内容审核等 重点材料:生成式人工智能(大语言模型)调用已备案大模型上线备案表、调用已备案大模型情况说明及相关证明材料、产品服务协议 与大模型备案相比,登记无需提交安全评估报告。
大模型备案及登记全解析:从概念到政策红利摘要本文详细阐述了大模型备案及登记的相关内容,包括大模型备案与登记的定义、所需资料清单、详细流程、公示方式,并深入分析了广东省不同地区针对大模型备案和登记所出台的政策红利 2.2 大模型登记网信部门会同相关部门,依据《生成式人工智能服务管理暂行办法》及相关要求,开展大模型登记工作。 值得注意的是,大模型登记的材料要求与大模型备案基本一致,仅在大模型登记时无需提交安全评估报告。 五、大模型备案和登记公示经中央网信办审核通过后,网信部门会采取公示措施,向备案大模型授予备案号,向登记大模型授予上线编号,并在官方网站上对外公示,同时定期更新相关信息。 六、广东省大模型备案和登记政策红利广东省各地政府为了鼓励企业积极开展大模型备案和登记工作,推动生成式人工智能技术的发展和应用,出台了一系列丰厚的政策红利。
根据《生成式人工智能服务管理暂行办法》等相关法规,大模型登记和大模型备案是两个常被混淆但实质不同的合规流程。 一、大模型备案与大模型登记的区别对比维度大模型备案大模型登记适用对象(关键判断点)自己研发的大模型;或拿别人已备案的模型做了“微调”“二次开发”(比如改了训练数据、调了模型参数)直接用别人已备案的大模型 某企业用已备案模型做内部客服机器人后续监管定期交更新报告,监管部门持续抽查主要查“是否偷偷改模型”,监管频次低二、办理大模型登记的周期是多久? 三、大模型登记核心材料清单大模型登记的材料不用像备案那样“堆成山”,核心围绕“调用合法性”和“内容安全性”准备,共6类关键材料:1.基础身份类:证明“你是谁”材料清单:企业营业执照(复印件盖公章)、法人身份证复印件 以上就是大模型登记的基本流程与注意事项,有其他备案或登记疑问的欢迎随时在评论区交流。
在此背景下,"大模型备案"与"大模型备案登记"制度应运而生,成为平衡技术创新与社会治理的关键举措。在此,我整理了一些资料以便友友们可以更好地区分两者。 一、两者的异同1.申请前提条件共同点:大模型备案和大模型备案登记的前提是模型具备舆论属性不同点:如果模型自主进行开源或调用其他模型基座进行过微调、有自己的训练语料可以进行大模型备案、如果是借用第三方接口 2.提交路径大模型备案:线下属地网信办提交大模型登记:线下属地网信办提交3.审核部门大模型备案:省级网信办、国家网信办大模型登记:省级网信办(当地网信)4.产品阶段大模型备案:产品已达上线前最后阶段,已经完成内测 6.时间周期大模型备案:5个月-8个月(具体以网信办实际情况为准),具体根据不同省市网信办大模型登记:一般3-5个月(具体以网信办实际情况为准),具体根据不同省市网信办二、两者所需准备的材料1.大模型备案大模型的基本情况 2.大模型登记登记备案申请表;调用第三方已备案大模型的证明材料(如 API 接口协议);产品服务协议对于难易程度上来讲大模型备案相较于大模型备案登记步骤更复杂、备案周期更长一些。
最近多地网信办接连公示了大模型备案通过的名单,继广州海珠区奖励申报通道开启后,咱们上海徐汇区大模型备案奖励及服务登记奖励项目申报也开始了,已通过大模型备案或大模型登记的企业,记得去申报奖励噢,正在进行备案的企业也可以先收藏这篇文章 二、大模型备案与大模型登记奖励申报条件参照国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》及上海市委网信办开展生成式人工智能服务登记工作要求,在2025年8月31日前完成生成式人工智能服务备案或登记手续的企业机构 申报期限:2025年8月29日至2025年9月12日申报流程:申报单位根据项目情况填写《申报表》并提供相关附件。将纸质材料装订成册,签字盖章寄送到徐汇区人民政府,电子材料发送至指定邮箱。 三、大模型备案与大模型登记奖励申报材料(1)《徐汇区大模型备案奖励项目申报表》或《徐汇区大模型服务登记奖励项目申报表》(2)申报单位统一社会信用代码证书复印件(3)申报单位法人代表和项目负责人有效身份证明文件 (4)完成生成式人工智能服务备案或登记的证明材料(5)申报承诺书四、大模型备案与大模型登记奖励申报材料提交方式(1)纸质材料将上述列出的五个纸质材料装订成册,需签字盖章齐全,封面、骑缝以及明确规定处需加盖公章
面对“算法备案”、“大模型备案”与“大模型登记”这三套高度相似却又截然不同的制度,很多企业由于认知模糊而频繁踩坑。今天,小编为您带来行业最前沿的AI合规准入指南。 必须针对你的应用层办理“大模型登记”(上线编号)并视情况办理对应的算法备案。 3.大模型登记(应用层上线登记):管的是“调用方与应用场景安全”实务口径:针对直接调用已备案的第三方大模型能力,未自行训练、深度微调,仅提供应用层界面或流程控制的产品(如各类套壳APP、智能体、轻量小程序 【核心差异多维对比矩阵表】对比维度互联网信息服务算法备案生成式AI服务备案(大模型备案)生成式AI服务登记(大模型登记)法律依据《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》网信部门针对应用层落地的公开口径监管重心算法推荐 3.大模型登记:核心在证明“API来源合法,应用控制有力”调用方虽然不用进行底层模型实测,但要完成大模型登记,必须证明你的接口来源合规:通关要点:企业需提供与已备案大模型提供商签署的API合作协议或授权文件
随着生成式人工智能技术的迅猛发展,我国逐步构建起科学规范的大模型监管体系。2023 年 8 月,《生成式人工智能服务管理暂行办法》(以下简称《暂行办法》)的出台,标志着我国大模型监管进入制度化阶段。 一、概念界定(大模型备案 VS 大模型登记)1、什么是大模型备案? 2、大模型登记适用范围大模型登记适用于直接调用已备案大模型能力的生成式AI应用,且不涉及新增训练语料或模型的二次开发。 2、大模型登记材料清单大模型登记所需材料相对较少,通常包括:登记备案申请表;调用第三方已备案大模型的证明材料(如 API 接口协议);产品服务协议。大模型登记流程相对简化,只需通过属地网信办审批即可。 大模型备案号与大模型登记编号:大模型备案办理周期为4-6个月以上;而大模型登记编号办理周期为3-4个月左右。
在以往大模型备案公示信息中,我们可以看到除了有“已备案”的公示还有“已登记”的公示。很多小伙伴搞不明白大模型备案与大模型登记有什么区别,大家都在讲大模型备案该怎么做,怎么都没有大模型登记的攻略呢? 正好我最近有三个做大模型登记的客户刚通过审核,结合现有经验,今天就来跟大家一起聊一下大模型登记是个啥情况!一、大模型登记VS大模型备案首先,我们先理清楚,什么样的模型该做备案?什么样的模型去做登记? (1)大模型备案自研模型,具备舆论属性和社会动员能力调用第三方已备案模型为基座,经过微调和训练,有训练数据,且具备舆论属性和社会动员能力的模型(2)大模型登记直接调用第三方已备案大模型,没有经过微调和训练的模型需做大模型登记 五、登记模型的安全评估情况很多不太了解大模型登记的服务商都会对客户说:大模型备案与登记的区别就是大模型登记不需要做安全评估。其实不然,大模型登记也是需要安全评估的。 六、大模型登记的材料生成式人工智能调用已备案大模型上线备案表调用已备案大模型情况说明及相关证明材料产品服务协议内容安全管理制度拦截关键词库评估测试题测试账号及API接口文档大模型登记的进度和周期比大模型备案稍快一些
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作,从代码生成到科学研究,大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源,但无法深入理解大模型服务的特殊行为模式,无法感知模型推理的内在质量,更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例,深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明,为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 多层次监控体系 系统构建我们采用了四层级的立体化监控架构,每一层都针对大模型服务的特定维度进行深度监控:系统资源层:基础硬件资源监控(CPU、内存、磁盘、网络),确保运行环境稳定模型运行层 ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
此外,AIDotNet API还支持多种AI大模型,包括OpenAI、星火大模型、Claudia、智谱AI、Ollama、通义千问(阿里云)、AzureOpenAI以及腾讯混元大模型,满足了用户对各种AI 模型的需求。 基于.NET Core 8实现使用EntityFrameworkCore对于数据库操作。基于MiniApis提供WebAPI服务。 功能实现 支持用户管理 支持渠道管理 支持token管理 提供数据统计预览 支持日志查看 支持系统设置 支持接入外部Chat链接 支持支付宝购买账号余额 AI大模型支持列表 OpenAI (支持function ) 星火大模型(支持function) Claudia 智谱AI Ollama 通义千问(阿里云) AzureOpenAI(支持function) 腾讯混元大模型 支持数据库 SqlServer 配置类型
答案是:不用,但是想要模型场景合规,可以做“大模型登记”在此,我整理了一些相关”大模型等级“的资料,供需要的友友们参考! 二、大模型登记相关信息1.审批机构:省/直辖市/自治区网信办(无需提交中央网信办)2.优点:周期短(3-5个月实际以网信办为准)、难度低、风险小3.适用业务:仅调用三方已备案大模型接口,无微调无训练数据 4.责任主体:大模型的调用方(使用方),核心目标是追踪大模型的应用场景,如应用范围,数据调用范围和风险等级评估等。 5.产品阶段:产品已达上线前最后阶段,已经完成内测,有可对外的产品或者demo,提交申请表,向网信办申请,该产品符合相关的安全性要求三、大模型登记流程(以江苏为例)第一步:对接省网信办,填写《企业信息表 》:企业名称、大模型名称、属地、联系人、联系方式、大模型类型、服务提供方式和服务提供范围等;第二步:提交企业信息后发放登记材料进行登记第三步:审查通过,省网信办发布登记公告,取得“上线编号”第四步:将“
最近,很多客户电话咨询大模型备案和登记,还有算法备案的相关问题,很多客户容易搞混,不了解大模型备案和登记到底是什么?今天,众森企服就给大家详细讲讲我的大模型服务到底需要备案还是登记? 一、大模型备案和登记的背景及意义1、大模型备案和登记的背景在人工智能技术快速发展的背景下,生成式人工智能服务的广泛应用引发了社会各界的关注。 二、国内大模型备案和登记情况截至2025年3月,国内总共通过了大模型备案505个,其中大模型服务备案345个,占比68.32%,大模型登记备案159个,占比31.48%。 2、大模型登记定义: 大模型登记,指的是“网信部门会同相关部门按照《生成式人工智能服务管理暂行办法》及相关要求,对通过API接口或其他方式直接调用已备案大模型能力,且面向境内公众提供具有舆论属性或者社会动员能力的生成式人工智能服务开展登记工作 (二)大模型登记1、大模型登记所需材料登记备案申请表:填写企业基本信息、所调用第三方大模型的相关信息(如模型名称、备案号、提供方等)、自身产品或服务的信息(如应用领域、服务对象、功能介绍等)。
但面对商业化的ClosedAI和OpenAI等语言模型,还存在一些瓶颈。 数据量不足,预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练,导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限,GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数,很难进行长时间的预训练,无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 商业化受限,收入有限,难以持续投入 开源社区很难直接通过模型商业化来获得持续的财务支持,长期投入会面临资金短缺问题。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强,部署时存在不确定性,这也是限制其应用的一个因素。
什么是大模型 先做个扫盲,AI大模型是“人工智能预训练大模型”的简称。语言模型是一种人工智能模型,它被训练成理解和生成人类语言。 这8家分别是谁 百度(文心一言) 抖音(云雀大模型) 智谱AI(GLM大模型) 中科院(紫东太初大模型) 百川智能(百川大模型) 商汤(日日新大模型) MiniMax(ABAB大模型) 上海人工智能实验室 (书生通用大模型) 书生通用大模型与云雀大模型我确实是第一次听说,国内大模型再现当年百团「团购」大战的身影,截至2023年7月,中国累计已经有130个大模型问世。 MiniMax(ABAB大模型) https://www.sensetime.com/ 商汤(日日新大模型) https://intern-ai.org.cn 上海人工智能实验室(书生通用大模型) 至于这8家的AI大模型的能力如何,交给你来评判吧。不过至今为止,依旧是无人能挑战ChatGPT的霸主地位。 祝你早日用上AI大模型,帮助自己提升工作、生活、学习效率。
梳理核心链路的一个重要目的是获得流量模型。但在全链路压测中,除了流量模型,业务模型和数据模型一样重要。这篇文章,为大家介绍如何构建这三大模型。 下图是一个常见的电商双11大促时候的业务场景模型图,我以这个思维导图为例来做分析说明。 峰值流量模型 预估的流量模型要以峰值流量场景来预估,否则很可能由于错误的预估导致准备不足而致使大促期间线上出现问题。这不仅是一个技术和监控的问题,还要综合考虑本次大促期间业务目标以及业务转化率的因素。 预估大促时的支付转化率为60%,则可得:大促峰值订单支付QPS为(200/40%)*60%*(200W/50W)=1200QPS。 ,确认以下信息: 是否有热点数据相关的操作:比如说所有用户秒杀同一件商品; 不同类型数据处理逻辑有差异时,需通过测试数据多样化提高性能测试代码覆盖率; 缓存数据:要确认是否有缓存,缓存大小为多少(排除大key
在人工智能这个充满无限可能的领域内,通用大模型和垂直大模型各有千秋。就我个人而言,在二者之间的选择上,并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求,来挑选最为契合的大模型。 通用大模型通用大模型,乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面,通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时,选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而,由于垂直大模型的训练内容聚焦于当前行业,其涉猎的范围更集中,数据针对性更强,所以在提供专业咨询时往往更加精准、细致,这也正是垂直大模型的独特价值所在。 因此,对于通用大模型或者垂直大模型,更倾向于哪一方不取决于个人想法,而是取决于用户需要。
大模型超越AI 目前所指的大模型,是“大规模深度学习模型”的简称,指具有大量参数和复杂结构的机器学习模型,可以处理大规模的数据和复杂的问题,多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域,以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数,而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战,包括: 以下是与大模型相关的一些代码示例: 计算资源需求: import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术:模型压缩和加速技术将继续发展,以减小大模型的计算和存储开销。 更好的计算平台支持:为了支持训练和部署大模型,计算平台将继续改进,提供更强大的计算资源和工具。
一、引言 大模型的量化我们前期也探讨了基础概念和实践原理,针对CPU的量化流程做了通俗易懂的基础说明,但实际应用场景往往是需要GPU的落地实践,随着大模型参数规模突破千亿级别,存储大、显存高 压缩比的直观数学说明:INT8压缩比:32位 → 8位,压缩率75%,只有原始的1/4大小INT4压缩比:32位 → 4位,压缩率87.5%,仅有原始的1/8大小实际存储示例:原始10亿参数模型(FP32 "# 测试提示词PROMPT = "请简要介绍大模型INT4和INT8量化的核心区别"# 计算模型显存占用的工具函数def calculate_model_memory_usage(model): 五、总结 简单而言,大模型INT8和INT4量化,本质就是给笨重的高精度模型减减肥,让它又小又快,还能在普通设备上跑。 总的来说,量化不是瞎压缩,是用一点点精度损失,换存储、显存减半甚至减八成,推理速度还能快 2~5 倍,让原本只能在高端GPU上跑的大模型,在普通环境也能轻松用起来,是大模型落地的关键技巧。
根据《生成式人工智能服务管理暂行办法》及2026清朗专项整治细则,两类主体必须完成合规登记,否则直接纳入查处范围:大模型备案企业自主研发的模型,或基于已备案的模型基座进行二次开发,训练、微调生成式大模型 大模型登记(API套壳/第三方模型调用)自身无自研基座,仅封装、调用已备案大模型API开发AI小程序、APP、网页工具、行业SaaS产品,需要完成大模型使用登记,属于本次清朗行动严查的“裸奔AI工具”范畴 自研模型或二次开发大模型,向公众提供服务——大模型备案+算法备案调用第三方大模型API,有独立应用层(网页/App/小程序)对外提供服务——大模型登记+算法备案涉及个性化推荐/排序精选过滤/检索/生成合成 主动备案的周期在6-8个月,但被责令整改后再补办,不仅面临罚款和下架风险,而且合规流程并不会因此加速。 ,大模型备案、登记已经是所有生成式AI产品的硬性准入门槛。