一、大模型登记与备案的基本概念区分 根据《生成式人工智能服务管理暂行办法》及相关监管要求,大模型备案与大模型登记是两个既有联系又有区别的概念。 大模型登记则适用于通过API接口或其他方式直接调用已备案大模型能力,且面向境内公众提供具有舆论属性或社会动员能力的生成式人工智能服务。 二、大模型登记全流程详解 1. 材料准备阶段 大模型登记所需核心材料包括:信息采集表:涵盖企业基本情况、功能服务、内容审核等 重点材料:生成式人工智能(大语言模型)调用已备案大模型上线备案表、调用已备案大模型情况说明及相关证明材料、产品服务协议 与大模型备案相比,登记无需提交安全评估报告。
一、大模型登记具体流程登记是针对调用第三方已备案大模型API接口的企业或开发者所进行的合规性备案。大模型登记同样需要与网信办取得联系,了解备案要求和具体流程。 根据相关流程,准备以下材料,包括但不限于:按要求准备好材料后,根据属地网信办要求进行提交,并关注生成式人工智能服务登记信息公告或当地网信办公众号上获取上线编号,并在显著位置或产品详情页面标明所取得的上线编号 二、重点(一)双备案很常见:算法备案是前提,即使只是调用大模型API也许先行完成;规模较大的企业建议算法与大模型登记同步进行(二)常见拒绝原因:训练语料未经授权,输出内容缺乏安全控制,材料不完整/不一致 (三)备案后维护:披露备案号,内容安全实时更新,信息变更同步备案三、算法备案、大模型备案、大模型登记的区别
大模型备案及登记全解析:从概念到政策红利摘要本文详细阐述了大模型备案及登记的相关内容,包括大模型备案与登记的定义、所需资料清单、详细流程、公示方式,并深入分析了广东省不同地区针对大模型备案和登记所出台的政策红利 2.2 大模型登记网信部门会同相关部门,依据《生成式人工智能服务管理暂行办法》及相关要求,开展大模型登记工作。 值得注意的是,大模型登记的材料要求与大模型备案基本一致,仅在大模型登记时无需提交安全评估报告。 对上一年度完成国家级生成式人工智能服务备案的人工智能行业大模型 + 企业,按照上一年度研发投入的 10%给予支持,每家企业每年支持最高不超过 100 万元。 对上一年度完成国家级互联网信息服务算法或深度合成服务算法备案的人工智能行业大模型 + 企业,按照上一年度研发投入的 10%给予支持,每家企业每年支持最高不超过 20 万元,促进企业在算法研发方面的投入和发展
根据《生成式人工智能服务管理暂行办法》等相关法规,大模型登记和大模型备案是两个常被混淆但实质不同的合规流程。 一、大模型备案与大模型登记的区别对比维度大模型备案大模型登记适用对象(关键判断点)自己研发的大模型;或拿别人已备案的模型做了“微调”“二次开发”(比如改了训练数据、调了模型参数)直接用别人已备案的大模型 某企业用已备案模型做内部客服机器人后续监管定期交更新报告,监管部门持续抽查主要查“是否偷偷改模型”,监管频次低二、办理大模型登记的周期是多久? 三、大模型登记核心材料清单大模型登记的材料不用像备案那样“堆成山”,核心围绕“调用合法性”和“内容安全性”准备,共6类关键材料:1.基础身份类:证明“你是谁”材料清单:企业营业执照(复印件盖公章)、法人身份证复印件 以上就是大模型登记的基本流程与注意事项,有其他备案或登记疑问的欢迎随时在评论区交流。
在此背景下,"大模型备案"与"大模型备案登记"制度应运而生,成为平衡技术创新与社会治理的关键举措。在此,我整理了一些资料以便友友们可以更好地区分两者。 一、两者的异同1.申请前提条件共同点:大模型备案和大模型备案登记的前提是模型具备舆论属性不同点:如果模型自主进行开源或调用其他模型基座进行过微调、有自己的训练语料可以进行大模型备案、如果是借用第三方接口 2.提交路径大模型备案:线下属地网信办提交大模型登记:线下属地网信办提交3.审核部门大模型备案:省级网信办、国家网信办大模型登记:省级网信办(当地网信)4.产品阶段大模型备案:产品已达上线前最后阶段,已经完成内测 6.时间周期大模型备案:5个月-8个月(具体以网信办实际情况为准),具体根据不同省市网信办大模型登记:一般3-5个月(具体以网信办实际情况为准),具体根据不同省市网信办二、两者所需准备的材料1.大模型备案大模型的基本情况 2.大模型登记登记备案申请表;调用第三方已备案大模型的证明材料(如 API 接口协议);产品服务协议对于难易程度上来讲大模型备案相较于大模型备案登记步骤更复杂、备案周期更长一些。
最近多地网信办接连公示了大模型备案通过的名单,继广州海珠区奖励申报通道开启后,咱们上海徐汇区大模型备案奖励及服务登记奖励项目申报也开始了,已通过大模型备案或大模型登记的企业,记得去申报奖励噢,正在进行备案的企业也可以先收藏这篇文章 奖励细则:鼓励经营主体取得生成式人工智能服务登记、备案,经认定,可给予单个经营主体累计最高500万元奖励。 二、大模型备案与大模型登记奖励申报条件参照国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》及上海市委网信办开展生成式人工智能服务登记工作要求,在2025年8月31日前完成生成式人工智能服务备案或登记手续的企业机构 三、大模型备案与大模型登记奖励申报材料(1)《徐汇区大模型备案奖励项目申报表》或《徐汇区大模型服务登记奖励项目申报表》(2)申报单位统一社会信用代码证书复印件(3)申报单位法人代表和项目负责人有效身份证明文件 (4)完成生成式人工智能服务备案或登记的证明材料(5)申报承诺书四、大模型备案与大模型登记奖励申报材料提交方式(1)纸质材料将上述列出的五个纸质材料装订成册,需签字盖章齐全,封面、骑缝以及明确规定处需加盖公章
面对“算法备案”、“大模型备案”与“大模型登记”这三套高度相似却又截然不同的制度,很多企业由于认知模糊而频繁踩坑。今天,小编为您带来行业最前沿的AI合规准入指南。 必须针对你的应用层办理“大模型登记”(上线编号)并视情况办理对应的算法备案。 3.大模型登记(应用层上线登记):管的是“调用方与应用场景安全”实务口径:针对直接调用已备案的第三方大模型能力,未自行训练、深度微调,仅提供应用层界面或流程控制的产品(如各类套壳APP、智能体、轻量小程序 【核心差异多维对比矩阵表】对比维度互联网信息服务算法备案生成式AI服务备案(大模型备案)生成式AI服务登记(大模型登记)法律依据《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》网信部门针对应用层落地的公开口径监管重心算法推荐 3.大模型登记:核心在证明“API来源合法,应用控制有力”调用方虽然不用进行底层模型实测,但要完成大模型登记,必须证明你的接口来源合规:通关要点:企业需提供与已备案大模型提供商签署的API合作协议或授权文件
一、概念界定(大模型备案 VS 大模型登记)1、什么是大模型备案? 2、大模型登记适用范围大模型登记适用于直接调用已备案大模型能力的生成式AI应用,且不涉及新增训练语料或模型的二次开发。 2、大模型登记材料清单大模型登记所需材料相对较少,通常包括:登记备案申请表;调用第三方已备案大模型的证明材料(如 API 接口协议);产品服务协议。大模型登记流程相对简化,只需通过属地网信办审批即可。 2、大模型登记的目的大模型登记的主要目的是保证服务的安全性和质量标准,保护最终用户的权益不受损害。 大模型备案号与大模型登记编号:大模型备案办理周期为4-6个月以上;而大模型登记编号办理周期为3-4个月左右。
在以往大模型备案公示信息中,我们可以看到除了有“已备案”的公示还有“已登记”的公示。很多小伙伴搞不明白大模型备案与大模型登记有什么区别,大家都在讲大模型备案该怎么做,怎么都没有大模型登记的攻略呢? 正好我最近有三个做大模型登记的客户刚通过审核,结合现有经验,今天就来跟大家一起聊一下大模型登记是个啥情况!一、大模型登记VS大模型备案首先,我们先理清楚,什么样的模型该做备案?什么样的模型去做登记? (1)大模型备案自研模型,具备舆论属性和社会动员能力调用第三方已备案模型为基座,经过微调和训练,有训练数据,且具备舆论属性和社会动员能力的模型(2)大模型登记直接调用第三方已备案大模型,没有经过微调和训练的模型需做大模型登记 五、登记模型的安全评估情况很多不太了解大模型登记的服务商都会对客户说:大模型备案与登记的区别就是大模型登记不需要做安全评估。其实不然,大模型登记也是需要安全评估的。 六、大模型登记的材料生成式人工智能调用已备案大模型上线备案表调用已备案大模型情况说明及相关证明材料产品服务协议内容安全管理制度拦截关键词库评估测试题测试账号及API接口文档大模型登记的进度和周期比大模型备案稍快一些
COMMENT '日志ID', log_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '日志时间', log_type ENUM('访客登记 -25', '09:00:00', '咨询业务'), (2, 2, '2023-10-26', '10:30:00', '提交资料'), (3, 3, '2023-10-27', '14:15:00', '面试'), (4, 4, '2023-10-28', '11:00:00', '参观公司'), (5, 5, '2023-10-29', '08:45:00', '商务洽谈'); INSERT INTO 待重新安排'); INSERT INTO system_logs (log_time, log_type, log_content, operator_name) VALUES (NOW(), '访客登记 ', '访客A已登记', '张三'), (NOW(), '接待处理', '成功接待访客B', '李四'), (NOW(), '访客登记', '访客C已登记', '王五'), (NOW(), '接待处理'
背景 随着人工时代的到来及日渐成熟,大模型已慢慢普及,可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化,主动成长。 LLAMA介绍 llama全称:Large Language Model Meta AI是由meta(原facebook)开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图: 下载羊驼模型(有点大) 先建一个文件夹:path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
技术不是万能的,但没有技术却可能是万万不能的,对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题,在自然语言处理领域,大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型, 我们是在解决具体的生产和生活中的问题,产品和技术上的设计仍然不可或缺。 那么,如果大模型正在重新构建软件工程的未来,我们是否应该遵循一些基本原则呢? 1. 因此,只要我们对模型进行适当的控制和引导,它就能成为我们工作中得力的“助手”。而这种控制的基础,就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此,我们在使用大模型时,应该保持理性和谨慎的态度,既要欣赏它们所带来的便利和进步,也要警惕它们的局限性和潜在风险。这样,才能更好地利用这些模型,推动基于大模型应用的健康发展。
基于笔者近年来的探索与实践,这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言,生成环境的运行时是一个推理架构。 大模型应用需要一个针对产品级大型语言模型的高效管理系统。 尽管我们已经有了一些探索,例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力,它们在各种控制平面和应用场景中都发挥着重要作用。然而,尽管大模型的应用范围广泛,但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景,但并不是所有场景都适合使用大模型。在设计系统架构时,我们需要根据具体需求和技术挑战来判断是否需要引入大模型,以确保系统的高效性和可靠性。 10.
,应运而生,它就像一把精准的尺子,为中文大模型的性能评估提供了标准化方案。 同样,没有CLUE这样的基准,我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白,更为模型研发提供了明确的方向指引。二. CLUE基准概述1. label] = metrics['f1-score'] if f1_scores: labels = list(f1_scores.keys())[:10 : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率(阅读理解)NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准,不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进,CLUE基准也将持续完善,更好地服务于大模型的研发和应用。 正如一句古语所说:"工欲善其事,必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现,通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类,但模型将其识别为正类。True Negative(TN):真负类。样本的真实类别是负类,并且模型将其识别为负类。 ,精确率越高,表示模型越好。 ,也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释:图片通过对分类阈值$\theta$(默认情况下是0.5,范围是0到1)从大到小或者从小到大排列,就可以得到多组TPR和FPR的取值,在二维坐标系中绘制出来就可以得到一条
下面就这 10 个灵魂拷问,分享一些我自己的观点。 做不做基础大模型? 如果做基础大模型,需要上亿美金的前期投入,如何融到这么多资,如何招到靠谱的算法、数据和 infra 团队? 但这样的模型推理成本会很高,就像现在 GPT-4 读一篇论文要 10 美金,只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大,因为 Transformer 的结构,很多场景下有效算力只有 10%~20%。如果做 batching,时延和带宽又会成为 trade-off。 我认为,大模型本身的智商固然重要,大模型与外部环境交互的能力和大模型之间协作的组织结构才能让大模型走得更远。 第一,如果读一篇论文还是像 GPT-4 那样需要 10 美金,生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金,大多数人就不可能用得起大模型。
作为一位老码农,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中的一些挑战,如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统,其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家,并行工作以处理查询。 10. 双重安全模式 围绕大型语言模型(LLM)的核心安全性至少包含两个关键组件:一是用户组件,我们将其称为用户Proxy代理;二是防火墙,它为模型提供了保护层。 随着我们们继续探索和创新,还会涌现出很多新的架构模式,而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列,也希望对此有兴趣的朋友联系我, 共同研究探索,致力于大模型应用的架构模式。
拥有10+年AI领域研究经验、复旦机器人智能实验室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍? 不用说,大多数消费设备(如手机、平板电脑、笔记本电脑)无法处理如此庞大的模型。但……如果我们可以让模型变小呢? 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_:这些方法是相互独立的。 知识蒸馏 知识蒸馏是将知识从一个(较大的)教师模型传递到一个(较小的)学生模型。一种方法是通过教师模型生成预测,并使用这些预测来训练学生模型。 令人惊讶的是,训练结束时,学生模型在所有评估指标上都超过了教师模型! 接下来,我们可以在独立的验证集上评估模型,即未用于训练模型参数或调整超参数的数据。
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解,因为它们不仅帮助我们理解如何打破这些系统,而且帮助我们理解如何更好地构建大模型应用系统。 1. 对于使用不太广泛或缺乏强大保护措施的微调模型来说尤其如此。 影响的严重性和本质可能会有很大的不同,并且很大程度上取决于模型操作的业务上下文和模型架构的代理。 明显的无意义字符创建了一种标记混乱的形式,混淆了模型的安全层,同时保持了核心请求的完整性。 目前,这种技术对于顶层模型只是部分有效。 对于那些尚未针对提示词提取尝试进行特别强化的模型,这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性,通过它们的交互机制传播妥协行为。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类,但是许多技术都属于其更广泛的类别: 提示注入、数据中毒和系统提示泄漏。
作为一位老码农,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中的一些挑战,如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统,其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家,并行工作以处理查询。 通过将大模型与基于规则的逻辑结合,我们能够融合结构化的精确性,旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型(LLM)的核心安全性至少包含两个关键组件:一是用户组件,我们将其称为用户 Proxy 代理;二是防火墙,它为模型提供了保护层。 没有结束 老码农认为,这些大模型应用的架构模式不仅仅是一种范式,很可能成为未来智能系统赖以成长的框架。