导读 在 2023 年 9 月 7 日举办的 2023 全球数字生态大会上,腾讯正式发布自研通用大语言模型——混元,并宣布通过腾讯云对外开放。 腾讯混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超 2 万亿 tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。 全链路自研是腾讯混元大模型的首要特点。据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个 token 开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。 目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。 得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。
在 2023 年 9 月 7 日举办的 2023 全球数字生态大会上,腾讯正式发布自研通用大语言模型——混元,并宣布通过腾讯云对外开放。本文将主要介绍混元的相关信息与腾讯发展大模型的态度与打法。 腾讯混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超 2 万亿 tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。 全链路自研是腾讯混元大模型的首要特点。据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个 token 开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。 目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。 得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。
在 2023 年 9 月 7 日举办的 2023 全球数字生态大会上,腾讯正式发布自研通用大语言模型——混元,并宣布通过腾讯云对外开放。本文将主要介绍混元的相关信息与腾讯发展大模型的态度与打法。 腾讯混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超 2 万亿 tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。 全链路自研是腾讯混元大模型的首要特点。据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个 token 开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。 目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。 得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。
众所周知,微软是 OpenAI 的主要支持者,为其投入了巨资,而且在自家系统与服务中广泛部署了 GPT 系列大模型。 但随着近期 AI 技术的突破、双方的分歧加剧,微软正开始在 AI 赛道上加码。 据知情人士透露,微软已经开发内部人工智能模型以与 OpenAI 竞争,这一战略性举措的目标是直接替代 OpenAI 的 o1、o3-mini 等核心模型,更标志着这对曾经的「黄金搭档」正在走向技术竞争的新阶段 除了加大力气推动自研模型之外,据说微软还在测试来自 xAI、Meta、Anthropic 和 DeepSeek 的替代 AI 模型,进而为 Copilot 中的技术赋能。 值得关注的是,该研究团队正通过思维链技术(Chain-of-Thought)提升大模型对复杂问题的处理能力,通过这种显式生成中间思维步骤来提升推理能力的方法,使得 MAI 在技术路线上与 OpenAI 目前微软已启动 MAI 模型在 Copilot 产品中的替代测试,相较于此前轻量级的 Phi 模型,新一代 MAI 在参数量级与场景适应性方面实现显著跃升。
相较于大模型玩家普遍把“重做一遍”视为创新路径时,WPS AI带来了另一种大模型创新方法论——与其“重做一遍”,不如去“重新发现”。 自今年4月18日首次亮相以来,WPS AI在短短50天里对多个核心办公场景进行了赋能,用“金山速度”不断刷新着生成式AI的应用边界。 如此惊人的进化速度,WPS AI是如何实现的? 同时,国内外都掀起了“百模大战”,从最开始出现的Transformer,到去年的GPT3.5、Stable Diffusion,再到今天GPT4、Llama2、Claude2等模型,还包括国内正在自研的基础模型如百川 目前全球各国对于企业使用大模型的数据安全要求已日益提升。 不少企业在构建大模型时也普遍要求私有化部署,即在加密环境中使用私有数据训练模型,以控制相关数据和模型的安全风险。 相关阅读 AI大模型终于走到了数据争夺战 大模型时代,AI基础软件机会何在? 打造生成式AI应用,什么才是关键?
,国产全自研AI大模型的新机遇、未来发展的新目标、赋能万物的新范式,与央视网以“支持国产 赋能品牌”为核心的「人人都爱中国造」品牌助力行动携手,共同焕新人们生活新方式。 智谱AI最大的核心竞争力,就是其实现了大模型生成AI的全链路自主可控,专注做大模型的中国创新。智谱AI自研了具有完全知识产权的预训练框架GLM, 并自建训练平台,拥有从零开始搭建平台和运维平台的能力。 提质新智能:专业科技走向大众生活 在智谱AI公布落地行业案例之前,业界对其的关注度一直很高,关注的焦点主要在于其自研模型具备的通用性以及多模态能力。 2023年8月,智谱AI的生成式AI助手“智谱清言”作为第一批通过备案的大模型产品上线。 当全社会的目光在关注科技行业日新月异进展的时候,或许会在不知不觉中发现,AI大模型已经植入生活、融入日常,砥砺前行的国产自研人工智能技术已经加速深入寻常百姓家。
机器之心报道 编辑:泽南 大语言模型,vivo 也做到了几个「业内第一」。 国内头部手机厂商,最近正在集中发布通用大模型和自研操作系统,而 vivo 正在把两者高度融合在一起。 11 月 1 日,vivo 在 2023 开发者大会上正式发布了自研 AI 大模型「蓝心 BlueLM」和全平台自研操作系统「蓝河 BlueOS」。 「经过多年的准备,今天 vivo 发布自研大模型矩阵,其中也包含手机行业内的首个开源大模型。」vivo 高级副总裁、首席技术官施玉坚说道。 「我们的自研大模型可以把新的用户体验带到每个用户手中,它可以完成各种你想做的事情。」 这款手机搭载骁龙 8Gen3,16+16G 内存,还有自研电竞芯片 Q1。 我们期待大模型在新一代移动设备上的表现。 © THE END 转载请联系本公众号获得授权
明敏 发自 厦门 量子位 | 公众号 QbitAI 美图自研大模型3.0,正式发布! 并且全面应用于美图旗下影像与设计产品。 这是自美图大模型面世100天后的最新迭代。 美图公司创始人、董事长兼CEO吴欣鸿透露,现在美图大部分产品都融入了自研大模型。 除了影像和设计领域,美图自研大模型还将在电商、广告、游戏、动漫、影视五大行业发力。 美图秀秀可直接体验 美图自研大模型名叫MiracleVision(奇想智能)。 其最显著的特点是更懂美学。 其一,美图快速迭代自研大模型,在100天时间里让模型生成效果更加丰富且可控,能在满足用户新鲜体验的基础上,提供更加具有实用价值的图像设计作品。 其二,美图选择了五大方向,面向生产者提供了AI设计工具。 底层为MiracleVision自研大模型。 中间层由美图AI开放平台、美图创意平台、美图AI助手RoboNeo组合而成,分别负责开放共享AI技术、搭建创作者生态、聚合美图影像服务。
今年初,全球人工智能领域掀起了一场关于文生视频大模型Sora的热议,这是一款仅需一段文字指令就能生成逼真视频的模型。 最近,我国自主研发的另一款文生视频大模型Vidu在2024年中关村论坛年会上首次亮相,这款模型以其“长时长、高一致性、高动态性”的特性引发了广泛关注。 清华大学人工智能研究院副院长、生数科技首席科学家朱军说,目前国内的视频大模型生成的视频时长大多为4秒左右,而Vidu则能够一次性生成长达16秒的视频。 此外,Vidu还能生成如熊猫、龙等各种形象,点击下面链接可观看原视频: 据了解,Vidu的技术突破来自于团队在机器学习和多模态大模型方面的长期积累。 朱军表示:“作为一款通用视觉模型,我们坚信,Vidu未来能够支持生成更多样化、更长时长的视频内容,探索各种生成任务。其灵活的架构也将兼容更广泛的模态,进一步推动多模态通用能力的边界。”
明敏 发自 厦门 量子位 | 公众号 QbitAI 美图自研大模型3.0,正式发布! 并且全面应用于美图旗下影像与设计产品。 这是自美图大模型面世100天后的最新迭代。 美图公司创始人、董事长兼CEO吴欣鸿透露,现在美图大部分产品都融入了自研大模型。 除了影像和设计领域,美图自研大模型还将在电商、广告、游戏、动漫、影视五大行业发力。 美图秀秀可直接体验 美图自研大模型名叫MiracleVision(奇想智能)。 其最显著的特点是更懂美学。 其一,美图快速迭代自研大模型,在100天时间里让模型生成效果更加丰富且可控,能在满足用户新鲜体验的基础上,提供更加具有实用价值的图像设计作品。 其二,美图选择了五大方向,面向生产者提供了AI设计工具。 底层为MiracleVision自研大模型。 中间层由美图AI开放平台、美图创意平台、美图AI助手RoboNeo组合而成,分别负责开放共享AI技术、搭建创作者生态、聚合美图影像服务。
该工具通过部署自主AI智能体,对大语言模型的行为进行自动化审计,旨在识别模型可能存在的多种风险倾向,包括欺骗用户、告密行为、配合人为滥用以及助长恐怖主义等。 该机构表示,为展示Petri的能力,已用它审计了14个领先的大语言模型。 在博客中解释说,由于大语言模型行为的复杂性和多样性超出了研究人员手动测试所有潜在风险场景的能力,像Petri这样的智能体工具便显得尤为重要。 该机构表示,因此该工具适合希望对新AI模型进行探索性测试的开发者,以便在公开发布前提升模型的整体安全性。它显著减少了评估模型安全性所需的手动工作量。 在某些场景中,其智能体可能会向模型透露它们正在被测试,这可能导致模型掩盖不必要的行为。
它的样子长这样: 这手势,这形状,不禁会让人想起下面这些“名场面”: 这也太像了吧…… 难道联想也在自研芯片?? 联想自研的是芯片吗? 联想发布LA2的时候,对它的介绍也就是短短几分钟的时间。 但了解芯片的朋友都知道,自研一款芯片并不是一件易事。 首先是自研芯技术的本身,难度可以说是堪比航天飞机,毕竟要在指甲盖大小的地方要“塞进”上亿个半导体元件,每个还都纳米级的,这种密集度的研发难度可见一斑。 那么接下来的一个问题便是: 联想为什么要自研芯? 其实在LA2发布芯片之前的一段时间,联想CEO杨元庆就曾发出过暗示的信号: 不排除自研芯片的可能,也不排除合作的可能。 首先,联想在近几年内,旗下的三大投资公司(联想创投、联想之星、君联资本),已经投资了国内20多家芯片公司。
2022年9月份微信AI推出自研NLP大规模语言模型WeLM ,该模型是一个尺寸合理的中文模型,能够在零样本以及少样本的情境下完成包多语言任务在内的多种NLP任务。 在国内以中文为核心的大规模语言模型领域,微信AI推出的百亿级别大规模语言模型WeLM,是大模型百家争鸣中的新选手。 什么是WeLM WeLM 是一个非常擅长理解和生成文本的通用语言模型,是微信AI团队推出的自研NLP大规模语言模型。 和GPT3、Google PaLM一样,选择了自回归模型的路线。 在与业界同级别大模型的对比测试中,WeLM表现出极强的知识储备,在14项中文NLP任务上,WeLM 的整体表现超出了所有同大小的模型,甚至能够匹配比它大25倍的模型。
其中,TDSQL-A还具有自研列式存储引擎,能支持行列混合存储,对分析模型下的查询语句性能做到了极致优化。 2 自研列存储带来极致优化性能 我们今天主要分享两个方面,一个是TDSQL-A自研列存储,另外一个是基于自研列存储的优化器相关优化。现在先来看看TDSQL-A的自研列存储。 列存储对具体的查询模型或者访问模型本身是有特殊优化的。传统情况下,数据库更多的是偏向事务型的场景,在每次数据写入的时候,都会把整行写到存储上面,一次磁盘IO可以访问所有列。 2.1 TDSQL-A自研列存储整体设计 这部分主要是介绍我们针对列存储所做的优化。TDSQL-A在设计列存储之前就已经去充分调研过客户相关的需求,下面这张图就把我们的整个能力完整地呈现了出来。 2.3 TDSQL-A基于自研列存储的三大优势 针对一些有特定特征的场景, TDSQL-A可以用轻量级压缩算法来做一个更高效的压缩,对于通用的一些场景,通过透明压缩算法也可以达到一个比较好的整体压缩效果
双足机器人赛道,又迎来一名搭载AI大模型的玩家。 西湖机器人,西湖大学机器智能实验室的转化项目,被曝将重点涉猎双足机器人领域,并且是搭载GPT大模型的版本,以行为/轨迹为核心那种。 还有来自市场的消息表示,因为转化自西湖大学,其迈向双足及大模型的道路拥有两条支线的诸多明星实验室加持。 但与现在的进军“双足+AI大模型”不同,西湖机器人成立之初,目标整体围绕四足机器人展开。 根据目前公开的宣传视频来看,其旗下四足机器人本体可以完成一些基础的灵巧行动。 也就是说,西湖机器人在这条赛道上面临的路并不是那么好走——尤其在今年具身智能大爆发,诸多优秀选手纷纷入局的大背景下。
作者 | 褚杏娟 9 月 7 日,2023 腾讯全球数字生态大会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生正式发布全链路自研的通用大语言模型:混元大模型。 混元大模型推理能力展示 腾讯集团副总裁蒋杰表示,开源大模型并不适应腾讯海量高并发场景,自研才能完全掌握技术内核,将大模型更好地融入到腾讯的技术栈中。 据悉,混元大模型以腾讯强大的算力基础设施为基础,腾讯掌握从模型算法到机器学习框架再到 AI 基础设施的全链路自研技术,包括从大规模、高质量、多样化的语料库,到创新的大模型算法,再到自研 Angel 机器学习框架和创新性的训练方法等研发能力 针对大模型容易“胡言乱语”的问题,腾讯通过自研“探真”算法进行事实修正,让混元大模型的幻觉相比主流开源大模型降低了 30%-50%;通过强化学习的方法,让模型学会识别陷阱问题,对安全诱导问题的拒答率提高了 此外,腾讯还自研了机器学习框架 Angel,使训练速度相比业界主流框架提升 1 倍,推理速度比业界主流框架提升 1.3 倍。 混元大模型测评数据 蒋杰表示,混元大模型已经成为腾讯的业务底座。
9700 400.0042 极好 31400 450.1071 极好 99700 500.0003 极好 316000 550.0099 极好 总结 默认中等,一笔交易成功后差不多良好了 在极端状态下,8笔交易都是 笔交易都是100分,那么升级为极好 目前状态下,极好范围是极端状态下,29笔到3160笔全部100分 调整分数范围代表含义可以缩小极好范围,增大优秀范围,比如优秀显示值设置650-900则需要极端状态下8-
根据The Information 5月6日的报道,微软公司即将推出一款全新的AI模型产品,内部代号为MAI-1,其参数数量达到了惊人的5000亿。值得一提的是,这款大模型产品由微软独自研发推出。 这个参数规模意味着MAI-1能够处理极其复杂的任务,并且很有可能在性能上与谷歌的Gemini 1.5,Anthropic的Claude 3以及OpenAI的GPT-4等知名大模型相匹敌。 对此,有微软员工表示,尽管MAI-1可能借鉴了Inflection旗下模型的部分技术,但可以肯定的是,MAI-1是一款全新的大语言模型,远超微软此前训练的任何开源模型。 自研出MAI-1,使得微软能够在大型语言模型领域获取优势,与其他包括谷歌,OpenAI在内的科技巨头形成了平起平坐的竞争关系。 因为MAI-1并不是一个单纯的AI大模型,微软推出它,所追求的深层原因有很多,包括追求技术独立性,增强市场竞争力,长期投资与资源积累,产品差异,内部研发动力,战略转移等等。
应对AI规模化应用的效率与成本挑战 企业面临大模型训练成本高、推理效率低、多模态理解与生成能力不足的共性瓶颈。腾讯混元通过全链路自研技术体系,突破算力约束与架构限制,实现高性能与低成本的统一。 混元大模型核心能力矩阵 思考能力:混元文生文模型采用同构/异构MoE架构,支持256K~百万级长窗口输入,具备多轮对话、意图识别、AI搜索等能力。 技术突破与开源贡献 星脉高速网络:全链路自研400G交换机、光模块与网卡,单节点3.2T带宽,通信性能提升30%,成本比InfiniBand下降70%(来源:腾讯云技术报告)。 选择腾讯混元的三大理由:全链路自研技术确保安全可控;开源生态降低应用门槛;700+内部业务场景验证为行业提供最佳实践参考。 数据来源:腾讯混元技术白皮书、腾讯内部业务数据、中国电子学会认证报告、SuperCLUE基准测试2024年8月报告
腾讯内部一些基础服务比如统一鉴权登录、社交关系链、支付被内部很多其他业务调用,调用方往往横跨几个事业群,几十个部门,有数百个模块,上万台设备。