- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
88520编辑于 2023-08-28 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
85610编辑于 2025-06-27 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
1.2K00编辑于 2025-07-01 - 来自专栏数据猿
企业融资 | 2016年Q2大数据企业融资榜：共104起融资事件，总金额超442亿元
2016年第二季度大数据领域共有104起企业融资事件，其中包括72家中国企业、24家美国企业、2家新加坡企业、2家印度企业、1家法国企业、1家德国企业、1家以色列企业以及1家中国香港企业，主要涉及医疗、 来源：数据猿 作者：abby 《大数据企业季度融资榜》2016年第二季度大数据领域共有104起企业融资事件，其中包括72家中国企业、24家美国企业、2家新加坡企业、2家印度企业、1家法国企业、1家德国企业
87840发布于 2018-04-19 - 来自专栏社区动态
AI日报｜文生语音大模型国内外均有突破，Pika完成6亿新融资，视频大模型也不远了！
AI日报｜智谱AI再降价，同时开源9B系列模型；国内外气象大模型竞逐升级字节推出文本到语音模型家族Seed-TTS：擅长情感表达，与真人几乎无异字节跳动推出文本到语音模型家族——SEED TTS，其核心亮点在于生成的语音音色高度接近人类 并且Stable Audio Open一大亮点是用户可基于个人音频资料微调模型，让生成的内容更加个性化。 https://techcrunch.com/2024/06/05/stability-ai-releases-a-sound-generator/Pika完成全新6亿融资，即将发布全新视频生成大模型AI 截至目前，Pika总融资额已达1.35亿美元。Pika用户数达到数百万，每周生成数百万个视频。同时，Pika已租用数百个量级的GPU（图形处理器）芯片，用于模型训练和推理计算。 https://mp.weixin.qq.com/s/fJtcza5MB9rmFRmLT2bI9gCartwheel提供文字生成3D动画，为创作者提供支持从头开始制作3D角色动画通常既费力又费钱，需要使用复杂的软件和动作捕捉工具
57310编辑于 2024-06-07 - 来自专栏AI科技评论
独家｜非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资
RWKV是国产开源的首个非Transformer架构的大语言模型，目前已经迭代到第六代RWKV-6。 彭博6岁开始编程，拥有30多年编程经验，迄今RWKV的基底模型都是由他一个人训练的。他认为，大模型被少数公司垄断会对于人类存在风险，所以训练出RWKV后便开源了，目的是想创建一个更开放的模型生态。 他认为目前的OpenAI过于封闭，他希望做更开放的事情，所以给出的回复是“如果以后OpenAI愿意做开源的大模型，欢迎合作”。 国内已经有一些公司在尝试用RWKV来训练模型，国外拿RWKV开源进行创业，拿到融资的，据罗璇了解已经超过10家。 据罗璇透露，此次融资的钱主要用于工具栈建设、孵化生态、孵化应用，模型训练主要靠赞助和合作，现在最大的阻碍是需要更多算力，所以训练出千亿模型仍然是他们当前最具挑战性的任务。
1.8K10编辑于 2024-01-23 - 来自专栏云原生技术社区
大模型时代已来，Meta发布LLaMA 2
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。 关于LLaMA 2 Meta LLaMA 是一款由Meta公司开发的开源超大规模语言模型。一直以来，LLaMA 系列模型在AI社区内被誉为最强大的开源大模型之一。 相较于之前的版本，LLaMA 2在效果上有了显著提升，甚至可以接近GPT-4的水平。LLaMA 2发布了不同体量的模型，以满足不同的硬件部署成本，为企业提供了更多选择和灵活性。 AML全面支持LLaMA 2推理和微调 灵雀云AML现已全面支持Meta LLaMA 2全系列模型在平台上进行推理和微调，包括70亿参数、130亿参数和700亿参数版本。 相比于直接使用开源模型，企业通过采用AML，可以获得更多优势： ● 一键私有化模型发布 企业可以轻松将训练好的LLaMA 2模型一键发布为私有化API，保护数据安全。
53810编辑于 2023-08-09 - 来自专栏数据猿
2017年Q2大数据投融资榜：共147起融资事件，总金额超196.48亿元
2017年第二季度大数据领域共有147起企业融资事件，其中包括70家中国企业、50家美国企业以及来自包括英国、德国、新加坡等在内的多个国家的企业获得融资，主要涉及医疗、数据分析、金融、电商、物流、媒体等多个领域
46040发布于 2018-04-24 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
(2)是否包含编码器的输出作为输入 在原始 Transformer 模型的基础上，在自然语言处理领域中逐渐衍生出以下3 种方式来构建预训练语言模型。 (2)只包含解码器的预训练语言模型，比如 ChatGPT。 (3)编码器和解码器都包括预训练语言模型，比如 BART。 2）指令数据集通过指令的形式指导模型的生成，能够提高预训练语言模型的泛化能力，使其在之前未做过的任务中能够表现出优秀的零样本推理能力。 (2)信息提取能力弱。 (3)并行计算能力差。 (4)领域迁移能力弱。 GPT-1 将模型的训练分为两个阶段: 第一个阶段通过大批量无标签文本数据构建一个初始的生成式语言模型。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前，大模型在这几个方面还不够理想。
63110编辑于 2024-09-10 - 来自专栏大模型应用
大模型应用：大模型本地部署实战：从零构建可视化智能学习助手.2
topic: str) -> Dict: """学习示例生成方法""" # 实现结构化内容生成我们首先需要明确LocalLearningAssistant类的核心作用：它负责加载大模型 包含一个清晰的概念解释2. 提供一个具体的代码示例或实际应用场景 3. 提出2-3个思考问题帮助巩固理解4. 用中文回答，保持教育性请按以下格式返回：概念：示例：思考问题："""3. with gr.Blocks(theme=gr.themes.Soft()) as demo: # 标题区域 gr.Markdown("# 大模型本地部署 编程助手2. 科学助手3. 数学助手4. 学习助手五、总结 这个项目成功实现了在消费级硬件上部署智能学习助手，基于Qwen1.5-1.8B大模型在CPU环境稳定运行。 with gr.Blocks(theme=gr.themes.Soft(), title="本地AI学习助手") as demo: gr.Markdown("# 大模型本地部署
50732编辑于 2026-01-30 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
87501编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.7K30编辑于 2023-10-10 - 来自专栏一臻AI
人人都会AI｜人工智能大模型现状（2）
对于大模型的核心特征，可以概括如下： 训练数据的海量积累是大模型的基石 ChatGPT的训练数据囊括了互联网75%的网站爬虫数据，再加上海量的百科全书、出版物等优质资源，累计词量突破二十万亿个。 涌现能力是大模型最神奇的特质 当模型规模达到一定门槛，它会突然展现出令人惊叹的能力跃升。 这就好比婴儿学步，从蹒跚学步到灵活奔跑，往往只需要一个临界点的突破。 在大模型中，这种跃升表现为语言理解、逻辑推理等能力的质的飞跃。 plt.legend() plt.grid(True) # Add annotations for model versions models = ['GPT-1', 'GPT-2' AI大模型的应用与挑战 大模型在实际应用中展现出惊人的创造力。深度学习模型AlexNet开启图像识别新纪元，如今已发展出更广泛的应用场景。
30910编辑于 2025-03-06 - 来自专栏域名资讯
三拼域名慧算账融资2亿
川融资本、清控银杏、IDG资本、宜信、同渡、宝海等投资机构与资本方共同投资互联网财税服务品牌“慧算账”完成近2亿元的B1轮融资。
1.4K00发布于 2017-12-11 - 来自专栏量子位
阿里领投Minimax 6亿美元融资，5家大模型独角兽集齐了
彭博社消息称，新一轮融资或将使MiniMax估值超25亿美元。据悉目前阿里和红杉已承诺将参与本轮融资，其余跟投者还在洽谈中，相关条款可能会有所调整。 自大模型浪潮以来，阿里可谓研投并进，不仅自家正开发通义千问等大模型产品，且投资出手不是一般积极—— 大模型创业独角兽、有着“大模型五虎”之称的智谱、百川、月之暗面、零一万物，加上MiniMax，投了个遍 MiniMax员工最早给大模型起了个昵称叫 “ABAB”，以此模仿语言能力训练初期，模型像婴儿般口齿不清，只会“阿巴阿巴”。 最大的Qwen1.5-72B-Chat模型，在MT-Bench和Alpaca-Eval v2上，超越Claude-2.1、GPT-3.5-Turbo-0613，甚至部分任务得分已超过前几个版本的GPT- 月之暗面新一轮融资超10亿美元，估值已飙升至约25亿美元。 可见，目前国内头部大模型企业融资依然畅开，“军备竞赛”仍在继续。
90210编辑于 2024-03-07 - 来自专栏学习
开源大模型与闭源大模型
这有助于发现和修正潜在的偏见和错误，提高模型的可信度 (AIIndex)。 2.社区协作和创新： 开源社区的协作可以加速技术进步。 2.安全和隐私问题： 开源模型的公开性也意味着潜在的安全和隐私风险。恶意行为者可能会利用这些资源进行攻击或滥用，导致数据泄露和隐私侵犯 (Unite.AI)。 这种模式可以确保公司获得足够的资金来持续研发和改进模型 (livescience.com)。 2.控制和保护： 闭源模型的开发者可以完全控制模型的使用和分发，保护其知识产权和技术优势。 2.创新受限： 由于闭源模型的开发和改进仅限于开发公司内部，外部社区无法直接贡献或改进模型。这可能限制技术的创新和发展速度 (Unite.AI)。 闭源大模型则更注重控制和保护，开发者可以完全掌握模型的使用和分发，防止技术泄露和被滥用。 2.创新速度与商业应用： 开源大模型通过社区协作，能够快速迭代和创新，推动技术进步。
2K10编辑于 2024-10-09 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
2K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
，例如BERT，RoBERT，ALBERT等 2）Encoder-Decoder，既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来 2、 指令微调阶段（Instruction Tuning Stage） 在完成预训练后，就可以通过指令微调去挖掘和增强语言模型本身具备的能力，这步也是很多企业以及科研研究人员利用大模型的重要步骤。 Step 2.训练奖励模型 这个过程涉及到与人类评估者进行对话，并根据他们的反馈来进行调整和优化。评估者会根据个人偏好对模型生成的回复进行排序，从而指导模型生成更符合人类期望的回复。 2）教育知识类产品：得益于大模型强大的理解以及知识储备，很多公司也嵌入其知识类产品进行应用，比如chatPDF就可以帮助经常看论文的科研人员快速地通过问答的方式进行文章的信息提取，理解以及总结重要内容， 2.成本高昂：大模型的训练和部署需要大量的计算资源和人力资源，成本非常高昂。对于一些中小型企业而言，难以承担这些成本，也难以获得足够的技术支持和资源。
21.4K29编辑于 2023-11-22 - 来自专栏AIOT
在Jetson上玩转大模型Day2：环境搭建
检查可能连接的USB摄像头（check for V4L2 devices）在 run.sh 第6-14行中，检查设备上已经连接的USB摄像头，只要能发现到的都添加到列表中，最多数量为10个（编号0-9） 2. 检查I2C设备（check for I2C devices）同样的原理，第17-25行检查设备上已经接上的I2C设备，并添加到设备列表中。3.
1.2K10编辑于 2024-10-22 - 来自专栏机器之心
Llama2开源后，国产大模型在卷什么？
7 月 19 日，开源社区最强的大模型从 Llama 升级到 Llama2。 这意味着，作为开源大模型的代表，Llama2 第一次进入了大范围的商业考量决策之中，开发者们拥有了一个免费、开源且足够商用的大模型底座。 也就是说，对于国内的大部分大模型创业公司来说，Llama2 意味着一个价格碾压（免费）、技术更强以及可以支持商用的竞争对手。 对那些自研大模型积累不够的公司来说，Llama2 产生的打击则更甚。 因此，面对于 Llama2 的免费优势，能够做到在性能上更好、模型更加易用的头部大模型公司，理论上就能够继续维持整体优势。 不过，虽然「暂存市场」整体并不大，但在暂存市场中证明自己的模型商业化能力已经成为许多大模型公司的「融资通行证」。
76560编辑于 2023-09-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号