- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.5K30编辑于 2023-09-12 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
59810编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 大模型应用需要一个针对产品级大型语言模型的高效管理系统。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.1K10编辑于 2024-12-24 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.4K10编辑于 2023-10-13 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. label] = metrics['f1-score'] if f1_scores: labels = list(f1_scores.keys())[:10 : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
30810编辑于 2026-02-07 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
4.9K11编辑于 2024-04-03 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大，因为 Transformer 的结构，很多场景下有效算力只有 10%~20%。如果做 batching，时延和带宽又会成为 trade-off。 我认为，大模型本身的智商固然重要，大模型与外部环境交互的能力和大模型之间协作的组织结构才能让大模型走得更远。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
59430编辑于 2023-09-01 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
84010编辑于 2024-04-12 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 知识蒸馏 知识蒸馏是将知识从一个（较大的）教师模型传递到一个（较小的）学生模型。一种方法是通过教师模型生成预测，并使用这些预测来训练学生模型。 令人惊讶的是，训练结束时，学生模型在所有评估指标上都超过了教师模型！ 接下来，我们可以在独立的验证集上评估模型，即未用于训练模型参数或调整超参数的数据。
45910编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 10. Haystack Haystack 是由 deepset 开发的一个开源框架，专门帮助企业构建生产级的 大模型应用、RAG（检索增强生成）流水线以及复杂的搜索应用。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
11.5K30编辑于 2025-03-24 - 来自专栏量子位
清华大模型人才遭哄抢！盘点5大学术重镇10大产业玩家
国内大模型力量百家争鸣：5大学术重镇，10大产业巨头 清华不是这轮浪潮中唯一的宠儿。随着AIGC和类ChatGPT产品相关话题日益高涨的热度，国内大模型人才市场好不热闹。 为此，量子位梳理了百家争鸣的国内产学研界大模型重镇，代表性机构和代表性人物，共计5支学术界团队和10大产业界力量，排名不分先后。当然极有可能挂一漏万，欢迎在评论区中补充。 △太乙根据提示次“小桥流水人家，水彩”生成的画作 接下来聊聊10家极具代表性的产业界力量： 01：百度 提起百度的NLP技术，最被人熟知的是文心大模型。 澜舟科技给予Transformer的“孟子”大模型，走轻量化路线，仅包含10亿参数量，可处理多语言、多模态数据，同时支持多种文本理解和文本生成任务。 10：浪潮信息 去年年中，浪潮信息推出了4个技能大模型（SkillModel），分别为对话模型“源晓问”、问答模型“源晓搜”、翻译模型“源晓译”、古文模型“源晓文”，它们4个都基于“源1.0”大模型生成
1.9K20编辑于 2023-02-24 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(10)-LLMs和Chat Models
1 模型两种模型：LLM聊天模型然后，介绍咋用：提示模板格式化这些模型的输入输出解析器来处理输出LangChain 中的语言模型有两种类型：1.1 Chat Models聊天模型通常由 LLM 支持，但专门针对会话进行调整 这两种 API 类型具有不同的输入和输出模式，并非所有模型都一样。不同模型有不同的最佳提示策略，如：Anthropic 模型最适合用 XMLOpenAI 模型最适合用 JSON设计应用程序时牢记这点。 示例将使用聊天模型，并提供几种选择：使用 Anthropic 或 OpenAI 等 API，或通过 Ollama 使用本地开源模型。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 # LLM类大模型的流式输出方法from langchain.llms import OpenAIimport osapi_base = os.getenv("OPENAI_PROXY")api_key
38400编辑于 2024-08-15 - 来自专栏菜鸟小白的学习分享
OWASP大模型安全Top 10分析与实践
OWASP大模型安全Top 10LLM01：提示注入定义• 攻击者通过恶意输入（文本/图像/音频）覆盖系统指令，操控模型执行越权操作典型场景• 图像隐写指令：CT扫描图中嵌入代码，诱导医疗模型误诊 • LLM03：供应链漏洞定义• 第三方组件（模型/数据/工具链）漏洞导致后门植入或数据污染。典型场景• Hugging Face恶意模型植入后门（如LoRA适配器投毒）。 • 设备端劫持：篡改量化模型参数操控自动驾驶决策。防御方案• SBOM物料清单审计：扫描200+子类依赖漏洞。 • 模型水印+签名验证：追踪模型流向防篡改。 LLM04：数据和模型投毒定义• 训练数据或微调过程被注入恶意样本，扭曲模型行为或植入后门。典型场景• 对抗样本触发后门：特定像素图案使安防模型漏检危险品。 合规关联• 《互联网算法推荐规定》要求“标注虚假信息”（第12条）LLM10：无界消费定义• 资源滥用导致服务拒绝（DoS）、经济损耗或模型被盗。
60710编辑于 2025-10-27 - 来自专栏菜鸟小白的学习分享
OWASP大模型安全Top 10分析与实践
OWASP大模型安全Top 10 LLM01：提示注入 定义 • 攻击者通过恶意输入（文本/图像/音频）覆盖系统指令，操控模型执行越权操作 典型场景 • 图像隐写指令：CT扫描图中嵌入代码，诱导医疗模型误诊 合规关联 • 《互联网算法推荐规定》要求“标注虚假信息”（第12条） LLM10：无界消费 定义 • 资源滥用导致服务拒绝（DoS）、经济损耗或模型被盗。 大模型安全实践 技术防护实践 输入安全加固 • 「多模态威胁检测」：部署AI安全网关，实时过滤文本/图像/音频中的恶意指令（如隐写攻击、对抗性后缀）。 运营监控与响应 风险动态监测 • 「资源滥用防控」*：API调用速率限制（≤100次/分钟）+ GPU占用率阈值（≤70%）， 阻断无界消耗（LLM10）。 大模型安全趋势展望 风险范畴扩大 • 从代码漏洞 → 架构漏洞（系统提示、向量库）→ 社会风险（虚假信息、法律后果） 防护重心转移 • 开发者单点防护 → 企业级全生命周期治理（数据-模型-供应链） 驱动逻辑
49510编辑于 2025-11-21 - 来自专栏JavaEdge
AI 大模型企业应用实战(10)-LLMs和Chat Models
1 模型 来看两种不同类型的模型--LLM 和聊天模型。然后，它将介绍如何使用提示模板来格式化这些模型的输入，以及如何使用输出解析器来处理输出。 LangChain 中的语言模型有两种类型： 1.1 Chat Models 聊天模型通常由 LLM 支持，但专门针对会话进行了调整。提供者 API 使用与纯文本补全模型不同的接口。 并非所有模型都一样。不同的模型有不同的最佳提示策略。如： Anthropic 模型最适合使用 XML OpenAI 的模型最适合使用 JSON 设计应用程序时牢记这点。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 #LLM类大模型的流式输出方法 from langchain.llms import OpenAI import os api_base = os.getenv("OPENAI_PROXY") api_key
36510编辑于 2025-06-01 - 来自专栏钱塘大数据
10大经典管理分析模型，让工作事半功倍
模型分析法就是依据各种成熟的、经过实践论证的管理模型对问题进行分析的方法。 这些管理模型有的是由高校研究机构建立的,也有一部分是由大企业或者管理咨询机构建立的,它们在长时间的企业管理理论研究和实践过程中,将企业经营管理中一些经典的相关关系以一个固定模型的方式描述出来,揭示企业系统内部很多本质性的关系 4、SCP分析模型 SCP（structure、conduct、performance）模型，分析在行业或者企业收到表面冲击时，可能的战略调整及行为变化。 9、价值链模型 价值链模型最早是由波特提出的。 10、ROS/RMS矩阵 ROS/RMS（Return Of Sales/Relative Market Share）矩阵也称做销售回报和相对市场份额矩阵，主要是用来分析企业的不同业务单元或产品的发展战略
4.2K70发布于 2018-03-06 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
71401编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏NLP/KG
LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型
LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型 1.环境安装 # 设置pip全局镜像 (加速下载) pip config set global.index-url https:// 我是来自阿里云的大规模语言模型，我叫通义千问。 -------------------------------------------------- <<< what's your name? 我是阿里云自主研发的超大规模语言模型。 -------------------------------------------------- <<< 浙江的省会在哪？ 浙江的省会是杭州。 acc': 0.59357905, 'grad_norm': 1.78167629, 'learning_rate': 2.703e-05, 'epoch': 0.11, 'global_step': 10 output/qwen1half-4b-chat/v0-20240225-194502/checkpoint-92 """ 使用CLI (单卡): # Experimental environment: A10
70800编辑于 2024-05-26 - 来自专栏五分钟学算法
10 大算法
与早期的排序算法相比(如冒泡算法)，这些算法将排序算法提上了一个大台阶。也多亏了这些算法，才有今天的数据发掘，人工智能，链接分析，以及大部分网页计算工具。 02 傅立叶变换 和快速傅立叶变换 ? 只要能以“图”模型表示的问题，都能用这个算法找到“图”中两个节点间的最短距离。 虽然如今有很多更好的方法来解决最短路径问题，但代克思托演算法的稳定性仍无法取代。 10 随机数生成算法 ? 到如今，计算机还没有办法生成“正真的”随机数，但伪随机数生成算法就足够了。
52240发布于 2019-06-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号