- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.6K30编辑于 2023-09-12 - 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 接口总算丝滑了。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.1K10编辑于 2025-04-04 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
62010编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 Agent应用的挑战——接口设计的语义化表达 在基于大模型的Agen应用中，接口设计的语义化表达是其中的一个关键所在，也面临诸多挑战。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10. 一句话小结 自从生成性人工智能成为焦点以来，基于大模型的应用需求对架构师带来了一系列挑战，包括推理框架选择、数据流水线构建、分块向量化处理、接口设计语义化表达、安全性访问控制、提示词管理、架构模式采用
1.2K10编辑于 2024-12-24 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.5K10编辑于 2023-10-13 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 预测接口标准化接口抽象：统一的预测接口，支持不同模型类型输入输出规范：文本输入，标签输出模型无关性：适用于传统机器学习模型和深度学习模型完整评估流程：import numpy as npfrom sklearn.metrics 关键特性说明8.1 模块化设计CLUEDataLoader: 专门处理CLUE数据集加载CLUEEvaluator: 计算各种评估指标BaseModelEvaluator: 模型预测接口CLUEBenchmark 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
46632编辑于 2026-02-07 - 来自专栏大模型应用
大模型应用：大模型的本地 API 服务：FastAPI 封装与接口鉴权.44
一、引言 大模型的里里外外我们都进行了很多细节的讲解，但大模型的部署引用还没有涉及太多，今天我们重点讲一下模型的接口发布，以及利用Postman工具的鉴权调试，Postman 是一款轻量、 让不同程序（比如 APP、网页）都能按统一规则跟大模型沟通，而且这个窗口响应快、还会自动生成使用说明。接口鉴权：给 "服务窗口" 装一把 "安全锁"。 核心作用：把大模型的 "推理功能"（比如文本生成、问答），包装成 "可网络调用的接口"。2.3 接口鉴权的核心目的身份验证：确认调用者是 "自己人"，不是恶意攻击者。 定义接口函数：写一个 Python 函数，接收用户请求，比如提示词，调用大模型生成结果，再返回给用户。 启动服务：用 Uvicorn（ASGI 服务器）运行应用，大模型就变成了可网络访问的 API 服务。3. 接口鉴权原理3.1 调用 API Key 鉴权的接口本质：验证 "调用者凭证" 的有效性。
48153编辑于 2026-03-13 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.1K11编辑于 2024-04-03 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 办公的智能助手依赖 Office 套件作为入口，企业管理的智能助手依赖 ERP 和 OA 软件作为入口，社交的智能助手依赖社交软件作为入口…… 是不是这一波 AI 的机会都在大厂，只要把现有应用加上一个自然语言接口 最后还要提一点，模型和应用之间的中间件有可能成为新的编程语言和程序调用（RPC）接口。大模型的一大特点是能够把编程界面从程序语言改变成自然语言，从而使得自然语言编程成为可能。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
64430编辑于 2023-09-01 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 知识蒸馏 知识蒸馏是将知识从一个（较大的）教师模型传递到一个（较小的）学生模型。一种方法是通过教师模型生成预测，并使用这些预测来训练学生模型。 令人惊讶的是，训练结束时，学生模型在所有评估指标上都超过了教师模型！ 接下来，我们可以在独立的验证集上评估模型，即未用于训练模型参数或调整超参数的数据。
48810编辑于 2024-09-24 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
87710编辑于 2024-04-12 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】函数调用 Function Calling ① ( 人机交互接口 与 应用程序编程接口 | 语言界面接口 | AI 大模型缺陷与补救措施 | 函数调用为大模型赋能 真逻辑 )
应用程序编程接口 发展问题 , 短时间内实现的可能性不大 ; 二、AI 大模型缺陷与补救措施 - 函数调用 Function Calling 引入 1、AI 大模型原理 GPT 大模型 ( Generative ; 根据现有提示词 , 后面生成每个词的概率中 , sat 的概率是 0.5 , 概率最大 , 则生成 sat 单词 ; 2、AI 大模型缺陷 AI 大模型有如下 缺陷 : 并非全知全能 : AI 大模型 上述 三种缺陷 , 因此 需要 有一种机制 , 使得 AI 大模型 需要 与 外部进行交互 , 为 AI 大模型 对接 各种接口 ; 特定领域的知识或消息 , 如 : 非公开信息等 ; 专业领域的接口 , 数据输入进去 , 跟炼丹一样 , 得到一个结果 , 不知道具体的推理步骤和过程 ; GPT 大模型 并没有 逻辑推理能力 ; 5、函数调用 Function Calling 为 大模型 赋能 " 解决各种具体的问题 ; 函数调用 Function Calling 就是 使用代码 实现的 " 真逻辑 " , 嵌入到 AI 大模型中 , 在 大模型 的 概率生成文本的 基础上 增加 确定性的 "
1.8K10编辑于 2024-07-14 - 来自专栏【腾讯云开发者】
架构师必备10大接口性能优化秘技，条条经典！
本文总结了 10 种主流通用的接口性能优化手段，每一种都是经典方案，值得你的点赞转发收藏，一键三连！ 4.1 业务场景 在处理一些复杂的业务场景时，对于部分操作考虑使用异步，可以大幅降低接口耗时。 比如，在做服务性能优化时，可以将如数据上报、流水日志等做异步处理，以降低接口时延。 fork 出一个线程用来将内存中数据生成快照保存到磁盘，而主线程继续执行客户端命令；Redis 删除 key 的方式有 del 跟 unlink 两种，对于 del 命令是同步删除，直接释放内存，当遇到大 //www.owasp.org.cn/OWASP-CHINA/owasp-project/download/OWASP_SCP_Quick_Reference_Guide-Chinese.pdf 《十大关键 接口漏洞导致泄露2、内鬼泄露3、云仓平台被植入木马后泄露 1、API 接口不返回多余信息；敏感 API 接口做严谨鉴权2、内部人员权限按需最小化授予，管理平台限制导出条数 45005 ChatGPT
1.5K12编辑于 2024-11-19 - 来自专栏量子位
清华大模型人才遭哄抢！盘点5大学术重镇10大产业玩家
国内大模型力量百家争鸣：5大学术重镇，10大产业巨头 清华不是这轮浪潮中唯一的宠儿。随着AIGC和类ChatGPT产品相关话题日益高涨的热度，国内大模型人才市场好不热闹。 为此，量子位梳理了百家争鸣的国内产学研界大模型重镇，代表性机构和代表性人物，共计5支学术界团队和10大产业界力量，排名不分先后。当然极有可能挂一漏万，欢迎在评论区中补充。 △太乙根据提示次“小桥流水人家，水彩”生成的画作 接下来聊聊10家极具代表性的产业界力量： 01：百度 提起百度的NLP技术，最被人熟知的是文心大模型。 澜舟科技给予Transformer的“孟子”大模型，走轻量化路线，仅包含10亿参数量，可处理多语言、多模态数据，同时支持多种文本理解和文本生成任务。 10：浪潮信息 去年年中，浪潮信息推出了4个技能大模型（SkillModel），分别为对话模型“源晓问”、问答模型“源晓搜”、翻译模型“源晓译”、古文模型“源晓文”，它们4个都基于“源1.0”大模型生成
1.9K20编辑于 2023-02-24 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 10. Haystack Haystack 是由 deepset 开发的一个开源框架，专门帮助企业构建生产级的 大模型应用、RAG（检索增强生成）流水线以及复杂的搜索应用。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.1K30编辑于 2025-03-24 - 来自专栏Java 学习
【Java】10 Deque 接口
大多数 Deque 实现对它们可能包含的元素的数量没有固定的限制，但是该接口支持容量限制的 deques 以及没有固定大小限制的 deques。 一、Deque 接口 Queue 用于模拟队列这种数据结构，队列通常是指 “先进先出”（FIFO）的容器。队列的头部保存在队列中存放时间最长的元素，队列的尾部保存在队列中存放时间最短的元素。 ---- 二、ArrayDeque 集合 Deque 接口提供了一个典型的实现类：ArrayDeque，它是一个基于数组实现的双端队列，创建 Deque 时同样可指定一个 numElements Java SE，Java EE，Java ME] System.out.println(queue); } } ---- 三、LinkedList 集合 LinkedList 集合是 List 接口的实现类 除此之外，LinkedList 集合还实现了 Deque 接口，既可以被当成 “栈” 来使用，也可以当成 “队列” 使用。
66140发布于 2020-09-28 - 来自专栏JavaEdge
AI 大模型企业应用实战(10)-LLMs和Chat Models
1 模型 来看两种不同类型的模型--LLM 和聊天模型。然后，它将介绍如何使用提示模板来格式化这些模型的输入，以及如何使用输出解析器来处理输出。 LangChain 中的语言模型有两种类型： 1.1 Chat Models 聊天模型通常由 LLM 支持，但专门针对会话进行了调整。提供者 API 使用与纯文本补全模型不同的接口。 并非所有模型都一样。不同的模型有不同的最佳提示策略。如： Anthropic 模型最适合使用 XML OpenAI 的模型最适合使用 JSON 设计应用程序时牢记这点。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 #LLM类大模型的流式输出方法 from langchain.llms import OpenAI import os api_base = os.getenv("OPENAI_PROXY") api_key
41610编辑于 2025-06-01 - 来自专栏菜鸟小白的学习分享
OWASP大模型安全Top 10分析与实践
OWASP大模型安全Top 10 LLM01：提示注入 定义 • 攻击者通过恶意输入（文本/图像/音频）覆盖系统指令，操控模型执行越权操作 典型场景 • 图像隐写指令：CT扫描图中嵌入代码，诱导医疗模型误诊 合规关联 • 《互联网算法推荐规定》要求“标注虚假信息”（第12条） LLM10：无界消费 定义 • 资源滥用导致服务拒绝（DoS）、经济损耗或模型被盗。 大模型安全实践 技术防护实践 输入安全加固 • 「多模态威胁检测」：部署AI安全网关，实时过滤文本/图像/音频中的恶意指令（如隐写攻击、对抗性后缀）。 运营监控与响应 风险动态监测 • 「资源滥用防控」*：API调用速率限制（≤100次/分钟）+ GPU占用率阈值（≤70%）， 阻断无界消耗（LLM10）。 大模型安全趋势展望 风险范畴扩大 • 从代码漏洞 → 架构漏洞（系统提示、向量库）→ 社会风险（虚假信息、法律后果） 防护重心转移 • 开发者单点防护 → 企业级全生命周期治理（数据-模型-供应链） 驱动逻辑
73910编辑于 2025-11-21 - 来自专栏钱塘大数据
10大经典管理分析模型，让工作事半功倍
模型分析法就是依据各种成熟的、经过实践论证的管理模型对问题进行分析的方法。 这些管理模型有的是由高校研究机构建立的,也有一部分是由大企业或者管理咨询机构建立的,它们在长时间的企业管理理论研究和实践过程中,将企业经营管理中一些经典的相关关系以一个固定模型的方式描述出来,揭示企业系统内部很多本质性的关系 4、SCP分析模型 SCP（structure、conduct、performance）模型，分析在行业或者企业收到表面冲击时，可能的战略调整及行为变化。 9、价值链模型 价值链模型最早是由波特提出的。 10、ROS/RMS矩阵 ROS/RMS（Return Of Sales/Relative Market Share）矩阵也称做销售回报和相对市场份额矩阵，主要是用来分析企业的不同业务单元或产品的发展战略
4.2K70发布于 2018-03-06 从零到一：使用pycharm搭建API接口调用大模型
从零到一：使用pycharm搭建API接口调用大模型【前言】随着人工智能技术的快速发展，大语言模型（LLM）已成为许多应用场景的核心技术。 本文将详细介绍如何使用PyCharm开发环境搭建API接口调用大模型的完整流程，包括两种主流调用方式、模型列表查看方法，以及一个完整的求职岗位查询实战案例。 【任务】1.掌握使用OpenAI库和requests库调用大模型API的方法。2.学会查看和展示可用的大模型列表。3.实现基于大模型的求职岗位查询系统。4.掌握API调用的错误处理和结果展示技巧。 By:不吃花椒的喵酱一.大模型调用大模型调用有两种方式，一种通过openai库进行调用，一种通过requests库进行调用。 () 图4：获取模型列表表格形式代码示例三.通过pycharm调用API接口，实现大模型求职岗位查询第一步：准备工作在运行代码之前，请确保你的项目目录下有以下文件和配置。
1.7K21编辑于 2025-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号