搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

来自专栏深度学习与python
云原生 AI 工程化实践：FasterTransformer 加速 LLM 推理
Loads an encoded image as an array of bytes. """ return np.fromfile(img_path, dtype='uint8'
70660编辑于 2023-09-08
AI 工程化实战：不学算法也能用好的 LLM 指南
这一次 LLM 的输出就很稳定：负面。为什么？因为写法 A 模棱两可，LLM 不知道你想要什么格式；写法 B 明确了角色、任务和输出要求。但一旦要把 LLM 接入业务系统，问题就来了：程序需要解析 LLM 的返回结果，一个格式不对的 JSON 就能让整个系统崩溃。因此，PE 的核心目标是从“自由对话”转向“工程化协议”，就像调用 API 需要构造请求参数、定义返回格式一样，Prompt 就是这个"人机接口的协议" 。如何写好 PE？ 工程化鲁棒性（事后纠错）在实际业务中，单靠 Prompt 依然会有概率遇到非法格式。，通俗的讲一下 AI 相关的名词概念，后续会更加深入的讲一下必要的知识点，比如提示词工程（PE）、检索增强（RAG）、工作流（Workflow）、智能体（Agent）、Langchain、Coze、n8n
15610编辑于 2026-04-14
来自专栏phodal
当大模型不是问题时，如何应对 LLM 的工程化落地挑战？
而在模型不是问题之后，作为架构师、开发人员，我们应该致力于：将 LLM 以工程化的方式落地。 LLM 应用的技术架构与常规的应用开发相比，LLM 应用并没有什么太大的区别。只是我们需要考虑 LLM 带来的影响，以及在不同的场景下，如何去管理这些架构。构建适合于获取业务上下文的应用架构，以生成更精准的 prompt，并探索高响应速度的工程化方式。原子能力映射。分析 LLM 所擅长的原子能力，将其与应用所欠缺的能力进行结合，进行能力映射。探索和寻找合适的新一代 API ，以便于 LLM 对服务能力的理解、调度与编排。而从实践的情况而言，引导用户、完善上下文是我们工程化落地的最大难点。 10x) | ---------------------------------------------- | Empty(2x) | ChatHeader(8x
2.9K21编辑于 2023-09-10
告别确定性法则：LLM应用工程化的实验科学范式
LLM应用工程化不再是传统意义上靠确定性规则实施的工程，而是建立在不确定性之上的工程。它的实践路径不再是精确方程，而是类似于生物学、材料学——通过对要素与结构进行反复实验，寻求最优方案。然而，大语言模型（LLM）的崛起彻底颠覆了这一范式。LLM原生携带三大不确定性根源：概率生成机制、上下文敏感性和涌现能力。这种不确定性并非缺陷，而是LLM的本质特征。试图用传统工程的确定性思维去"驯服"LLM，如同用牛顿力学解释量子现象——注定徒劳。 LLM应用工程化正需要这样的实验科学范式。我们面对的不是可编程的确定性机器，而是具有复杂行为的智能系统。可观测性从被动测量工具转变为主动改进驱动力，确保LLM应用在动态生产环境中保持强健、可靠且以用户为中心。展望未来——走向自适应的智能系统LLM应用工程化正从被动优化转向主动进化。
25310编辑于 2026-04-27
来自专栏爬虫资料
用LLM自动化生成解析器：从Prompt到Parser的工程化落地
直到大语言模型（LLM）出现，这个念头才突然有了点现实的味道。毕竟，这玩意能写代码、能理解上下文，那为什么不能让它写出“能解析网页的代码”呢？而LLM给了我们一个全新的视角：不如让机器自己理解网页结构，然后自动产出解析逻辑。换句话说，我们不再告诉程序“从第几个div开始找标题”，而是告诉模型：“帮我提取新闻标题、作者、时间和正文。” LLM让我们第一次有机会，把“解析网页”变成一件语言层面的事。 LLM层：模型根据指令生成解析逻辑，比如XPath、CSS选择器或者BeautifulSoup代码。执行层：把生成的代码跑一遍，输出结果。听上去很抽象，但其实实现起来并不复杂。解析逻辑可解释：LLM生成的代码往往带注释，你能看懂模型的思路。可自学习：解析错了？换个Prompt就能修正，甚至能让模型自己总结失败原因。
34910编辑于 2025-10-20
智能体来了：从 0 到 1：企业级 LLM Agent 的工程化落地实践
作者：Agentcometoo｜首席分析师undefined关键词： LLM Agent / ReAct / 工程化 / Python / AI 应用落地一、背景与挑战（Why Agent 很难真正落地核心思想是：通过 System Prompt 强约束 LLM 输出结构，而不是依赖自然语言猜测。 class SimpleAgent: def __init__(self, llm_client, tools, model_name): self.client = llm_client 本文更适合以下读者：正在做 AI 应用工程化 的后端 / 架构师对 Agent 稳定性、可控性有要求的团队不满足于 Demo，希望真正上线的开发者如果你对企业级 AI Agent 的设计与落地感兴趣
25620编辑于 2026-01-23
来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化用户使用方式PPL LLMW8A16/W16A16：原模型-->模型转换-->ppl.pmx导出onnx（可选择weight int8量化）-→部署云端服务W8A8：原模型-->模型转换-->ppl.pmx 导出onnx（可选择weight int8量化）-→部署云端服务（实时量化，选择i8i8模式）ppl.llm.serving/docs/llama_guide.md at master · openppl-public (github.com)多卡并行Tensor-LLM通过设置参数来使用多卡，--gpus_per_node：每台机器的GPU卡数量（默认是8张卡），–world_size：并行进程数量（一个进程一张卡，
1.2K30编辑于 2023-11-21
来自专栏DevOps
基于n8n和LLM的告警分析探索
alertmanger配一个webhook到发这里）2 调用alertmanager的alerts接口，获取到非静默状态的活跃告警的大的列表3 将大的告警列表转为逐个item，然后循环发给deepseek（或者其它LLM 也可以）4 LLM将分析的结果存到本地文件（因为返回的内容可能比较多，可能超过IM工具message阈值），然后将本地文件上传到OSS，最后通过IM将分析结果的url发出来。 resultItems = alerts.map(alert => { return { json: alert // 每条告警作为单独的 item 的 json 字段 };});// 返回多个 item（n8n 会自动展开）return resultItems;将LLM生成的结果写到本地文件中上传文件到oss这里稍微费事的是将LLM返回的内容写到文件中，试了code功能下没成功（可能是我的JS太弱了）。于是改为使用shell命令的方式，在n8n的机器上写个shell脚本，如下：IM通知带上oss链接
21210编辑于 2025-11-30
CSS工程化
从另一个角度来说，css的工程化会遇到更多的挑战，因为css不像JS，它的语法本身经过这么多年并没有发生多少的变化（css3也仅仅是多了一些属性而已），对于css语法本身的改变也是一个工程化的课题如何解决 CSS工程化面临着诸多问题，而解决这些问题的方案多种多样。如果把CSS单独拎出来看，光是样式本身，就有很多事情要处理。既然有这么多事情要处理，何不把这些事情集中到一起统一处理呢？ ://github.com/browserslist/browserslist 一般情况下，大部分网站都使用下面的格式进行书写 last 2 version > 1% in CN not ie <= 8 last 2 version: 浏览器的兼容最近期的两个版本 1% in CN: 匹配中国大于1%的人使用的浏览器， in CN可省略 not ie <= 8: 排除掉版本号小于等于8的IE浏览器 ☛ 最后若本文对于 CSS工程化阅读有任何错误的地方，欢迎大家给我提意见，一定虚心听取你们的指正，若觉得不错的，也可以点个「star」支持一下我。
1.2K31编辑于 2022-08-11
在K8s上部署分离式LLM推理
随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。在深入了解Kubernetes配置文件之前，先理解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。由于LLM的自回归特性，这受内存带宽限制。需要具有快速高带宽内存访问的GPU。路由器/网关负责引导传入请求，管理预填充和解码阶段之间的键值缓存路由，并处理工作节点间的请求负载均衡。为什么要分离？像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ llm-d的工作负载变体自动扩缩器通过Prometheus监控每个Pod的KV缓存利用率和队列深度，使用备用容量模型来确定何时应添加或移除副本。
12410编辑于 2026-04-16
来自专栏iOS小生活
工程化（三）
从Xcode8开始，官方签名的Xcode是不能使用自定义的Xcode插件了，但是我们可以使用自签名的Xcode来加载插件。
2.5K40编辑于 2023-09-01
来自专栏js笔记
webpack工程化
overrideBrowserslist: ["last 2 versions", "> 1%"], }), ], }; # 或者创建.browserslistrc⽂件 > 1% last 2 versions not ie <= 8
53820编辑于 2022-10-25
来自专栏服务器运维笔记
工程化(8): JS 体积优化之代码压缩混淆的原理是什么？
通过 AST 分析，根据一些策略，来生成一颗更小体积的 AST 并生成代码。现代前端工程中，一般使用 terser 进行压缩混淆 JS。
2.4K10发布于 2021-10-18
在K8s上部署分离式LLM推理
在Kubernetes上部署分离式LLM推理工作负载随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。在深入Kubernetes配置文件之前，了解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。由于LLM的自回归特性，这受内存带宽限制。你需要具有快速高带宽内存访问能力的GPU。路由器/网关负责分发传入请求，管理预填充和解码阶段之间的键值缓存路由，并处理工作节点间的请求负载均衡。为何要分离？像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ llm-d的工作负载变体自动扩展器通过Prometheus监控每个Pod的KV缓存利用率和队列深度，使用备用容量模型来确定何时应添加或移除副本。
15210编辑于 2026-04-09
来自专栏前端到底怎么学好来
🎉工程化Docker实践🎉
本文将介绍一系列工程化的最佳实践，帮助开发者在使用Docker时提高开发效率、降低风险，并确保应用程序在生产环境中的稳定运行。为了充分发挥Docker的优势，我们需要采用一系列工程化的最佳实践。二、容器化开发环境1. 使用多阶段构建通过多阶段构建可以减小镜像大小，并且只包含运行时所需的依赖项。总结工程化Docker最佳实践是确保应用程序在使用Docker进行开发和部署时可靠、可扩展和可维护的关键。
56430编辑于 2023-11-15
来自专栏希里安
前端工程化浅谈
但现在的前端开发，早就进入了工程化开发的时代，已经存在有各种现代化的框架，编译工具以及预处理器等等。下面就传统和工程化的前端开发优劣介绍下：传统开发：没有采用工程化工具和流程的情况下进行开发，通常需要开发者手动管理文件、依赖和构建过程。因为可以看看招聘需求： 1、掌握主流框架vue、react、angular 2、精通组件化、模块化开发、构建工具（webpack、vite、grunt...）基本要求都要精通，所以说工程化开发是必须的。为什么说要掌握主流框架是必备，因为前端框架就是前端工程化开发中不可或缺的一部分。框架肯定是利用了现有行业中优势技术，也能避免大家不断重复造轮子，降低上手难度，提升开发效率。还有一个原因就是市场上对于vue技术栈的需求量是比较大的，还有就是vue框架据前辈经验，上手门槛相比于其他框架更低些，只要掌握HTML、CSS、Js就可以上手，所以从vue开始学习和入门前端工程化是合适的
52230编辑于 2023-10-30
来自专栏马涛涛的专栏
前端工程化
工程化 所谓前段工程自动化就是：由于前端分裂，有人写css代码，有人写scss，有人写es5，有人写es6，那么就需要翻译工具（命令行工具）翻译成ie或其他所有浏览器能运行的代码版本。 ? 什么是前段工程化，就是要从写html，css，js到写自动化，模块化的html，css，js，并且考虑性能优化。自动化举个例子：使用命令行工具实现代码自动化转变。 工程化中自动化的过程例如我们有这样的工程目录。 ? 那么我们需要开一个sass监听scss文件的修改，并转换为css，然后放到dist里。
1.5K30发布于 2018-10-31
来自专栏闲花手札
前端工程化
、资源的模块化）组件化（复用现有的 UI 结构、样式、行为）规范化（目录结构的划分、编码规范化、接口规范化、文档规范化、 Git 分支管理）自动化（自动化构建、自动部署、自动化测试）什么是前端工程化 前端工程化指的是：在企业级的前端项目开发中，把前端开发所需的工具、技术、流程、经验等进行规范化、标准化企业中的 Vue 项目和 React 项目，都是基于工程化的方式进行开发的。前端工程化的解决方案早期的前端工程化解决方案 grunt（ https://www.gruntjs.net/ ） gulp（ https://www.gulpjs.com.cn/ ）目前主流的前端工程化解决方案
47520发布于 2021-08-24
来自专栏技术分享
Vue工程化
DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width 删除功能 4.饼图渲染相关代码实现 js /** * 接口文档地址： * https://www.apifox.cn/apidoc/shared-24459455-ebb1-4fdc-8df8 -0aff8dc317a8/api-53371058 * * 功能需求： * 1. 工程化开发入门 工程化开发模式：基于构建工具（例如：webpack）的环境中开发Vue。 工程化开发模式优点：提高编码效率，比如使用JS新语法、Less/Sass、Typescript等通过webpack都可以编译成浏览器识别的ES3/ES5/CSS等 工程化开发模式问题： webpack
48710编辑于 2024-05-31
来自专栏全栈加加
前端工程化概述，带你全面深刻了解前端工程化思想
1 前言大家好，今天我来和大家一起来了解前端工程化的知识，如有疑问和错误，欢迎指正，一起交流探讨哈！ 2 什么是前端工程化？在我看来，所有能降低成本，并且能提高效率的事情的总称为工程化 众所周知，软件工程化关注的是性能，稳定性，可用性，可维护性等方面，一切以这些为目标的工作都是"前端工程化"，更多的是往高效，稳定，可用，可维护的方向发展 3 前端为什么需要工程化？ 4.4 提高项目的开发质量在以上情况的实现下，项目的开发质量必然得到保证 5 前端工程化发展的四个阶段我个人看来前端工程化包括如下阶段: 第一阶段:库/框架选型前端的库和框架大致有（jquery 6 前端工程化的深究前端工程化是对模块化，组件化，规范化，自动化的高度概括和总结凝练，是一个更高层次的思想，也就是说实现前端工程化应该从模块化，组件化，规范化，自动化四个方面着手前端模块化在工程化的基础上
71940发布于 2021-02-23

第 2 页第 3 页第 4 页第 5 页第 6 页第 7 页第 8 页第 9 页第 10 页第 11 页

点击加载更多

云原生 AI 工程化实践：FasterTransformer 加速 LLM 推理

AI 工程化实战：不学算法也能用好的 LLM 指南

当大模型不是问题时，如何应对 LLM 的工程化落地挑战？

告别确定性法则：LLM应用工程化的实验科学范式

用LLM自动化生成解析器：从Prompt到Parser的工程化落地

智能体来了：从 0 到 1：企业级 LLM Agent 的工程化落地实践

TensorRT LLM vs OpenPPL LLM

基于n8n和LLM的告警分析探索

CSS工程化

在K8s上部署分离式LLM推理

工程化（三）

webpack工程化

工程化(8): JS 体积优化之代码压缩混淆的原理是什么？

在K8s上部署分离式LLM推理

🎉工程化Docker实践🎉

前端工程化浅谈

前端工程化

前端工程化

Vue工程化

前端工程化概述，带你全面深刻了解前端工程化思想

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐