首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度学习与python

    云原生 AI 工程化实践:FasterTransformer 加速 LLM 推理

    OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时,基于大语言模型的应用也如雨后春笋般出现,为我们带来了协同办公、客服对话、语言翻译、内容生成等方面前所未有的畅快体验。

    70660编辑于 2023-09-08
  • AI 工程化实战:不学算法也能用好的 LLM 指南

    这一次 LLM 的输出就很稳定:负面。 为什么?因为写法 A 模棱两可,LLM 不知道你想要什么格式;写法 B 明确了角色、任务和输出要求。 但一旦要把 LLM 接入业务系统,问题就来了:程序需要解析 LLM 的返回结果,一个格式不对的 JSON 就能让整个系统崩溃。 因此,PE 的核心目标是从“自由对话”转向“工程化协议”,就像调用 API 需要构造请求参数、定义返回格式一样,Prompt 就是这个"人机接口的协议" 。 如何写好 PE? # 任务 请判断用户反馈的情感倾向,只返回"正面"或"负面": (2)给出模板:让 LLM 照着做 直接下指令,LLM 有时仍会“放飞自我”。 工程化鲁棒性(事后纠错) 在实际业务中,单靠 Prompt 依然会有概率遇到非法格式。

    15610编辑于 2026-04-14
  • 来自专栏布衣者博客

    LeetCode-题库-刷题(6-7)

    将一个给定字符串 s 根据给定的行数 numRows ,以从上往下、从左到右进行 Z 字形排列。 具体题目链接

    41420发布于 2021-09-07
  • 来自专栏phodal

    当大模型不是问题时,如何应对 LLM工程化落地挑战?

    而在模型不是问题之后,作为架构师、开发人员,我们应该致力于:将 LLM工程化的方式落地。 LLM 应用的技术架构 与常规的应用开发相比,LLM 应用并没有什么太大的区别。只是我们需要考虑 LLM 带来的影响,以及在不同的场景下,如何去管理这些架构。 构建适合于获取业务上下文的应用架构,以生成更精准的 prompt,并探索高响应速度的工程化方式。 原子能力映射。分析 LLM 所擅长的原子能力,将其与应用所欠缺的能力进行结合,进行能力映射。 探索和寻找合适的新一代 API ,以便于 LLM 对服务能力的理解、调度与编排。 而从实践的情况而言,引导用户、完善上下文是我们工程化落地的最大难点。 转换不确定性的语言 API 在与 LLM 进行交互时,需要由自然语言作为 API。总体上可以分为两大类场景: LLM + Workflow。由 LLM 分析用户的意图,来选择合适的工具、API。

    2.9K21编辑于 2023-09-10
  • 来自专栏python3

    笨办法学Python - 习题6-7:

    学习目标:了解字符串的定义,学会使用复杂的字符串来建立一系列的变量。学会命名有意义的变量名

    68210发布于 2020-02-10
  • 告别确定性法则:LLM应用工程化的实验科学范式

    LLM应用工程化不再是传统意义上靠确定性规则实施的工程,而是建立在不确定性之上的工程。它的实践路径不再是精确方程,而是类似于生物学、材料学——通过对要素与结构进行反复实验,寻求最优方案。 然而,大语言模型(LLM)的崛起彻底颠覆了这一范式。LLM原生携带三大不确定性根源:概率生成机制、上下文敏感性和涌现能力。 这种不确定性并非缺陷,而是LLM的本质特征。试图用传统工程的确定性思维去"驯服"LLM,如同用牛顿力学解释量子现象——注定徒劳。 LLM应用工程化正需要这样的实验科学范式。我们面对的不是可编程的确定性机器,而是具有复杂行为的智能系统。 可观测性从被动测量工具转变为主动改进驱动力,确保LLM应用在动态生产环境中保持强健、可靠且以用户为中心。展望未来——走向自适应的智能系统LLM应用工程化正从被动优化转向主动进化。

    25310编辑于 2026-04-27
  • 来自专栏iOS面试

    iOS 面试策略之算法基础6-7

    之前介绍了最简单的搜索法:二分搜索。虽然它的算法复杂度非常低只有 O(logn),但使用起来也有局限:只有在输入是排序的情况下才能使用。这次讲解两个更复杂的搜索算法:

    82830发布于 2021-04-22
  • 来自专栏AI SPPECH

    IO竞赛2025年题目解析:中级难度(6-7

    2025年的中级难度(难度系数6-7)题目综合考察了选手的算法设计、数据结构应用、数学建模和问题分析能力。本文将深入解析2025年中级难度的IO竞赛题目,帮助选手们突破瓶颈,提升解题能力。 难度进阶路径: 入门(1-3) → 基础(4-5) → 中级(6-7) → 高级(8-10) 难度系数 考察重点 核心知识点 学习目标 6-7 高级算法、数据结构综合应用 高级动态规划、图论、数论、几何 8题) ├── 第四章:中级难度题目解题策略 └── 第五章:综合能力提升建议 第一章:2025年IO竞赛中级难度题目概述 根据2025年NOI修订版大纲,中级难度(CSP-S提高)的知识点难度系数为6-

    23410编辑于 2025-11-13
  • 来自专栏爬虫资料

    LLM自动化生成解析器:从Prompt到Parser的工程化落地

    直到大语言模型(LLM)出现,这个念头才突然有了点现实的味道。 毕竟,这玩意能写代码、能理解上下文, 那为什么不能让它写出“能解析网页的代码”呢? 而LLM给了我们一个全新的视角:不如让机器自己理解网页结构,然后自动产出解析逻辑。换句话说, 我们不再告诉程序“从第几个div开始找标题”, 而是告诉模型:“帮我提取新闻标题、作者、时间和正文。” LLM让我们第一次有机会,把“解析网页”变成一件语言层面的事。 LLM层:模型根据指令生成解析逻辑,比如XPath、CSS选择器或者BeautifulSoup代码。执行层:把生成的代码跑一遍,输出结果。听上去很抽象,但其实实现起来并不复杂。 解析逻辑可解释:LLM生成的代码往往带注释,你能看懂模型的思路。可自学习:解析错了?换个Prompt就能修正,甚至能让模型自己总结失败原因。

    34910编辑于 2025-10-20
  • 智能体来了:从 0 到 1:企业级 LLM Agent 的工程化落地实践

    作者:Agentcometoo|首席分析师undefined关键词: LLM Agent / ReAct / 工程化 / Python / AI 应用落地一、背景与挑战(Why Agent 很难真正落地 核心思想是:通过 System Prompt 强约束 LLM 输出结构,而不是依赖自然语言猜测。 class SimpleAgent: def __init__(self, llm_client, tools, model_name): self.client = llm_client 本文更适合以下读者:正在做 AI 应用工程化 的后端 / 架构师对 Agent 稳定性、可控性 有要求的团队不满足于 Demo,希望真正上线的开发者如果你对 企业级 AI Agent 的设计与落地 感兴趣

    25620编辑于 2026-01-23
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 6-7 sklearn中的随机梯度下降法

    本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍改进上一小节代码,封装自己的随机梯度下降法并应用,之后应用sklearn实现随机梯度下降法。

    1.2K20发布于 2019-11-13
  • 来自专栏DeepHub IMBA

    2025年AI智能体开发完全指南:10个GitHub顶级教程资源助你从入门到精通

    专注于从原型到生产部署的完整工程化实践。 负载均衡和分布式架构设计 可维护性:模块化设计、代码质量和技术债务管理 适应性:数据分布变化适应和业务需求演进支持 全生命周期覆盖 第1-2章:ML系统概述和设计原则 第3-5章:数据工程基础、训练数据和特征工程 第6- 该项目提供了完整的LLM开发、预训练和微调流程,是学习LLM内部机制的权威教程。 涵盖从开发环境配置到部署的完整工程化流程,注重实战技能培养和最佳实践传授。 Colab GPU训练和向量数据库 第4-5周:RAG系统构建和知识检索优化 第6-7周:模型微调和Weights & Biases监控 第8周:自主AI智能体解决方案 ️ 工程实践重点 环境配置:跨平台开发环境搭建

    2.6K13编辑于 2025-08-20
  • 来自专栏AI工程落地

    TensorRT LLM vs OpenPPL LLM

    支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型,Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化,支持更多的量化方法,smooth quant、weight only、AWQ等PPL LLM是实时量化(i8i8),支持整个网络一起量化 模型DeployTensorRT-LLM量化结束,不需要deploy中间模型,直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译,直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt,但主要是一些单算子(卷积、激活函数、gemm等),融合算子都是Tensor-LLM自带的。PPL LLM没有依赖

    1.2K30编辑于 2023-11-21
  • CSS工程化

    样式、公共样式可以单独抽离,这样就形成了不同于过去的css文件结构:文件更多、拆分的更细 而同时,在真实的运行环境下,我们却希望文件越少越好,这种情况和JS遇到的情况是一致的,因此,对于css,也需要工程化管理 从另一个角度来说,css的工程化会遇到更多的挑战,因为css不像JS,它的语法本身经过这么多年并没有发生多少的变化(css3也仅仅是多了一些属性而已),对于css语法本身的改变也是一个工程化的课题 如何解决 CSS工程化面临着诸多问题,而解决这些问题的方案多种多样。如果把CSS单独拎出来看,光是样式本身,就有很多事情要处理。 既然有这么多事情要处理,何不把这些事情集中到一起统一处理呢? 最后 若本文对于 CSS工程化 阅读有任何错误的地方,欢迎大家给我提意见,一定虚心听取你们的指正,若觉得不错的,也可以点个「star」 支持一下我。

    1.2K31编辑于 2022-08-11
  • 来自专栏iOS小生活

    工程化(三)

    DumpHeaderMap就是一个工具,其作用就是将.hmap文件中的内容解析展示出来。

    2.5K40编辑于 2023-09-01
  • 来自专栏js笔记

    webpack工程化

    ⼤家⼀开始使⽤ npm 安装依赖包时,肯定感受过那挤⽛膏般的下载速度,上⽹⼀查只需要将 npm 源设 置为淘宝镜像源就⾏,在控制台执⾏⼀下以下命令: npm config set registry https://registry.npm.taobao.org

    53820编辑于 2022-10-25
  • 来自专栏希里安

    前端工程化浅谈

    但现在的前端开发,早就进入了工程化开发的时代,已经存在有各种现代化的框架,编译工具以及预处理器等等。 下面就传统和工程化的前端开发优劣介绍下: 传统开发: 没有采用工程化工具和流程的情况下进行开发,通常需要开发者手动管理文件、依赖和构建过程。 因为可以看看招聘需求: 1、掌握主流框架vue、react、angular 2、精通组件化、模块化开发、构建工具(webpack、vite、grunt...)基本要求都要精通,所以说工程化开发是必须的。 为什么说要掌握主流框架是必备,因为前端框架就是前端工程化开发中不可或缺的一部分。框架肯定是利用了现有行业中优势技术,也能避免大家不断重复造轮子,降低上手难度,提升开发效率。 还有一个原因就是市场上对于vue技术栈的需求量是比较大的,还有就是vue框架据前辈经验,上手门槛相比于其他框架更低些,只要掌握HTML、CSS、Js就可以上手,所以从vue开始学习和入门前端工程化是合适的

    52230编辑于 2023-10-30
  • 来自专栏前端到底怎么学好来

    🎉工程化Docker实践🎉

    本文将介绍一系列工程化的最佳实践,帮助开发者在使用Docker时提高开发效率、降低风险,并确保应用程序在生产环境中的稳定运行。 为了充分发挥Docker的优势,我们需要采用一系列工程化的最佳实践。二、容器化开发环境1. 使用多阶段构建通过多阶段构建可以减小镜像大小,并且只包含运行时所需的依赖项。 总结工程化Docker最佳实践是确保应用程序在使用Docker进行开发和部署时可靠、可扩展和可维护的关键。

    56430编辑于 2023-11-15
  • 来自专栏linjinhe的专栏

    设计数据密集型应用(6-7):分片、事务

    随着业务发展,用户数量、商品数量、订单数量都在持续增长,数据库的负载越来越高。我们开始对数据库进行垂直拆分(垂直分片),把这三张表拆到三个数据库,而业务代码改改数据库的配置就好。

    72950发布于 2020-04-02
  • 来自专栏马涛涛的专栏

    前端工程化

    工程化 所谓前段工程自动化就是:由于前端分裂,有人写css代码,有人写scss,有人写es5,有人写es6,那么就需要翻译工具(命令行工具)翻译成ie或其他所有浏览器能运行的代码版本。 ? 什么是前段工程化,就是要从写html,css,js到写自动化,模块化的html,css,js,并且考虑性能优化。 自动化 举个例子: 使用命令行工具实现代码自动化转变。 工程化中自动化的过程 例如我们有这样的工程目录。 ? 那么我们需要开一个sass监听scss文件的修改,并转换为css,然后放到dist里。

    1.5K30发布于 2018-10-31
领券