首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大模型应用

    大模型应用:本地大模型部署中的Token效率优化与性能分析.9

    随着模型规模的不断扩大和应用场景的多样化,如何在不牺牲对话质量的前提下优化Token使用效率,已成为提升大模型应用经济性和实用性的关键问题。 token监控的维度:总量指标:累计Token消耗效率指标:平均每轮Token使用性能指标:生成速度和吞吐量质量指标:通过回复内容间接反映场景分类逻辑:短问答:简单事实性查询,预期简短回复技术解释:复杂概念阐述 AI技术不仅提高了工作效率和生活质量,也为解决复杂的社会问题提供了新的工具。 优化策略层Prompt优化:精简指令,减少冗余Token长度控制:动态调整生成长度参数批处理优化:提高批量请求处理效率上下文压缩:智能管理长对话历史4. ,确保系统在不同硬件环境下的可用性通过持续的技术迭代和优化,我们相信Token效率优化将在推动大语言模型普惠应用方面发挥越来越重要的作用。

    52943编辑于 2026-02-06
  • 来自专栏python3

    优化python执行效率

    开始优化前,写一个高级测试来证明原来代码很慢。你可能需要采用一些最小值数据集来复现它足够慢。通常一两个显示运行时秒的程序就足够处理一些改进的地方了。 有一些基础测试来保证你的优化没有改变原有代码的行为也是很必要的。你也能够在很多次运行测试来优化代码的时候稍微修改这些测试的基准。 那么现在,我们来来看看优化工具把。 内建优化器 启用内建的优化器就像是用一门大炮。它非常强大,但是有点不太好用,使用和解释起来比较复杂。 你也可以用如下的方法: 1.忍受缓慢或者缓存它们 2.重新思考整个实现 3.更多使用优化的数据结构 4.写一个C扩展 注意了,优化代码是种罪恶的快感! 先把它缓存起来再进行优化其实更好。

    86220发布于 2020-01-13
  • 来自专栏养虾记

    优化 OpenClaw Heartbeat,大幅减少 Token 消耗

    ────────────────────┐│优化前的Token消耗结构│├──────────────────────────────────────────────────────────────── 问题2:上下文膨胀HEARTBEAT.md内容过长,每次都要加载到上下文中。而且随着任务执行,历史记录不断累积,上下文越来越长。 :约1000-1500Token2.HEARTBEAT.md内容用户自定义的心跳任务说明。 7.1Token消耗对比优化前(每日):项目次数单次Token总计TokenHeartbeat484,000192,000任务执行48包含在心跳中-总计--192,000优化后(每日):项目次数单次Token $1.92$0.26$1.66每月$57.60$7.80$49.80每年$691.20$93.60$597.607.3性能对比指标优化优化后提升心跳响应时间5-10秒1-2秒5x上下文长度5000+Token1800Token64%

    2.3K21编辑于 2026-03-24
  • 来自专栏Coco的专栏

    前端构建效率优化之路

    FE 项目,在随着项目体量不断增大的过程中,对整体的打包构建效率优化之路。 基于上述的一些分析,本文将从如下几个方面探讨对构建效率优化的探索: 基于 Webpack 的一些常见传统优化方式 分模块构建 基于 Vite 的构建工具切换 基于 Es-build 插件的构建效率优化 如果不替换掉 Webpack 本身,语言本身(NodeJS)的执行效率是没法优化的,只能在其他几个点做文章。 ,上述优化完成后,对整个项目的打包构建效率是有着一个比较大的提升的,但是这并非已经做到了最好。 构建效率优化可能会处于一种一直在路上的状态。当然,这里不一定有最佳实践,只有最适合我们项目的实践,需要我们不断地去摸索尝试。

    1.5K20编辑于 2022-09-19
  • 来自专栏Linux运维

    SQL 优化优化 SQL 语句,提高查询效率

    无论是OLTP业务高并发写入,还是OLAP场景的大规模查询分析,SQL优化都是工程师必须掌握的核心能力。本文从原理到实践,系统讲解SQL优化的关键方法,帮助你在实际项目中显著提升查询效率。 一、SQL优化的核心思路SQL优化的本质是:减少扫描、减少计算、减少数据量、减少等待。 SELECTidFROMordersORDERBYidLIMIT100000,20)tONo.id=t.id;3.3避免在WHERE中使用OROR会导致索引失效:展开代码语言:SQLAI代码解释WHEREa=1ORb=2优化方式 :使用UNIONALL:展开代码语言:SQLAI代码解释SELECT...FROMtWHEREa=1UNIONALLSELECT...FROMtWHEREb=2;3.4JOIN优化JOIN的核心原则:小表驱动大表 :建组合索引(user_id,create_time)查询变为覆盖索引排序在索引中完成优化后耗时:5秒→20毫秒结语SQL优化不是单点技巧,而是一套系统方法:索引设计→SQL写法→执行计划分析→架构优化

    48410编辑于 2026-01-13
  • 来自专栏C# 编程

    SQLite执行效率优化结论

    reader[0], Name = (string)reader[1], Age = (long)reader[2] result = command.ExecuteScalar(); }, "[---使用事务---]执行INSERT命令"); List<Test> list2 return tests; }, "[---使用事务---]使用ExecuteReader方式执行SELECT命令"); DataTable table2 2)使用ExecuteReader方式比使用Adapter Fill Table方式快一点点,但这不是绝对的,这取决于编写的代码; 3)无论是执行插入或查询操作,使用事务比不使用事务快,尤其是在批量插入操作时 4)不能每次执行一条SQL语句前开始事务并在SQL语句执行之后提交事务,这样的执行效率同样是很慢,最好的情况下,是在开始事务后批量执行SQL语句,再提交事务,这样的效率是最高的。

    1.5K30发布于 2019-05-24
  • 来自专栏AI

    AI模型的效率优化

    AI模型的效率优化:量化与模型压缩技术随着人工智能(AI)技术的快速发展,AI模型的应用范围不断扩大,尤其是在计算资源有限的设备上,如移动设备、物联网(IoT)设备以及边缘计算环境中,AI模型的计算效率和存储需求变得至关重要 为了确保这些模型能够在资源受限的环境中高效运行,模型的效率优化成为了研究和应用的关键问题。AI模型的效率优化主要集中在两个方面:模型量化和模型压缩。 量化的挑战尽管量化能够显著提高模型的效率,但其也面临着精度损失的问题。为了避免精度损失,研究者提出了一些方法来优化量化过程。 2. 模型压缩:减少模型的复杂性模型压缩的基本概念模型压缩(Model Compression)指的是通过一系列技术减少神经网络模型的大小和计算复杂度,以便在受限的硬件环境中部署。 总结AI模型的效率优化技术,尤其是量化与模型压缩,是在计算资源有限的环境中部署高效AI应用的核心手段。量化通过减少模型参数的存储位数,能够显著提高推理速度并降低存储需求。

    92500编辑于 2025-02-04
  • 来自专栏腾讯云数据库专家服务

    MySQL案例:count(*)效率优化

    前言 阅读过上一篇文章的童鞋应该都知道,用count(1)替换count(*),并不能起到优化作用,两者的执行效率是一样的。那么,count(*)应该如何优化呢?让我们继续往下看。 那么为什么MySQL要从扫描聚集索引优化成扫描二级索引呢? 表而言,主键即数据;聚集索引的叶子节点存放的是完整行记录,而二级索引的叶子节点存放的只是索引列+主键,因此二级索引要比聚集索引小,扫描成本会更低;而且,二级索引key_len越小,扫描成本就越低,执行效率就越高 -------------+-------------+ 16 rows in set, 1 warning (0.00 sec) (3)汇总数据如下表,二级索引key_len越小,扫描成本越小,执行效率越高 ,只能从MySQL数据库获取,可以考虑为对应表key_len较小的列建立二级索引,以优化count(*)执行效率

    6.4K112发布于 2020-10-26
  • 来自专栏FSociety

    SQL中查询效率优化

    当我们使用索引和不使用索引的时候,效率会相差相当大,特别是当数据量越来越大的时候。 SELECT (9)DISTINCT (11)<TOP NUM> <SELECT LIST> (1)FROM [LEFT_TABLE] (3)<JOIN_TYPE> JOIN <RIGHT_TABLE> (2) SELECT * FROM USERS WHERE test1 = '1' AND test2 = '2' test1和test2都是两个不存在的字段,执行的时候会如下报错: ? FROM多个表的时候将小表写在后面,在CBO优化器情况下默认是将后表当成驱动表的。 ---- 写SQL简单,优化SQL难,数据分析师之路长的很,慢慢走~ peace~

    3.4K30发布于 2018-09-11
  • 来自专栏全栈程序员必看

    androidstudio 优化gradle编译效率

    有时做少量改动编译须要等待时间过长,近期Erik Hellman编写的Boosting the performance for Gradle in your Android projects( 译文 參考1)提到了此问题的优化方法 2.4做了在编译性能方面做了不少优化,提高编译效率。 ubuntu默认路径在~/.gradle/wrapper/dists/下 2.加入 守护进程,并行编译 在项目的gradle.properties 加入 org.gradle.daemon=true

    48810编辑于 2022-07-07
  • 来自专栏未来先知

    创新之举:不丢 Token,大语言模型效率提升 35% !

    作者解决了两个挑战: 1)研究上下文中文本中重要Token的分布情况,发现近来的Token比远期的Token更具有重要性; 2)通过跨层共享注意力分数优化远程Token的资源分配。 这带来了两个挑战: 1)一个Token要关注哪些重要的Token,重要Token的分布在哪里? 2)如何优化不那么重要的Token的内存和计算。 为了实现这一目标,作者提出了PoD(近端Token优化远程Token)方法,在解码阶段优化推理效率。 较大的表明模型更具内存效率。表2展示了内存消耗的结果。 关于性能、KV缓存节省以及优化阶段的比较,详见附录A.2。 远距离Token的计算正如第2.3节所述,某一层的注意力输出是由最近和远距离Token加权输出得出的。

    78610编辑于 2025-02-12
  • 来自专栏blackheart的专栏

    2.OAuth2授权(续) & JWT(JSON Web Token)

    1.1 撤销Token 在上篇[认证授权] 1.OAuth2授权 中介绍到了OAuth2可以帮我们解决第三方Client访问受保护资源的问题,但是只提供了如何获得access_token,并未说明怎么来撤销一个 2 OAuth2 Token 撤销(RFC7009 - OAuth2 Token Revocation) 简单来说,这个协议规定了一个Authorization server提供一个怎样的API来供Client 3 OAuth2 Token 元数据(RFC7662 - OAuth2 Token Introspection) 简单的总结来说,这个规范是为OAuth2扩展了一个API接口(Introspection Token 元数据 这一小节中,OAuth2返回Token的元数据的JSON,以及OAuth2中的access_token对Client是不透明的字符串这件事,我们可以把access_token的元数据信息用 6 总结 OAuth2在RFC6749中并未完整的提供一些问题的解决方案,而是附加了一些相关的RFC来解决这些问题,其实除了本文中提到的2个问题点之外,还有一些其他可以优化的地方存在(比如服务发现:https

    2K50发布于 2018-01-19
  • 来自专栏Eliauk的小窝

    Sa-Token整合OAuth2

    Sa-Token整合OAuth2 开源地址 https://gitee.com/ZVerify/zverify-blog 为什么要整合OAuth2 有些时候我们自己写的网站注册过于繁琐需要每个用户花费时间去注册 写之前思考一下 我们先想一下我们在进行第三方登录的时候是怎样的一个步骤,首先第三方登录都需要遵守OAuth2的流程,这里我使用了授权码模式,对于其他三种授权模式请参考网络文章,因为我使用了授权码模式所以他的整体流程都是一样的 ,首先前端通过访问网站拿到授权的code,然后回调我们后端的接口,此时只有code是变化的所以只需要接收到code,然后获取access_token ,拿到access_token之后我们可以去获取第三方用户信息 (access_token).openId(data).loginType(LoginTypeEnum.GITEE.getType()).build(); } 拿到access_token封装到对象中 通过access_token获得用户信息 然后通过access_token去访问gitee提供的通过access_token拿到用户信息的接口 @Override public SocialUserInfoDTO

    3.3K30编辑于 2022-11-15
  • 来自专栏YoungGy

    优化2】整数优化

    或的逻辑约束 三个选择的或 只有才 更多或 整数可除 多边形组合 固定花费 分段线性 组合型 set covering set packing 食堂定位 地图填色 Julia例子 9数独 概述 整数优化就是线性优化 x1被选中当且仅当x2被选中。 x2或x3被选中,可以都被选中。 x2或x3被选中,不可以都被选中。 对应的IP约束为: x1-x3<=0 x1+x5<=1 x1-x2=0 x2+x3>=1 x2+x3=1 或的逻辑约束 或的逻辑问题,可以用用bigM方法去解决,其思想是通过添加新的变量,将部分约束变成多余的 例如,对于问题 [图片] 或 [图片] (两者可以都出现),y1、y2的定义域是[0,5]。 and column j to j+2 @constraint(m, sum{x[r,c,k], r=i:i+2, c=j:j+2} == 1) end for i = 1:9, j = 1:

    1.8K50发布于 2018-01-05
  • 来自专栏媒矿工厂

    优化 Facebook 视频的存储效率

    这意味着我们需要: 更高效的硬件 更多的加速器, 更多的软件优化,如视频生命周期管理或视频存储策略 FB 视频存储策略 下面将介绍 Facebook 是如何管理它的视频存储的。 我们可以用效益成本评估器来代替生命周期冲突中管理编码的静态规则,回想一下前面的重新压缩编码操作会带来计算机成本,我们还需要在存储和质量之间进行权衡,这是一个适合效益成本评估的情况,这样我们就有了编码管理的第三个选择,这将帮助我们实现更好的视频存储效率 最后附上演讲视频: http://mpvideo.qpic.cn/0b2e2qaaeaaajuabyxfhqzqvbvgdalkaaaqa.f10002.mp4?

    1.7K30发布于 2021-12-02
  • 来自专栏Java编程指南

    IDEA 配置优化 提高开发效率

    去掉烦人的indent提示### 如何去掉呢? 打开IDEA 的preferences|Editor|Code Style, 去掉下图中的两个勾选: 设置文件的模板### 我们创建一个java文件时

    1.1K20发布于 2019-08-02
  • 来自专栏Java帮帮-微信公众号-技术文章全总结

    Java代码效率优化【面试+提高】

    JAVA代码效率优化 最近在想自己编程时是否注意过代码的效率问题,得出的答案是:没有。 下面是网上找的一篇关于JAVA代码优化的文章,觉得不错,就转载了。这里面设计到了JAVA基础和J2EE方面的优化建议,有时间会整理一下,现在先转载。 另外,依赖于具体的编译器/JVM,局部变量还可能得到进一步优化。 当StringBuffer达到最大容量的时候,它会将自身 容量增加到当前的2倍再加2,也就是(2*旧值+2)。 如果你使用缺省值,初始化之后接着往里面追加字符,在你追加到第16个字符的时候它会将容量增加到 34(2*16+2),当追加到34个字符的时候就会将容量增加到70(2*34+2)。

    1.3K130发布于 2018-03-15
  • 来自专栏Java学习网

    Java性能优化技巧,提高代码运行效率之J2EE篇

    二、J2EE篇 2.1 使用缓冲标记   2.2 始终通过会话Bean访问实体Bean   2.3 选择合适的引用机制   2.4 在部署描述器中设置只读属性   2.5 但应该记住:如果采用这种方式,数据库会变得更大,因为每个Unicode字符需要2个字节存储空间。

    77520发布于 2020-11-23
  • 来自专栏JavaEdge

    Netflix云计算效率优化秘诀!

    数据与洞察组织与我们的工程团队密切合作,共享关键的效率指标,使内部利益相关者能够做出明智的业务决策。 Cloud Efficiency Analytics (CEA)云效率分析:该组件建立在 FPD 的基础上,提供一个分析数据层,在各种业务用例中提供时间序列效率指标。 数据原则 作为效率指标的真实来源,我们团队的任务是提供准确、可靠和可访问的数据,提供全面的文档资料,以便在复杂的效率空间中游刃有余,并提供定义明确的服务水平协议(SLA),以便在延迟、中断或变更期间与下游消费者达成期望 我们的目标是通过预测分析和 ML 来优化使用和检测成本中的异常情况,从而转向主动方法。 负责: 中央/分销预订系统性能优化 活动&券等营销中台建设 交易平台及数据中台等架构和开发设计 车联网核心平台-物联网连接平台、大数据平台架构设计及优化 LLM Agent应用开发 区块链应用开发

    18910编辑于 2025-06-01
  • 来自专栏code人生

    使用联合索引优化查询效率

    在数据库设计和查询优化中,联合索引是一个强大的工具,它可以显著提高数据检索的速度。然而,要充分利用联合索引的优势,我们需要理解它们是如何影响查询效率的。 这种索引类型允许数据库在执行查询时,同时利用多个列的索引,从而提高数据检索的效率。 等值和范围查询 联合索引对等值查询(例如WHERE A=1 AND B=2)特别有效,因为它可以直接定位到具有特定键值组合的记录。 对于范围查询(例如WHERE A=1 AND B>2),联合索引同样有用,但是一旦遇到范围条件,索引中该条件之后的列就不会被用于优化查询。 但是,当范围查询介入时,索引的效率可能会降低,因为数据库需要遍历更多的索引项来找到所有匹配的记录。

    1.2K10编辑于 2024-06-11
领券