首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大模型应用

    大模型应用:本地大模型部署中的Token效率优化与性能分析.9

    随着模型规模的不断扩大和应用场景的多样化,如何在不牺牲对话质量的前提下优化Token使用效率,已成为提升大模型应用经济性和实用性的关键问题。 token监控的维度:总量指标:累计Token消耗效率指标:平均每轮Token使用性能指标:生成速度和吞吐量质量指标:通过回复内容间接反映场景分类逻辑:短问答:简单事实性查询,预期简短回复技术解释:复杂概念阐述 AI技术不仅提高了工作效率和生活质量,也为解决复杂的社会问题提供了新的工具。 优化策略层Prompt优化:精简指令,减少冗余Token长度控制:动态调整生成长度参数批处理优化:提高批量请求处理效率上下文压缩:智能管理长对话历史4. ,确保系统在不同硬件环境下的可用性通过持续的技术迭代和优化,我们相信Token效率优化将在推动大语言模型普惠应用方面发挥越来越重要的作用。

    52943编辑于 2026-02-06
  • 来自专栏python3

    优化python执行效率

    开始优化前,写一个高级测试来证明原来代码很慢。你可能需要采用一些最小值数据集来复现它足够慢。通常一两个显示运行时秒的程序就足够处理一些改进的地方了。 有一些基础测试来保证你的优化没有改变原有代码的行为也是很必要的。你也能够在很多次运行测试来优化代码的时候稍微修改这些测试的基准。 那么现在,我们来来看看优化工具把。 内建优化器 启用内建的优化器就像是用一门大炮。它非常强大,但是有点不太好用,使用和解释起来比较复杂。 你也可以用如下的方法: 1.忍受缓慢或者缓存它们 2.重新思考整个实现 3.更多使用优化的数据结构 4.写一个C扩展 注意了,优化代码是种罪恶的快感! 先把它缓存起来再进行优化其实更好。

    86220发布于 2020-01-13
  • 来自专栏云计算D1net

    在提升和转换之后优化云计算效率10个步骤

    云计算基础设施被证明对大多数企业来说是高效的,同时还可以通过对基础设施进行不断的改进来进一步优化其云计算效率。本文介绍了如何通过10个更注重性能的步骤来优化云计算基础设施。 如今,越来越多的企业将业务迁移到云中以利用其优异性能进行优化,并有效处理其工作负载。云计算基础设施被证明对大多数企业来说是高效的,同时还可以通过对基础设施进行不断的改进来进一步优化其云计算效率。 如果企业开始将其应用程序和工作负载迁移到云平台中,那么现在是使用以下10个更注重性能的步骤来优化其云计算基础设施的时候了。 优化的基础设施需要良好的云计算数据管理策略来有效地处理所有必需的资源,因此计划付诸实施是一个很好的主意。 与传统架构相比,新的云计算环境往往具有更高的性能和效率。 因此,它是优化云计算环境的更有效和可扩展的方式。 10.云编排和自动化 云编排的目标是自动化管理私有云和公有云之间的连接和操作所需的任务,它有助于以特定方式集成自动化任务以改进业务功能。

    95640发布于 2021-10-13
  • 来自专栏养虾记

    优化 OpenClaw Heartbeat,大幅减少 Token 消耗

    完整实战指南:通过架构重构将HeartbeatToken消耗降低95%目录问题背景与痛点分析Heartbeat工作机制深度解析优化策略与架构重构详细实施步骤进阶优化技巧监控与故障排查优化效果量化分析总结与最佳实践一 ────────────────────┐│优化前的Token消耗结构│├──────────────────────────────────────────────────────────────── **如无异常→回复HEARTBEAT_OK**优化效果:字数:500字→50字Token:约800→约100节省:约87.5%4.3第三步:创建Cron任务4.3.1查看现有Cron任务展开代码语言:BashAI 7.1Token消耗对比优化前(每日):项目次数单次Token总计TokenHeartbeat484,000192,000任务执行48包含在心跳中-总计--192,000优化后(每日):项目次数单次Token $1.92$0.26$1.66每月$57.60$7.80$49.80每年$691.20$93.60$597.607.3性能对比指标优化优化后提升心跳响应时间5-10秒1-2秒5x上下文长度5000+Token1800Token64%

    2.3K21编辑于 2026-03-24
  • 来自专栏Coco的专栏

    前端构建效率优化之路

    FE 项目,在随着项目体量不断增大的过程中,对整体的打包构建效率优化之路。 基于上述的一些分析,本文将从如下几个方面探讨对构建效率优化的探索: 基于 Webpack 的一些常见传统优化方式 分模块构建 基于 Vite 的构建工具切换 基于 Es-build 插件的构建效率优化 如果不替换掉 Webpack 本身,语言本身(NodeJS)的执行效率是没法优化的,只能在其他几个点做文章。 esbuild 使用 Go 编写,并且比以 JavaScript 编写的打包器预构建依赖快 10-100 倍。依赖预构建主要做了什么呢? ,上述优化完成后,对整个项目的打包构建效率是有着一个比较大的提升的,但是这并非已经做到了最好。

    1.5K20编辑于 2022-09-19
  • 来自专栏Linux运维

    SQL 优化优化 SQL 语句,提高查询效率

    无论是OLTP业务高并发写入,还是OLAP场景的大规模查询分析,SQL优化都是工程师必须掌握的核心能力。本文从原理到实践,系统讲解SQL优化的关键方法,帮助你在实际项目中显著提升查询效率。 一、SQL优化的核心思路SQL优化的本质是:减少扫描、减少计算、减少数据量、减少等待。 优化方式:使用索引字段排序避免对大表直接排序使用覆盖索引减少回表必要时使用临时表提前过滤四、执行计划分析(EXPLAIN)SQL优化必须依赖执行计划。 常见选择:OLTP:READCOMMITTED金融类强一致:REPEATABLEREAD或SERIALIZABLE六、缓存与分库分表当SQL优化到极限后,需要从架构层面优化。 :建组合索引(user_id,create_time)查询变为覆盖索引排序在索引中完成优化后耗时:5秒→20毫秒结语SQL优化不是单点技巧,而是一套系统方法:索引设计→SQL写法→执行计划分析→架构优化

    48410编辑于 2026-01-13
  • 来自专栏C# 编程

    SQLite执行效率优化结论

    4)不能每次执行一条SQL语句前开始事务并在SQL语句执行之后提交事务,这样的执行效率同样是很慢,最好的情况下,是在开始事务后批量执行SQL语句,再提交事务,这样的效率是最高的。

    1.5K30发布于 2019-05-24
  • 来自专栏AI

    AI模型的效率优化

    AI模型的效率优化:量化与模型压缩技术随着人工智能(AI)技术的快速发展,AI模型的应用范围不断扩大,尤其是在计算资源有限的设备上,如移动设备、物联网(IoT)设备以及边缘计算环境中,AI模型的计算效率和存储需求变得至关重要 为了确保这些模型能够在资源受限的环境中高效运行,模型的效率优化成为了研究和应用的关键问题。AI模型的效率优化主要集中在两个方面:模型量化和模型压缩。 量化的挑战尽管量化能够显著提高模型的效率,但其也面临着精度损失的问题。为了避免精度损失,研究者提出了一些方法来优化量化过程。 总结AI模型的效率优化技术,尤其是量化与模型压缩,是在计算资源有限的环境中部署高效AI应用的核心手段。量化通过减少模型参数的存储位数,能够显著提高推理速度并降低存储需求。 而模型压缩技术,如剪枝、知识蒸馏和低秩分解,能够通过减少冗余信息来优化模型的复杂性和计算效率。在实际应用中,结合量化和模型压缩技术,可以为移动设备、嵌入式系统及边缘计算提供更为高效的AI解决方案。

    92500编辑于 2025-02-04
  • 来自专栏腾讯云数据库专家服务

    MySQL案例:count(*)效率优化

    前言 阅读过上一篇文章的童鞋应该都知道,用count(1)替换count(*),并不能起到优化作用,两者的执行效率是一样的。那么,count(*)应该如何优化呢?让我们继续往下看。 那么为什么MySQL要从扫描聚集索引优化成扫描二级索引呢? 表而言,主键即数据;聚集索引的叶子节点存放的是完整行记录,而二级索引的叶子节点存放的只是索引列+主键,因此二级索引要比聚集索引小,扫描成本会更低;而且,二级索引key_len越小,扫描成本就越低,执行效率就越高 -------------+-------------+ 16 rows in set, 1 warning (0.00 sec) (3)汇总数据如下表,二级索引key_len越小,扫描成本越小,执行效率越高 count(*)执行效率

    6.4K112发布于 2020-10-26
  • 来自专栏FSociety

    SQL中查询效率优化

    当我们使用索引和不使用索引的时候,效率会相差相当大,特别是当数据量越来越大的时候。 <WHERE_CONDITION> (5)GROUP BY <GROUP_BY_LIST> (6)WITH <CUBE | ROLLUP> (7)HAVING <HAVING_CONDITION> (10 FROM多个表的时候将小表写在后面,在CBO优化器情况下默认是将后表当成驱动表的。 ---- 写SQL简单,优化SQL难,数据分析师之路长的很,慢慢走~ peace~

    3.4K30发布于 2018-09-11
  • 来自专栏全栈程序员必看

    androidstudio 优化gradle编译效率

    有时做少量改动编译须要等待时间过长,近期Erik Hellman编写的Boosting the performance for Gradle in your Android projects( 译文 參考1)提到了此问题的优化方法 2.4做了在编译性能方面做了不少优化,提高编译效率

    48810编辑于 2022-07-07
  • 来自专栏未来先知

    创新之举:不丢 Token,大语言模型效率提升 35% !

    作者解决了两个挑战: 1)研究上下文中文本中重要Token的分布情况,发现近来的Token比远期的Token更具有重要性; 2)通过跨层共享注意力分数优化远程Token的资源分配。 这带来了两个挑战: 1)一个Token要关注哪些重要的Token,重要Token的分布在哪里? 2)如何优化不那么重要的Token的内存和计算。 为了实现这一目标,作者提出了PoD(近端Token优化远程Token)方法,在解码阶段优化推理效率。 此外,还有一些方法通过直接压缩输入Prompt的长度来提高效率。本工作与这些方法相互独立,并主要集中在优化解码阶段。 使用了50亿条数据进行训练。 从优化的角度来看,作者大致将这些方法分为以下几类: 近年来的研究从两个方向优化了上下文计算(Fu, 2024),即预填充和解码。

    78610编辑于 2025-02-12
  • 来自专栏DeepHub IMBA

    CUDA性能优化实战:7个步骤让并行归约算法提升10效率

    这项研究基于Mark Harris在NVIDIA网络研讨会中提出的优化方法,在重现这些优化技术的同时,进一步简化了概念阐述以便于理解。 REDUCE-1:改进的交替寻址 针对第一版实现中的计算效率问题,这个版本对寻址方式进行了优化。虽然基本的寻址逻辑保持不变,但在构建归约函数时消除了模运算符和发散条件的使用。 通过编译针对特定块大小(如512、256和128)定制的内核版本,为每个变体优化其特定场景,剥离不必要的操作,最大化内存和计算资源效率。 完全展开技术严重依赖编译时优化,将内核限制为固定的块大小配置。当数据大小与块配置不完全匹配时,可能导致效率降低和GPU资源的次优利用。 虽然无法复现NVIDIA展示的戏剧性加速效果,但成功展示了持续的优化进程和GPU峰值性能的逐步提升。 总结 基于本次优化实践,总结出CUDA内核优化的核心要点如下。

    65610编辑于 2025-08-20
  • 来自专栏从零开始学自动化测试

    python接口自动化10-token登录

    一、登录返回token 1.如下图的这个登录,无cookies ? 2.但是登录成功后有返回token 二、请求头带token 1.登录成功后继续操作其它页面,发现post请求的请求头,都会带token参数 ? 2.这种请求其实比cookie更简单,直接把登录后的token放到头部就行 三、token关联 1.用脚本实现登录,获取token参数,获取后传参到请求头就可以了 2.如果登录有验证码,前面的脚本登录步骤就省略了 ()["token"] # 这是登录后发的一个post请求 post_url = "http://xxx" # 添加token到请求头 header["token"] = token # 如果这个post 传token的方式也有几种,有的传在头部,有的在url里。

    1.8K40发布于 2018-04-08
  • 来自专栏产品的技术小课

    效率工具推荐(第10期)

    输入多个同类的对比词,比如输入对比词:小鹏汽车、理想汽车和蔚来汽车,该网站会搜出对比词在小红书、B站和抖音中的正面和负面评价对比,可用于对产品口碑营销效果的监测。

    82620编辑于 2022-04-01
  • 来自专栏媒矿工厂

    优化 Facebook 视频的存储效率

    这意味着我们需要: 更高效的硬件 更多的加速器, 更多的软件优化,如视频生命周期管理或视频存储策略 FB 视频存储策略 下面将介绍 Facebook 是如何管理它的视频存储的。 我们可以用效益成本评估器来代替生命周期冲突中管理编码的静态规则,回想一下前面的重新压缩编码操作会带来计算机成本,我们还需要在存储和质量之间进行权衡,这是一个适合效益成本评估的情况,这样我们就有了编码管理的第三个选择,这将帮助我们实现更好的视频存储效率

    1.7K30发布于 2021-12-02
  • 来自专栏Java编程指南

    IDEA 配置优化 提高开发效率

    去掉烦人的indent提示### 如何去掉呢? 打开IDEA 的preferences|Editor|Code Style, 去掉下图中的两个勾选: 设置文件的模板### 我们创建一个java文件时

    1.1K20发布于 2019-08-02
  • 来自专栏Java帮帮-微信公众号-技术文章全总结

    Java代码效率优化【面试+提高】

    JAVA代码效率优化 最近在想自己编程时是否注意过代码的效率问题,得出的答案是:没有。 下面是网上找的一篇关于JAVA代码优化的文章,觉得不错,就转载了。这里面设计到了JAVA基础和J2EE方面的优化建议,有时间会整理一下,现在先转载。 另外,依赖于具体的编译器/JVM,局部变量还可能得到进一步优化。 在默认构造函数中,Vector的初始存储能力 是10个元素,如果新元素加入时存储能力不足,则以后存储能力每次加倍。 如果把块大小改成512,则调用数据库的次数将减少到10次。 21、Servlet与内存使用 许多开发者随意地把大量信息保存到用户会话之中。

    1.3K130发布于 2018-03-15
  • 来自专栏JavaEdge

    Netflix云计算效率优化秘诀!

    数据与洞察组织与我们的工程团队密切合作,共享关键的效率指标,使内部利益相关者能够做出明智的业务决策。 Cloud Efficiency Analytics (CEA)云效率分析:该组件建立在 FPD 的基础上,提供一个分析数据层,在各种业务用例中提供时间序列效率指标。 数据原则 作为效率指标的真实来源,我们团队的任务是提供准确、可靠和可访问的数据,提供全面的文档资料,以便在复杂的效率空间中游刃有余,并提供定义明确的服务水平协议(SLA),以便在延迟、中断或变更期间与下游消费者达成期望 我们的目标是通过预测分析和 ML 来优化使用和检测成本中的异常情况,从而转向主动方法。 负责: 中央/分销预订系统性能优化 活动&券等营销中台建设 交易平台及数据中台等架构和开发设计 车联网核心平台-物联网连接平台、大数据平台架构设计及优化 LLM Agent应用开发 区块链应用开发

    18910编辑于 2025-06-01
  • 来自专栏code人生

    使用联合索引优化查询效率

    在数据库设计和查询优化中,联合索引是一个强大的工具,它可以显著提高数据检索的速度。然而,要充分利用联合索引的优势,我们需要理解它们是如何影响查询效率的。 本文将探讨联合索引的工作原理以及如何使用它们来优化查询。 联合索引的工作原理 联合索引的原理基于数据库管理系统(DBMS)如何存储和检索数据的方式。 这种索引类型允许数据库在执行查询时,同时利用多个列的索引,从而提高数据检索的效率。 索引的效率取决于查询条件如何与索引列的顺序匹配。数据库在处理查询时,会按照索引定义中的列顺序从左到右匹配条件。如果查询的第一个条件是索引的第一个列,那么数据库可以高效地利用索引。 但是,当范围查询介入时,索引的效率可能会降低,因为数据库需要遍历更多的索引项来找到所有匹配的记录。

    1.2K10编辑于 2024-06-11
领券