首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Linux云计算网络

    A Nice Paper About Mobile Data Offloading

    关于Mobile Data Offloading这个研究领域的Paper基本上该有的都看过了,我想即使再有也无非是那些套路,新不到哪去。 同样,这篇paper也是这样,它的出发点是改进原有的利用ad hoc网络来进行offloading中耗能和延迟高的缺陷。 在原有的offloading的方式,按是否有辅助基础设施的参与可以分为两类:一类是通过AP辅助offloading,另一类是纯粹的ad hoc方式,当两个具备通信接口的移动节点进入彼此的通信范围内时自发地完成通信

    1.1K100发布于 2018-01-11
  • 来自专栏DeepHub IMBA

    用Context Offloading解决AI Agent上下文污染,提升推理准确性

    我们用"上下文卸载"(Context Offloading)来缓解上下文污染,这能帮agent保持在正确轨道上。 Context Offloading 上下文卸载就是把信息存在语言模型的"活跃上下文窗口"之外。通过外部工具或记忆系统单独保存数据,模型需要时再去访问这些存储的数据。 为什么有用?

    27610编辑于 2025-11-15
  • 来自专栏DeepHub IMBA

    使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B

    Mixtral-offloading提出了一个更有效的解决方案,以减少VRAM消耗,同时保持合理的推理速度。 在应用量化和Speculative Offloading后,推理速度比使用Accelerate (device_map)实现的Offloading快2到3倍: 在16gb GPU VRAM上运行Mixtral 首先,我们需要安装需要的包 git clone https://github.com/dvmazur/mixtral-offloading.git --quiet cd mixtral-offloading -8x7B-Instruct-v0.1-offloading-demo 然后导入以下内容: import sys sys.path.append("mixtral-offloading") import 总结 mixtral-offloading 是一个新的项目,但它已经能够很好的运行。

    85211编辑于 2024-01-17
  • 来自专栏机器之心

    跑ChatGPT体量模型,从此只需一块GPU:加速百倍的方法来了

    实现低延迟对于 offloading 来说本质上是一个挑战,但是对于面向吞吐量的场景,可以大大提高 offloading 的效率。 图 1 说明了三个具有 offloading 的推理系统的延迟吞吐量权衡。通过仔细的调度,I/O 成本可以通过大量输入分摊并与计算重叠。 为此,在新方法 FlexGen 上,人们提出了一种用于 LLM 推理的 offloading 框架。 该研究的主要贡献如下: 1、作者正式定义了可能的 offloading 策略的搜索空间,并使用成本模型和线性规划求解器搜索最佳策略。 在研究中,作者还将 FlexGen 和 Petals 作为 offloading 和去中心化集合推理方法的代表进行了比较。

    1.8K40编辑于 2023-02-23
  • 来自专栏从ORACLE起航,领略精彩的IT技术。

    Oracle Exadata 学习笔记之核心特性Part1

    1.Offloading 2.SmartScan 3.Storage Index 1.Offloading Offloading可以理解为将一些处理工作“下沉”到Exadata的Cell存储节点来完成。 参数 cell_offload_processing 用来控制是否启用Offloading,默认值为true,也就是默认是启用Offloading功能的。 那么Offloading的功能具体包含哪些呢? (逆向offloading)。 等cell节点压力缓解后又可能会再次执行offloading

    1.1K20发布于 2020-02-17
  • 来自专栏蓝里小窝

    阅读笔记 | Privacy vs. Efficiency: Achieving Both Through Adaptive Hierarchical Federated Learning

    Tune offloading decision and local noise intensity to minimize resource consumption since more noise Offloading model training tasks by splitting the model into two parts while having a relatively comprehensive method at the end device because different splitting may cause different computation and influence the offloading

    26110编辑于 2023-11-29
  • 来自专栏Lansonli技术博客

    大数据NiFi(七):NiFi集群页面管理节点操作

    二、卸载节点在断开节点上存储的数据可以通过“卸载”操作将数据重新均衡到集群其他节点上,节点卸载之后,页面上显示“Offloading”状态:可以在状态为“Offloading”的节点上重新启动NiFi服务或者点击

    1.8K141编辑于 2023-01-09
  • 来自专栏边缘计算

    边缘计算中任务卸载研究综述

    [5]WuH,SunY,WolterK.EnergyEfficient Decision Making for Mobile Cloud Offloading[J].IEEE Transactions [8]ZengY,HuangY,LiuZ,etal.Joint Online Edge Caching and Load Balancing for Mobile Data Offloading in [11]ZhangK,MaoY,LengS,etal.Energy-Efficient Offloading for MobileEdge Computing in 5GHeterogeneous [15]TranTX,PompiliD.JointTask Offloading and Resource Allocation for Multi-ServerMobile-Edge Computing [16]EshraghiN,LiangB.Joint Offloading Decision and Resource Allocation with UncertainTask Computing

    5.6K40发布于 2021-07-01
  • 来自专栏虚拟化云计算

    网络硬件卸载简介

    OpenStack的Pike版本中引入了对switchdev的支持,实现了Open vSwitch硬件卸载offloading功能。本文简介一下网络硬件卸载。 OpenStack Pike版本中引入了对switchdev的支持,实现了Open vSwitch硬件卸载offloading功能。

    3.5K21发布于 2020-03-11
  • 来自专栏量子位

    用BT下载的方式在家跑千亿大模型,推理/微调速度10倍提升

    用上它,你的GPU实际上只需要加载大模型的一小部分,就能把模型跑起来,速度还嘎嘎快: 推理速度能达到1秒/token,比offloading的方式快10倍。 offloading是通过提高GPU利用率,加速模型训练的一种方法, 什么是PETALS 具体来说,PETALS来自BigScience这个科研合作项目。

    70220编辑于 2023-02-28
  • 来自专栏腾讯云网络专家服务

    ipv6 Windows服务器无法通信

    information-about-tcp-chimney-offload-rss-netdma-feature Windows server 2012系统TCP卸载设置请参考文档 https://docs.rackspace.com/support/how-to/disabling-tcp-offloading-in-windows-server

    8.2K81发布于 2021-04-15
  • 来自专栏码匠的流水账

    聊聊flink的BlobWriter

    * * @return minimum offloading size */ int getMinOffloadingSize(); ​ /** Serializes the given value and offloads it to the BlobServer if its size exceeds the minimum * offloading BlobWriter定义了putPermanent、getMinOffloadingSize方法,同时还提供了serializeAndTryOffload静态方法用于序列化指定value并在其大小超过minimum offloading BlobWriter定义了putPermanent、getMinOffloadingSize方法,同时还提供了serializeAndTryOffload静态方法用于序列化指定value并在其大小超过minimum offloading

    78620发布于 2019-02-28
  • 来自专栏技术派

    为什么我们不要在nodejs中阻塞event loop

    process: child_process.spawnSync child_process.execSync child_process.execFileSync partitioning 或者 offloading 为了不阻塞event loop,同时给其他event一些运行机会,我们实际上有两种解决办法,那就是partitioning和offloading。 这个时候我们就需要将任务offloading到worker Pool中。 当然offloading也有缺点,它的最大缺点就是和Event Loop的交互损失。

    67240发布于 2021-06-22
  • 来自专栏程序那些事

    不要在nodejs中阻塞event loop

    process: child_process.spawnSync child_process.execSync child_process.execFileSync partitioning 或者 offloading 为了不阻塞event loop,同时给其他event一些运行机会,我们实际上有两种解决办法,那就是partitioning和offloading。 这个时候我们就需要将任务offloading到worker Pool中。 当然offloading也有缺点,它的最大缺点就是和Event Loop的交互损失。

    1.3K31发布于 2021-01-26
  • 来自专栏机器学习、深度学习

    模型加速--Slimmable neural networks

    on the fly according to on-device benchmarks and resource constraints, rather than downloading and offloading

    66230发布于 2019-05-26
  • 来自专栏程序那些事

    不要在nodejs中阻塞event loop

    process: child_process.spawnSync child_process.execSync child_process.execFileSync partitioning 或者 offloading 为了不阻塞event loop,同时给其他event一些运行机会,我们实际上有两种解决办法,那就是partitioning和offloading。 这个时候我们就需要将任务offloading到worker Pool中。 当然offloading也有缺点,它的最大缺点就是和Event Loop的交互损失。

    77851发布于 2021-02-02
  • 来自专栏Postgresql源码分析

    Postgresql源码(11)StrategyGetBuffer新buffer分配流程图

    The background writer is designed to write out pages that are likely to be recycled soon, thereby offloading

    35020编辑于 2022-05-12
  • 来自专栏边缘计算

    边缘计算资源分配与任务调度优化综述

    On Reducing IoT Service Delay Via Fog Offloading[J]. A Survey of Computation Offloading for Mobile Systems[J]. Analysis of an Offloading Scheme for Data Centers in the Framework of Fog Computing[J]. Offloading in Internet of Vehicles: A Fog-enabled Real-time Traffic Management System[J]. Optimal Joint Scheduling and Cloud Offloading for Mobile Applications[J].

    3.8K30发布于 2021-12-02
  • 来自专栏全栈程序员必看

    jvm可达性分析算法_对点网络

    GRO(Generic Receive Offloading),GSO是发,GRO是收。 Offloading 带来的潜在问题 分段offloading可能会带来潜在的问题,比如网络传输的延迟latency,因为packets的大小的增加,大大增加了driver queue的容量(capacity 在网络上也能看到一些建议,在使用这些offloading技术时如果发现莫名的网络问题,建议先将这些技术关闭后再看看情况有没有改变。 poor-network-connection-issue-with-windows-instance/ [11] https://sokratisg.net/2012/04/01/udp-tcp-checksum-errors-from-tcpdump-nic-hardware-offloading

    2.2K30编辑于 2022-11-15
  • 来自专栏Postgresql源码分析

    Postgresql源码(15)StrategyGetBuffer新buffer分配流程图

    The background writer is designed to write out pages that are likely to be recycled soon, thereby offloading

    32710编辑于 2022-07-14
领券