- 综合排序
- 最热优先
- 最新优先
- 来自专栏每月技术成长
CNB 环境构建加速 -- 并行 job
上文CNB 环境构建实践总结提到通过编写 script 而非直接修改 .cnb.yml 或构建镜像的方式，进行环境配置。 jobCNB pipeline 中，stages 是串行执行的，但每个 stage 中的 job 可以串行/并行运行，因此可以将环境配置 script 拆解为多个 script，通过并行 job 分别运行，从而加速开发环境配置 等系统包管理器安装相应软件如 cmake、ninja 等使用 curl 下载并运行指定 script，安装特定工具如 nvm、bun 等因此可以将这两部分拆解为两个及以上的 script，利用并行 job 同时运行，加速环境配置
27710编辑于 2025-11-30 - 来自专栏企鹅号快讯
spark环境构建（4）
提前说明一下，大数据的搭建环境都是在Linux系统下构建，可能针对一些没有Linux编程基础的同学来说会有一些吃力，请各位客官放心，小店伙计后期会专门有几期来讲解Linux编程基础。 绝对保证零基础完成大数据环境的构建。今天大数据环境构建后会暂停其他组件（hue、flume、kafka、oozie等）的构建，后面的文章就是基于该环境讲解大数据的应用。 一 安装zookeeper 参考：大数据开发Hadoop分布式集群环境构建（1） 二 安装spark 2.1 软件准备 软件下载地址： 链接：https://pan.baidu.com/s/1boQn4y7 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop3:2181,hadoop4:
1K100发布于 2018-01-10 - 来自专栏前端探索
即刻起，加速您的前端构建
构建 影响前端发布速度的有两个方面，一个是构建，一个就是压缩，把这两个东西优化起来，可以减少很多发布的时间。 thread-loader thread-loader 会将您的 loader 放置在一个 worker 池里面运行，以达到多线程构建。 loader中使用，否则效果不佳 更多配置请查看： https://github.com/webpack-contrib/thread-loader happypack happypack，通过多进程模型，来加速代码构建 压缩是发布前处理最耗时间的一个步骤，如果是你是在webpack 4 中，只要几行代码，即可加速你的构建发布速度。 总结 随着 webpack 4 的优化，构建速度其实得到了极大的提升，也收到了parcel 等零配置Web应用打包工具的启发，其实 webpack 的配置日趋简洁，何不尝试配置一下呢？
2.1K250发布于 2019-03-08 - 来自专栏存储公众号：王知鱼
企业加速出海，如何高效构建全球组网？
无论是硬件实例（SAG硬件）还是虚拟实例（SAG vCPE），其带宽费用均基于预先购买的固定带宽值和时长进行计算，进一步印证了这种模式在国内市场的主导地位 4。 一个“规模单元”本质上是一个具有确定容量的虚拟电路，这是传统电信网络的基本构建块。然而，与电信电路不同，它可以按小时进行配置、扩展和计费。 通过构建真实世界的业务场景模型，我们将量化不同计费方案在不同流量模式下的总拥有成本（TCO），从而直接回应用户关于成本优化的核心问题。 行业数据显示，通过使用SD-WAN技术，利用成本更低的商用宽带、4G/5G等多种互联网连接来取代或增强MPLS，企业可以实现40%至80%的网络总成本降低 26。 构建清晰的需求建议书 (RFP): 在RFP中，明确提出对按用量计费或弹性带宽计费组件的需求。提供详尽的历史流量数据，包括平均值、峰值、突发持续时间等，以便供应商能够给出准确的报价。
58310编辑于 2025-10-09 - 来自专栏实战docker
修改gradle脚本，加速spring源码编译构建速度
本次优化的策略是跳过task来节省时间，例如文档包和源码包，因此，如果您的目标是拿到最新jar包，那么这种手段适合您，如果您想拿到包括文档、源码等在内的所有构建资源，那么这种方式就不适合了； 先列举一下软硬件环境信息 ： 硬件：i5-8400，16G(DDR4-2667MHz)，SSD128G 操作系统：win10 64位 JDK：1.8.0_171 Gradle：2.14.1 IntelliJ IDEA：2018.1.5 环境编译spring-framework4.1.9版本，报错"Failed to capture snapshot of input files for task 'distZip'"》进行修改，否则会构建失败 artifacts { //archives docsZip //archives schemaZip //archives distZip } build.gradle修改完毕，可以再次构建了 如下图所示，仅用1分59秒就完成构建，去子工程的build目录发现所需jar包构建成功（例如spring-framework-4.1.8.RELEASE\spring-context\build\libs
1K50发布于 2020-05-26 - 来自专栏代码编写世界
CMake构建学习笔记4-libjpeg库的构建
libjpeg本身的构建没什么特别的，不过值得说道的是libjpeg存在一个高性能分支叫做libjpeg-turbo，通过汇编代码使用SIMD（Single Instruction, Multiple 构建libjpeg-turbo的关键指令如下所示： # 配置CMake cmake .. ，指定构建类型 cmake --build . --config RelWithDebInfo # 安装阶段，指定构建类型和安装目标 cmake --build . --config RelWithDebInfo --target install 除了ENABLE_STATIC是libjpeg-turbo自定义的构建选项，其他指令和构建选项本系列其他几篇博文都介绍过
40100编辑于 2024-12-14 - 来自专栏技术杂记
Rails 构建评论功能（4）
生成控制器 [root@h202 blog]# rails generate controller Comments Running via Spring preloader in process 3855 create app/controllers/comments_controller.rb invoke erb create app/views/comments invoke test_unit create test/c
62230发布于 2021-10-20 - 来自专栏技术杂记
Docker 中构建 Jenkins4
complete efae71df8aca: Pull complete 007c4719623e: Pull complete 0e54d32ff5f2: Pull complete 5b825467fc4f : Pull complete Digest: sha256:613ef35ff2fff0a26bab66dd9213463b034d4e536e9a6d52cbaeacb767fdf828 Status CREATED VIRTUAL SIZE docker:5000/ci/jnkns-img latest 5b825467fc4f
38710编辑于 2022-01-21 - 来自专栏又见苍岚
PyTorch 学习 -4- 模型构建
随着深度学习的发展，研究人员研究出了许许多多的模型，PyTorch中神经网络构造一般是基于nn.Module类的模型来完成的，它让模型构造更加灵活， 本文介绍 Pytorch 的模型构建 。 本节目录 PyTorch中神经网络的构造方法 PyTorch中特殊层的构建 LeNet的PyTorch实现 神经网络的构造 Module 类是 torch.nn 模块里提供的一个模型构造类，是所有神经网络模块的基类 __init__() self.params = nn.ParameterList([nn.Parameter(torch.randn(4, 4)) for i in range(3)]) 我们可以使用 torch.nn 包来构建神经网络。我们已经介绍了 autograd 包，nn 包则依赖于 autograd 包来定义模型并对它们求导。 , out_features=10, bias=True) )) 参考资料 https://datawhalechina.github.io/thorough-pytorch/第三章/3.4 模型构建
77020编辑于 2023-07-20 - 来自专栏云云众生s
Epic如何为开发者加速虚幻引擎构建
从运行《堡垒之夜》到为《星际迷航：发现号》构建遥远的世界，Epic Games的虚幻引擎大胆地将实时三维图形带到了从未有过的地方。虚幻引擎是一个庞大的多功能开发环境，用于创建游戏和其他实时三维内容。 他从引擎盖下的游戏开发的角度，以及Epic Games如何架构一个系统，为快速、高效的缓存加速全球大规模游戏资产分发，以加速虚幻引擎的全球分发。 要了解这里所涉及的内容，请看看如何使用虚幻编辑器构建一个简单的三维场景的图片： 看似简单的柠檬实际上由多个资产组成。有柠檬网格，多个纹理，着色器等。这些只是场景的一小部分。 缓存用于加速游戏烹饪时间。就像您可能会缓存代码编译一样，Epic Games经常依赖这些转换的缓存，即所谓的DDC(派生数据缓存)。 S3 用于存储大多数有效载荷(每个区域约 50 TB，用于两个月的游戏构建)，因为将内容保存在那里的成本非常低。如果请求的有效负载不在本地 NVMe 缓存中，则会从 S3 获取。
56410编辑于 2024-03-28 - 来自专栏技术小黑屋
一些关于加速Gradle构建的个人经验
1 Starting a Gradle Daemon (subsequent builds will be faster) 设置heap大小 为Gradle分配足够大的内存，则可以同样加速编译。 设置并行构建 现在的工程往往使用了很多模块，默认情况下Gradle处理多模块时，往往是挨个按顺序处理。可以想象，这种编译起来会有多慢。 好在Gradle提供了并行构建的功能，可以让我们充分利用机器的性能，减少编译构建的时间。 1 2 3 4 5 6 7 8 9 10 11 . 我们可以发现上面的:apps:droidyue:crashlyticsUploadDeobsChinaRelease居然耗费了4m26.26s，那么这是一个什么任务呢？
2.1K10发布于 2018-09-05 - 来自专栏Android 开发者
使用新 Android Gradle 插件加速您的应用构建
Gradle 配置缓存 △ Gradle 构建过程和阶段划分 每当 Gradle 开始构建时，它都会创建一个任务图用于执行构建操作。 △ Build 配置的输入内容 在构建过程中，您的构建设置决定了构建阶段的结果。所以配置缓存会将诸如 gradle.properties、构建文件等输入捕获，放入缓存中。 这些内容同您请求构建的任务一起，唯一地确定了在构建中要执行的任务。 当您的构建任务完成后，打开 Build Analyzer 面板，可以看到刚才构建配置过程花费的时间。如上图所示，配置构建过程总共使用了 9.8 秒。 这样一来，开发者就可以在不操作构建任务的前提下改变构建行为。
3.5K30编辑于 2022-04-01 - 来自专栏小小挖掘机
一行代码将Pandas加速4倍
虽然 panda 是 Python 中用于数据处理的库，但它并不是真正为了速度而构建的。了解一下新的库 Modin，Modin 是为了分布式 panda 的计算来加速你的数据准备而开发的。 当你使用 4 核(现代 Intel i5)或 6 核(现代 Intel i7)时，情况会变得更糟。pandas 的设计初衷并不是为了有效利用这种计算能力。 因此，并不是所有的 pandas 功能都被完全加速了。如果你在 Modin 中尝试使用一个还没有被加速的函数，它将默认为 panda，因此不会有任何代码错误或错误。 import ray ray.init(num_cpus=4) import modin.pandas as pd 在处理大数据时，数据集的大小超过系统上的内存(RAM)的情况并不少见。 希望你发现 Modin 至少在一些情况下对加速 panda有用。
3.7K10发布于 2019-12-11 - 来自专栏Datawhale专栏
一行代码将Pandas加速4倍
虽然 panda 是 Python 中用于数据处理的库，但它并不是真正为了速度而构建的。了解一下新的库 Modin，Modin 是为了分布式 panda 的计算来加速你的数据准备而开发的。 当你使用 4 核(现代 Intel i5)或 6 核(现代 Intel i7)时，情况会变得更糟。pandas 的设计初衷并不是为了有效利用这种计算能力。 因此，并不是所有的 pandas 功能都被完全加速了。如果你在 Modin 中尝试使用一个还没有被加速的函数，它将默认为 panda，因此不会有任何代码错误或错误。 import ray ray.init(num_cpus=4) import modin.pandas as pd 在处理大数据时，数据集的大小超过系统上的内存(RAM)的情况并不少见。 希望你发现 Modin 至少在一些情况下对加速 panda有用。
3.4K10发布于 2019-12-09 - 来自专栏CreateAMind
超GFlowNet 4个数量级加速
65] and Probabilistic Circuit (PC)5[45]. 4个数量级的加速 摘要 我们介绍边缘化模型（MMs），这是一种新的用于高维离散数据的生成模型家族。 在两种设置中，MMs 在评估边际概率方面实现了数量级的加速。对于基于能量的训练任务，MMs 可以实现高维问题的任意阶生成建模，超越了先前方法的能力。 概率电路（PCs）[6, 45]不使用神经网络作为函数逼近器，而是通过构建一个具有特定结构约束的计算图，使用求和和乘积运算来为条件和边缘提供可行的概率模型。 MAM在边缘推断中实现了接近4个数量级的加速，同时与AO-ARM-S的质量相当。PC在边缘推断中也非常快，但在质量方面存在差距。生成的样本和关于部分图像的额外边缘推断在附录B中。 MAM在边缘推断方面具有显著的加速，并且是唯一支持任意阶生成建模的模型。
30510编辑于 2024-06-04 - 来自专栏程序IT圈
Python处理大数据，推荐4款加速神器
本文向大家介绍几个好用的加速工具，可以很好地补齐现有 PyData 技术栈的短板。有了这些工具，即便是处理亿级数据你也可以应对自如。 Mars Mars 是numpy 、 pandas 、scikit-learn的并行和分布式加速器，由阿里云高级软件工程师秦续业等人开发的一个基于张量的大规模数据计算的统一框架，目前它已在 GitHub 基于 Numpy 数组的实现，GPU 自身具有的多个 CUDA 核心可以促成更好的并行加速。CuPy 接口是 Numpy 的一个镜像，并且在大多情况下，它可以直接替换 Numpy 使用。 只要用兼容的 CuPy 代码替换 Numpy 代码，用户就可以实现 GPU 加速。 ?
2.6K10发布于 2021-01-19 - 来自专栏小鑫同学编程历险记
构建工具Gulp-lesson4
lastRun api： 该 API 用来检索当前运行进程中完成任务最后一次的时间，在与 src api 组合时可以方便的跳过自上次任务执行后没有发生改变的文件，使得可以增量构建，加快构建速度。
36940编辑于 2022-12-26 - 来自专栏Android相关
Gradle For Android(4)--构建不同的版本
创建Project的时候不仅仅只有Release的构建类型，默认每个Module都有一个Debug的构建类型。我们可以在里面改改里面的值。 applicationId 'com.gradleforandroid.blue' minSdkVersion 14 versionCode 4 并且这个顺序，也决定了构建的名字。 redStaging Variant filters 通过Variant fileters的方式，可以完全忽略某种Variant的构建，从而达到使用assemble命令的时候提升构建的速度。 这也就意味着staging的构建会和Debug一样的签名，而没有它自己定义的签名。
2.5K20发布于 2018-10-24 - 来自专栏实战docker
修改gradle脚本，加速spring4.1源码编译构建速度
本次优化的策略是跳过task来节省时间，例如文档包和源码包，因此，如果您的目标是拿到最新jar包，那么这种手段适合您，如果您想拿到包括文档、源码等在内的所有构建资源，那么这种方式就不适合了； 原文地址： 硬件：i5-8400，16G(DDR4-2667MHz)，SSD128G 2. 操作系统：win10 64位 3. JDK：1.8.0_171 4. Gradle：2.14.1 5. 环境编译spring-framework4.1.9版本，报错”Failed to capture snapshot of input files for task ‘distZip’”》进行修改，否则会构建失败 ，记得使用-x test参数跳过测试，操作如下图： 4. 如下图所示，仅用1分59秒就完成构建，去子工程的build目录发现所需jar包构建成功（例如spring-framework-4.1.8.RELEASE\spring-context\build\libs
34830编辑于 2022-05-09 - 来自专栏为了不折腾而去折腾的那些事
在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers
写在前面 xFormers 是 FaceBook Research （Meta）开源的使用率非常高的 Transformers 加速选型，当我们使用大模型的时候，如果启用 xFormers 组件，能够获得非常明显的性能提升 ，我们需要安装一个能够让我们加速完成构建的工具 ninja： pip install ninja 当上面的工具都完成后，我们就可以执行命令，开始构建安装了： pip install -v -e . ，16GB 的设备就能够完成构建、当我们设置为 2 的时候，使用 32GB 的设备构建会比较稳妥，当设置到 4 的时候，构建需要的内存就需要 60GB 以上了。 在构建的时候，我们可以使用类似下面的命令，来搞定既使用了最新的 Nvidia 镜像，包含最新的 Pytorch 和 CUDA 版本，又包含 xFormers 加速组件的容器环境。 如果你是在本机上进行构建，没有使用 Docker，那么构建成功，你将看到类似下面的日志： ...
1.1K20编辑于 2024-01-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号