首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据分析与挖掘

    有效地读取图像,对比opencv、PIL、turbojpeg、lmdb、tfrecords

    opencv和PIL都是很常见的图像处理库了,就不介绍了,主要介绍后面三个: turbojpeg:libjpeg-turbo的python包装器,用于jpeg图像的解码和编码。 基本用法: import cv2 from turbojpeg import TurboJPEG, TJPF_GRAY, TJSAMP_GRAY, TJFLAG_PROGRESSIVE # using default library installation jpeg = TurboJPEG() # decoding input.jpg to BGR array in_file = open('input.jpg import TurboJPEG os.environ["TF_CPP_MIN_LOG_LEVEL"] = "3" class ImageLoader: extensions: tuple __init__(path, **kwargs) self.jpeg_reader = TurboJPEG() # create TurboJPEG object for image

    3.7K10发布于 2020-08-26
  • 来自专栏10km的专栏

    cmake:用于查找libjpeg-turbo的module FindTurboJPEG.cmake

    import target:turbojpep,turbojpeg-static # 通过查找turbojpeg.h定位libjpeg-turbo的include文件夹位置 find_path(TURBOJPEG_INCLUDE_DIR turbojpeg.h) set(TURBOJPEG_NAMES ${TURBOJPEG_NAMES} turbojpeg libturbojpeg) find_library(TURBOJPEG_LIBRARY DEFAULT_MSG TURBOJPEG_LIBRARY TURBOJPEG_INCLUDE_DIR) if(TURBOJPEG_FOUND) # for compatility of find_dependency ,则创建turbojpeg-static target if(TURBOJPEG_LIBRARY_STATIC) # Create imported target turbojpeg-static find_package(TurboJPEG REQUIRED) ## 优先使用静态库 if(TARGET turbojpeg-static) set (_turbojpeg_target "turbojpeg-static

    1.6K10发布于 2019-05-25
  • 来自专栏10km的专栏

    nmake(vs2015)命令行编译libjpeg-turbo(x86/amd64)

    [ 37%] Building C object CMakeFiles/turbojpeg.dir/turbojpeg.c.obj turbojpeg.c [ 37%] Building C object CMakeFiles/turbojpeg.dir/transupp.c.obj transupp.c [ 37%] Building C object CMakeFiles/turbojpeg.dir jdatasrc-tj.c Linking C shared library turbojpeg.dll 正在创建库 turbojpeg.lib 和对象 turbojpeg.exp [ 38%] /turbojpeg-static.dir/jdtrans.c.obj jdtrans.c [ 55%] Building C object CMakeFiles/turbojpeg-static.dir /turbojpeg-static.dir/turbojpeg.c.obj turbojpeg.c [ 63%] Building C object CMakeFiles/turbojpeg-static.dir

    2.5K21发布于 2019-05-25
  • 来自专栏10km的专栏

    mingw(gcc)编译libjpeg-turbo

    [ 37%] Building C object CMakeFiles/turbojpeg.dir/turbojpeg.c.obj [ 37%] Building C object CMakeFiles /turbojpeg.dir/transupp.c.obj [ 37%] Building C object CMakeFiles/turbojpeg.dir/jdatadst-tj.c.obj CMakeFiles/turbojpeg-static.dir/jcapistd.c.obj [ 42%] Building C object CMakeFiles/turbojpeg-static.dir C object CMakeFiles/turbojpeg-static.dir/jutils.c.obj [ 60%] Building C object CMakeFiles/turbojpeg-static.dir /turbojpeg-static.dir/turbojpeg.c.obj [ 63%] Building C object CMakeFiles/turbojpeg-static.dir/transupp.c.obj

    1.5K20编辑于 2022-05-07
  • 来自专栏TBOOX开源工程

    Xmake v2.7.2 发布,更加智能化构建第三方库

    support enabled (WITH_ARITH_DEC = 1) -- Arithmetic encoding support enabled (WITH_ARITH_ENC = 1) -- TurboJPEG API library enabled (WITH_TURBOJPEG = 1) -- TurboJPEG Java wrapper disabled (WITH_JAVA = 0) -- In-memory Built target strtest [ 22%] Built target rdjpgcom [ 80%] Built target jpeg-static [ 84%] Built target turbojpeg-static 1%] Built target strtest [ 3%] Built target wrjpgcom [ 19%] Built target simd [ 52%] Built target turbojpeg-static

    1.3K20编辑于 2022-11-14
  • 来自专栏10km的专栏

    cmake:使用find_package查找libjpeg的静态库

    对于经常会用到的 jpeg库turbojpeg,可以用find_package(JPEG REQUIRED)来查找。

    2.2K20发布于 2019-05-25
  • 来自专栏韩曙亮的移动开发专栏

    【Android 内存优化】libjpeg-turbo 函数库交叉编译与使用 ( 交叉编译脚本编写 | 函数库头文件拷贝 | 构建脚本配置 | Android Studio 测试函数库 )

    拷贝头文件 : 将上述 jconfig.h , jerror.h , jmorecfg.h , jpeglib.h , turbojpeg.h 头文件拷贝到 src/main/cpp/include 目录中 ANDROID_ABI}") target_link_libraries( # 链接动态库 native-lib # 查找到的 libturbojpeg 静态库 turbojpeg

    2.4K20编辑于 2023-03-27
  • 来自专栏机器人课程与技术

    Ubuntu_ROS中应用kinect v2笔记

    Install TurboJPEG Download from http://sourceforge.net/projects/libjpeg-turbo/files, extract it to c: \libjpeg-turbo64 or depends/libjpeg-turbo64, or anywhere as specified by the environment variable TurboJPEG_ROOT libusb, GLFW brew update brew install libusb brew tap homebrew/versions brew install glfw3 Install TurboJPEG Ubuntu 14.04 only) sudo dpkg -i debs/libusb*deb (Other) sudo apt-get install libusb-1.0-0-dev Install TurboJPEG

    3.3K20发布于 2019-01-23
  • 来自专栏我爱计算机视觉

    MMAction2: 新一代视频理解工具箱

    的训练速度做了大幅的优化,采用分布式的训练框架,支持多种 IO 后端文件读取(Disk, Ceph, Memcached 等),多种 Video 的解码方式(OpenCV, PyAV, Decord 等),TurboJPEG 此外,还支持 TurboJPEG 的图片解码方式,加速视频帧的读取。 ?

    1.1K21发布于 2021-03-09
  • 来自专栏tencent cloud

    ​PyTorch 训练随机卡死 Debug

    大图像集上尽量避免 cv2.imread + png 的极端混合;解码热点可以考虑 jpeg4py、turbojpeg、pyav、或者打包为 webdataset/tfrecord。

    63510编辑于 2025-09-02
  • 来自专栏人工智能前沿讲习

    【他山之石】MMAction2: 新一代视频理解工具箱

    的训练速度做了大幅的优化,采用分布式的训练框架,支持多种 IO 后端文件读取(Disk, Ceph, Memcached 等),多种 Video 的解码方式(OpenCV, PyAV, Decord 等),TurboJPEG 此外,还支持 TurboJPEG 的图片解码方式,加速视频帧的读取。 ?

    1.2K30发布于 2021-03-17
  • 来自专栏进击的多媒体开发

    Android NDK 开发之 CMake 必知必会

    target_link_libraries( native-lib glm turbojpeg ADD_SUBDIRECTORY(src/main/cpp/turbojpeg) ADD_SUBDIRECTORY(src/main/cpp/glm) 添加头文件 在使用的时候有一个容易忽略的步骤就是添加头文件

    1.8K20发布于 2019-07-26
  • 训练每隔几步就“卡半天”?PyTorch DataLoader 阻塞与吞吐骤降的三连坑:num_workers/预取与持久进程、pin_memory/非阻塞搬运

    图片解码尽量换到更快库(turbojpeg)、把随机几何增强换到 GPU(kornia/自写 CUDA kernel)、合并小文件(WebDataset/LMDB),或使用 DALI/ffcv 等高性能输入管线

    53010编辑于 2025-12-26
  • 来自专栏GiantPandaCV

    FFCV:让数据加载不再是训练模型的瓶颈

    数据遍历顺序控制 libffcv 作者基于Python C扩展写了一些必要的函数,包括如memcpy,fileread,imdecode,resize 其中resize使用的是Opencv来做,而图片解码采用的是turbojpeg

    1.4K40编辑于 2022-02-11
  • 来自专栏GiantPandaCV

    PyTorch消除训练瓶颈 提速技巧

    图片解码 PyTorch中默认使用的是Pillow进行图像的解码,但是其效率要比Opencv差一些,如果图片全部是JPEG格式,可以考虑使用TurboJpeg库解码。具体速度对比如下图所示: ?

    2.2K20发布于 2021-01-08
  • 来自专栏安恒网络空间安全讲武堂

    DASCTF|2022DASCTF7月赋能赛官方Write Up

    提取颜色数据可以使用libjpeg-turbo库(配合Python的turbojpeg库)。 6、终脚本如下(需要提前安装libjpeg-turbo库): from turbojpeg import TurboJPEG from PIL import Image jpeg = TurboJPEG

    3.4K10编辑于 2023-03-23
  • 来自专栏雨落秋垣

    C++ 版轻量级图片解析程序

    位并行处理)ARMv7/ARM64:强制NEON优化(-mfpu=neon-mfloat-abi=hard)依赖库集成方案libjpeg-turbo特定配置:#CMakeLists.txt关键配置set(TURBOJPEG_STATICTRUE

    36110编辑于 2025-11-30
领券