首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大语言模型,算力共享

    tinygrad框架简介;MLX框架简介

    ​目录tinygrad框架简介MLX框架简介LLaMA​编辑Stable Diffusion​编辑tinygrad框架简介极简主义与易扩展性 tinygrad 的设计理念是极简主义。 MLX框架简介基本信息开发者:Apple的机器学习研究团队设计理念:专为苹果芯片设计,旨在提供一个既简单易用又高效的研究环境,让研究人员能够快速探索和实现新的算法思想。 主要特点紧密类似NumPy的API:MLX提供了与NumPy类似的Python API,以及与之对应的C++ API,使得开发者能轻松上手。 )语音识别(利用OpenAI的Whisper进行语音识别)获取方式MLX可以通过PyPI安装Python API,或者通过GitHub上的源代码进行编译和安装。 综上所述,tinygrad和MLX都是具有独特特点和优势的深度学习框架,分别适用于不同的开发者和应用场景。

    73720编辑于 2024-07-23
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发

    介绍 MLX 是 Apple 专为 Apple 芯片设计的机器学习框架。 MLX Swift 将 MLX 扩展到了 Swift,可以直接在 iOS 项目中使用而无需借助 Python。 MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备(iPhone/iPad/Mac)使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。

    58210编辑于 2025-02-19
  • 来自专栏呼延

    Lucene系列(11)索引格式之pay文件

    本文使用Lucene代码版本: 8.7.0 前言 本文学习一下.pay文件的格式与内容。 pos文件中存储了每个term对应的payload信息,还有offset信息.

    96610发布于 2021-03-15
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(四)

    介绍 在 SwiftUI-MLX本地大模型开发、SwiftUI-MLX本地大模型开发(二)与 SwiftUI-MLX本地大模型开发(三)中,我们解决了基本使用、定制模型、使用本地模型、更改模型存储路径、 环境 pip install mlx pip install mlx-lm pip install transformers 数据 新建文件train.jsonl、valid.jsonl与test.jsonl 根据模型说明文件,准备数据,格式如下。本文以ticoAg/Chinese-medical-dialogue进行微调。 {"text": "你是谁?\n我是你的私人智能小助手,我叫羊羊。"} mlx_lm.lora \ --train \ --model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2 \ --model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2-1B-Instruct-4bit \ -

    38210编辑于 2025-04-21
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(二)

    介绍 在 SwiftUI-MLX本地大模型开发一文中,我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题: MLX 内置的大模型数量有限。 可以在 Hugging Face 模型搜索地址 中搜索需要的 MLX 大模型。 // MARK: - 注册自定义模型,模型必须为MLX格式 extension MLXLLM.ModelRegistry { public static let llama3_2_3B_4bit = ModelConfiguration( id: "mlx-community/Llama-3.2-3B-Instruct-4bit", // Hugging Face上模型的仓库路径 可以在 Model Scope 模型搜索地址 中搜索并下载需要的 MLX 大模型。

    32200编辑于 2025-04-14
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(三)

    /huggingface/models/mlx-community目录(iOS)。 案例:将模型存储位置更改为:/Users/yangfan/Downloads/mlx_models/models/mlx-community(macOS)或者 sandbox 下的Downloads/mlx_models /models/mlx-community目录(iOS)。 # 安装mlx_lm pip install mlx mlx-lm # 下载模型到本地 modelscope download --model NousResearch/Hermes-3-Llama- --hf-path /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B -q # --mlx-path:转换后模型存储路径 mlx_lm.convert

    58310编辑于 2025-04-14
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(五)

    适配本地模型:适用于运行在 Apple Silicon 上的 MLX 模型。 支持资源监控:可输出内存占用等性能指标,方便优化推理策略。 llm-tool使用步骤 克隆项目git clone https://github.com/ml-explore/mlx-swift-examples.git。 使用 Xcode 打开mlx-swift-examples项目,选择 llm-tool 进行编译。 通过终端命令mlx-run llm-tool eval快速测试。 案例 cd mlx-swift-examples . /mlx-run llm-tool eval \ --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \

    35610编辑于 2025-05-06
  • 来自专栏开源优测

    11 掌握下python解析YAML格式也是需要的

    什么是YAML YAML参考了其他多种语言,包括:XML、C语言、Python、Perl以及电子邮件格式RFC2822。 在开发的这种语言时,YAML 的意思其实是:"Yet Another Markup Language"(仍是一种置标语言), 格式及示例 数据结构可以用类似大纲的缩排方式呈现,结构通过缩进来表示,连续的项目通过减号 (document) print(type(load)) print(load) print("---" * 25) # 将python对象转换成为yaml格式文档 output = yaml.dump(load) print(type(output)) print(output) 说明: load:将yaml格式的字符串转换成Python 对象 dump:将Python对象转换成yaml格式文档 ---- 多段yaml格式内容解析用用到load_all函数,示例如下: #-*- coding:utf-8 -*- __author__ =

    1.2K70发布于 2018-04-09
  • Mac Studio M4 通过 vLLM 部署本地大模型,对接 Jeecg-AI

    vllm-mlx4.3 验证安装vllm-mlx --help5. 模型选型推荐基于 128GB 内存,以下是推荐的模型(均为 MLX 格式,位于 Hugging Face 的 mlx-community 组织下):模型名称内存占用优势推荐等级Qwen3-30B-A3B 启动# 激活环境source ~/.venv-vllm-mlx/bin/activate# 启动服务vllm-mlx serve mlx-community/Qwen2.5-72B-Instruct- 11. /Qwen2.5-72B-Instruct-4bit --port 800111.5 生成速度慢确认是否使用了 MLX 格式模型(mlx-community 前缀)尝试启用 Paged Attention

    1.7K10编辑于 2026-03-12
  • 来自专栏嵌入式项目开发

    OneNet平台替换腾讯云IOT平台(2024年6月)

    每个物联网开发平台的数据格式都不一样,OneNet有自己格式,腾讯云也有自己的格式,大同小异。 注意: 上面截图里的代码,只是一个很普通的字符串拼接,大家不要看的太神秘,很高级。 _T\":%d,\"DHT11_H\":%d,\"MLX90614\":%.1f,\"MQ7\":%d,\"People\":%d,\"Fall\":%d,\"RespiratoryRate\":%d} }", HeartRate,DHT11_T,DHT11_H,MLX90614,MQ7,People,Fall,RespiratoryRate); 这是OneNet需要的数据格式。 sprintf(tmp_buff,"{\"id\":123,\"dp\":{\"HeartRate\":[{\"v\":%d}],\"DHT11_T\":[{\"v\":%d}],\"DHT11_H\" \":%d}],\"RespiratoryRate\":[{\"v\":%d}]}} ",HeartRate,DHT11_T,DHT11_H,MLX90614,MQ7,People,Fall,RespiratoryRate

    66210编辑于 2025-05-27
  • exo: 使用日常设备在家运行自己的 AI 集群

    MLX 支持:exo 使用 MLX[4] 作为推理后端,并使用 MLX[5] 分布式进行分布式通信。 发送聊天完成请求 现在,向/v1/chat/completions 端点发送 POST 请求(格式与 OpenAI 的 API 相同): curl -N -X POST http://localhost localhost:52415/models•检查实例 ID 和部署状态:curl http://localhost:52415/state 有关详细信息,请参阅 src/exo/master/api.py[11 s=20 [4]MLX:https://github.com/ml-explore/mlx [5]MLX:https://ml-explore.github.io/mlx/build/html/usage vladkens/macmon [9]node:https://github.com/nodejs/node [10]rust:https://github.com/rust-lang/rustup [11

    36710编辑于 2026-03-13
  • Ollama MLX支持深度解析:Apple Silicon如何成为AI开发新主力平台

    1.技术突破:MLX、NVFP4和缓存优化的协同效应技术原理解析Ollama这次的技术突破主要体现在三个方面:MLX框架支持MLX是苹果推出的机器学习框架,专为AppleSilicon设计。 常见问题解决方案问题1:模型兼容性解决方案:使用MLX转换工具将现有模型转换为MLX格式命令:mlx-convert--inputmodel.pt--outputmodel.mlx问题2:内存不足解决方案 :启用模型量化,使用INT8格式命令:ollamarunmlx-model--quantizeint83.行业影响:AI开发生态的重构对开发者的意义降低入门门槛:AppleSilicon用户无需额外硬件即可进行 Q:MLX和PyTorch/TensorFlow相比有什么优势?A:MLX专为AppleSilicon设计,能够充分利用硬件特性,在本地推理速度和能效比上表现更好。 Q:现有的Ollama模型可以直接在MLX上运行吗?A:需要先转换为MLX格式。Ollama提供了转换工具,可以将现有的PyTorch模型转换为MLX格式,但可能需要一些调整。

    78510编辑于 2026-03-31
  • 来自专栏机器之心

    苹果为自家芯片打造开源框架MLX,实现Llama 7B并在M2 Ultra上运行

    2020 年 11 月,苹果推出 M1 芯片,其速度之快、功能之强大一时令人惊艳。2022 年苹果又推出了 M2,今年 10 月,M3 芯片正式登场。 项目地址:https://github.com/ml-explore/mlx MLX 项目贡献者之一、Apple 机器学习研究团队(MLR)研究科学家 Awni Hannun 展示了一段使用 MLX 框架实现 MLX 还有更高级的包(比如 mlx.nn 和 mlx.optimizers),它们的 API 很像 PyTorch,可以简化构建更复杂的模型。 可组合函数变换。 MLX 与其他框架的显著差异在于统一内存,阵列共享内存。MLX 上的操作可以在任何支持的设备类型上运行,无需移动数据。 此外,项目中提供了多种使用 MLX 框架的示例,比如 MNIST 示例可以很好地让你学习如何使用 MLX

    1.4K10编辑于 2023-12-12
  • 来自专栏工程监测

    MLX90640 开发笔记 成果展示-红眼睛相机

    MLX90640 开发笔记 最终的成果是一个微型的USB接口红外成像模块(微型红外成像仪30*30mm),可以连接到Android手机或者计算机的USB接口,实时显示热像视频,和手机相机差不多,只不过它是热红外成像

    45220编辑于 2022-06-28
  • H800_3.2T RDMA测试指导文档

    驱动、nvidia_peermem Linux内核增加ARP双发特性,支持RDMA的双发(提供内核patch) RDMA bond网络的反向路由检查 bond配置脚本,rdma网卡名不建议ethX格式 带宽测试server: taskset -c 10,11 ib_write_bw -d mlx5_bond_0 -x 3 -F --report_gbits -p 18500 -D 2 -q 16 -- run_infinitely taskset -c 12,13 ib_write_bw -d mlx5_bond_1 -x 3 -F --report_gbits -p 18501 -D 2 -q 16 -p 18507 -D 2 -q 16 --run_infinitely 带宽测试client: taskset -c 10,11 ib_write_bw -d mlx5_bond_0 -x 3 -F _bond_0,mlx5_bond_1,mlx5_bond_2,mlx5_bond_3,mlx5_bond_4,mlx5_bond_5,mlx5_bond_6,mlx5_bond_7 export NCCL_NET_GDR_LEVEL

    1.2K10编辑于 2024-10-22
  • 来自专栏福大大架构师每日一题

    MLX 性能大幅提升 , Gemma4 闪光注意力全面启用

    该项改动位于responses模块,直接扩展API响应结构,前端与后端服务均可无缝对接新的返回格式,无需额外适配改造。 MLX库路径匹配规则优化 在GPU设备发现逻辑中添加mlx_前缀过滤,避免因路径匹配错误导致的MLX库加载失败,精准识别mlx_开头的硬件加速库目录,提升苹果芯片与NVIDIA GPU平台的库加载成功率 (三)统一MLX变体加载策略 对mlx_*目录进行倒序排序加载,优先加载高版本MLX库(如mlx_metal_v4优先于mlx_metal_v3),自动跳过不兼容硬件平台的变体,实现硬件自适应加载,无需用户手动指定库路径 构建打包Safetensors格式数据,支持多张量合并 4. 自定义模型部署更简单 Safetensors导入修复、实验性路径简化,让开源模型一键转为ollama可用格式,降低本地化部署成本。 3.

    30420编辑于 2026-04-14
  • 来自专栏用户8678874的专栏

    Melexis 宣布推出最新款 Triaxis® 位置传感器芯片及全新无 PCB 封装选项

    MLX90377 支持更多的输出信号格式,而全新的单模封装(SMP) 可提高无 PCB 集成并降低制造成本 2021 年 5 月 28 日,比利时泰森德洛 - 全球微电子工程公司 Melexis 推出面向汽车和工业应用的单裸片和双裸片 MLX90377产品应用图.jpg MLX90377 是一款磁旋转和线性位置传感器芯片,将在 Triaxis 传感器芯片 MLX90371 和 MLX90372 的成功基础上再续辉煌。 MLX90377 基于 Triaxis 霍尔磁性前端,集成了 ADC 信号调节模块、数字信号处理器以及支持 SPC(短 PWM 代码)、模拟、PWM 和 SENT 信号格式的输出级驱动器。 作为 Triaxis 位置传感器芯片系列的一员,MLX90377 同样可用于旋转和线性运动位置传感应用。 其中 SMP-3 是一款单裸片解决方案,MLX90377 是首款支持 SMP-3 的产品,SMP-4 是一款双裸片解决方案(共享电源和接地引脚),此前推出的 MLX90371 是首款支持 SMP-4 的产品

    48360发布于 2021-05-31
  • 来自专栏数据开发笔记

    oracle 11g 处理json格式的字段 获取 keyvalue值

    OF_BIZ_FINISH_FLAG , TEST_GET_FRO_JSON(T.ID,'OF_ERROR_DETAIL') AS OF_ERROR_DETAIL FROM TESTGETJSON T 11g

    10.1K21编辑于 2022-01-17
  • 来自专栏开源服务指南

    Swift 响应式编程:简化 KVO 观察与 UI 事件处理 | 开源日报 No.110

    提供测试能力 无外部依赖项 支持多种安装选项 (如 Manual,CocoaPods,XCFrameworks,Carthage,Swift Package Manager) pybind/pybind11 [2] Stars: 14.0k License: NOASSERTION pybind11 是一个轻量级的头文件库,用于在 C++ 和 Python 之间实现无缝操作性,主要用于创建现有 C++ 代码的 [3] Stars: 6.8k License: MIT MLX 是一个用于在 Apple Silicon 上进行机器学习的数组框架,由苹果机器学习研究团队提供支持。 其主要功能和关键特点包括: 熟悉的 API:具有类似 NumPy 的 Python API 和完整的 C++ API,并且还有高级封装包 mlx.nn 和 mlx.optimizers,API 设计遵循 统一内存:采用统一内存模型,数组位于共享内存中,在任何受支持设备上执行 MLX 数组操作而无需移动数据。

    68510编辑于 2023-12-12
  • 来自专栏DPU

    RDMA_verbs编程详解-查询设备列表(ibv_get_device_list)和打开设备(ibv_open_device)

    简介 IB设备通过ib_core驱动注册后(lsmod|grep ib), 在sysfs下生成的目录树参考如下: mlx: [root@s11 mlx5_0]# tree -L 10 . ├── board_id ├── mr_cache │ ├── 10 │ │ ├── cur │ │ ├── limit │ │ ├── miss │ │ └── size │ ├── 11 └── traffic_class ├── ttl │ └── 1 │ └── ttl └── uevent 45 directories, 987 files [root@s11 , .create_qp = mlx5_create_qp, .query_qp = mlx5_query_qp, .modify_qp = mlx5_ .alloc_dm = mlx5_alloc_dm, .alloc_parent_domain = mlx5_alloc_parent_domain, .alloc_td = mlx5_

    1.8K11编辑于 2024-05-19
领券