首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大语言模型,算力共享

    tinygrad框架简介;MLX框架简介

    ​目录tinygrad框架简介MLX框架简介LLaMA​编辑Stable Diffusion​编辑tinygrad框架简介极简主义与易扩展性 tinygrad 的设计理念是极简主义。 MLX框架简介基本信息开发者:Apple的机器学习研究团队设计理念:专为苹果芯片设计,旨在提供一个既简单易用又高效的研究环境,让研究人员能够快速探索和实现新的算法思想。 主要特点紧密类似NumPy的API:MLX提供了与NumPy类似的Python API,以及与之对应的C++ API,使得开发者能轻松上手。 )语音识别(利用OpenAI的Whisper进行语音识别)获取方式MLX可以通过PyPI安装Python API,或者通过GitHub上的源代码进行编译和安装。 综上所述,tinygrad和MLX都是具有独特特点和优势的深度学习框架,分别适用于不同的开发者和应用场景。

    73620编辑于 2024-07-23
  • 来自专栏Linux内核

    Intel E810ICE DPU RDMA 及MLX中断原理分析2(CEAE)

    if (rf->msix_shared) msix_vec = &rf->iw_msixtbl[1]; else msix_vec = &rf->iw_msixtbl[2] 1 : 2; for (ceq_id = 1; i < num_ceqs; i++, ceq_id++) { iwceq = &rf->ceqlist[ceq_id]; ibv_qp_init_attr_ex attr_ex; memset(&attr_ex, 0, sizeof(struct ibv_qp_init_attr_ex)); #ifdef HAVE_MLX5DV struct mlx5dv_qp_init_attr attr_dv; memset(&attr_dv, 0, sizeof(attr_dv)); #ifdef HAVE_OOO_RECV_WRS struct mlx5dv_context ctx_dv; memset(&ctx_dv, 0, sizeof(ctx_dv)); #endif #endif #ifdef

    57310编辑于 2025-03-29
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发

    介绍 MLX 是 Apple 专为 Apple 芯片设计的机器学习框架。 MLX Swift 将 MLX 扩展到了 Swift,可以直接在 iOS 项目中使用而无需借助 Python。 MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备(iPhone/iPad/Mac)使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 isLoading = true // 加载模型(第一次使用会下载) let modelConfiguration = ModelRegistry.llama3_2_

    57910编辑于 2025-02-19
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(四)

    介绍 在 SwiftUI-MLX本地大模型开发、SwiftUI-MLX本地大模型开发(二)与 SwiftUI-MLX本地大模型开发(三)中,我们解决了基本使用、定制模型、使用本地模型、更改模型存储路径、 环境 pip install mlx pip install mlx-lm pip install transformers 数据 新建文件train.jsonl、valid.jsonl与test.jsonl 根据模型说明文件,准备数据,格式如下。本文以ticoAg/Chinese-medical-dialogue进行微调。 {"text": "你是谁?\n我是你的私人智能小助手,我叫羊羊。"} mlx_lm.lora \ --train \ --model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2 \ --model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2-1B-Instruct-4bit \ -

    38210编辑于 2025-04-21
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(二)

    介绍 在 SwiftUI-MLX本地大模型开发一文中,我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题: MLX 内置的大模型数量有限。 如何解决这 2 个问题,方案是:定制大模型与使用离线大模型。 定制大模型 通过扩展MLXLLM.ModelRegistry实现模型的定制。 可以在 Hugging Face 模型搜索地址 中搜索需要的 MLX 大模型。 // MARK: - 注册自定义模型,模型必须为MLX格式 extension MLXLLM.ModelRegistry { public static let llama3_2_3B_4bit 可以在 Model Scope 模型搜索地址 中搜索并下载需要的 MLX 大模型。

    32200编辑于 2025-04-14
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(三)

    /huggingface/models/mlx-community目录(iOS)。 案例:将模型存储位置更改为:/Users/yangfan/Downloads/mlx_models/models/mlx-community(macOS)或者 sandbox 下的Downloads/mlx_models /models/mlx-community目录(iOS)。 ")) let modelConfiguration = ModelRegistry.llama3_2_1B_4bit // 使用新路径 let modelContainer # 安装mlx_lm pip install mlx mlx-lm # 下载模型到本地 modelscope download --model NousResearch/Hermes-3-Llama-

    58210编辑于 2025-04-14
  • 来自专栏学海无涯

    SwiftUI-MLX本地大模型开发(五)

    适配本地模型:适用于运行在 Apple Silicon 上的 MLX 模型。 支持资源监控:可输出内存占用等性能指标,方便优化推理策略。 llm-tool使用步骤 克隆项目git clone https://github.com/ml-explore/mlx-swift-examples.git。 使用 Xcode 打开mlx-swift-examples项目,选择 llm-tool 进行编译。 通过终端命令mlx-run llm-tool eval快速测试。 案例 cd mlx-swift-examples . /mlx-run llm-tool eval \ --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \

    35510编辑于 2025-05-06
  • 来自专栏技术杂记

    Logstash 处理多种格式日志2

    相关的配置基础可以参考 Filebeat Configuration Options

    68420编辑于 2022-01-20
  • Ollama MLX支持深度解析:Apple Silicon如何成为AI开发新主力平台

    2.开发者体验:从配置到部署的完整流程本地部署指南在MacBook上配置OllamaMLX的步骤其实很简单:展开代码语言:BashAI代码解释#1.安装Ollamabrewinstallollama#2 常见问题解决方案问题1:模型兼容性解决方案:使用MLX转换工具将现有模型转换为MLX格式命令:mlx-convert--inputmodel.pt--outputmodel.mlx问题2:内存不足解决方案 A:OllamaMLX支持所有搭载AppleSilicon芯片的Mac,包括M1、M2、M3系列。但性能提升最明显的是M2Pro及以上型号,因为它们有更强大的NPU。 由于利用了NPU进行计算,相比CPU计算,功耗降低了约68%,电池使用时间可以延长2-3小时。Q:现有的Ollama模型可以直接在MLX上运行吗?A:需要先转换为MLX格式。 Ollama提供了转换工具,可以将现有的PyTorch模型转换为MLX格式,但可能需要一些调整。Q:MLX支持哪些类型的AI模型?

    77810编辑于 2026-03-31
  • 来自专栏福大大架构师每日一题

    MLX 性能大幅提升 , Gemma4 闪光注意力全面启用

    底层推理加速优化:MLX框架M5性能提升、Gemma4闪光注意力启用与兼容修复 2. 模型创建流程重构:实验性路径清理、Safetensors模型导入修复与逻辑简化 3. 2. 2. 切换默认HTTP客户端 简化MLX模块网络请求逻辑,使用系统默认HTTP客户端,减少第三方依赖,提升网络请求稳定性,避免因自定义客户端配置导致的连接异常。 2. 硬件性能进一步释放 MLX M5优化与Gemma4闪光注意力启用,使苹果芯片用户获得更高推理速度,老旧GPU也能稳定运行新型模型。 2.

    23220编辑于 2026-04-14
  • 来自专栏机器之心

    苹果为自家芯片打造开源框架MLX,实现Llama 7B并在M2 Ultra上运行

    2022 年苹果又推出了 M2,今年 10 月,M3 芯片正式登场。 苹果在发布芯片的同时,也非常注重在其芯片上训练和部署 AI 模型的能力。 项目地址:https://github.com/ml-explore/mlx MLX 项目贡献者之一、Apple 机器学习研究团队(MLR)研究科学家 Awni Hannun 展示了一段使用 MLX 框架实现 Llama 7B 并在 M2 Ultra 上运行的视频。 MLX 还有更高级的包(比如 mlx.nn 和 mlx.optimizers),它们的 API 很像 PyTorch,可以简化构建更复杂的模型。 可组合函数变换。 此外,项目中提供了多种使用 MLX 框架的示例,比如 MNIST 示例可以很好地让你学习如何使用 MLX

    1.4K10编辑于 2023-12-12
  • 来自专栏福大大架构师每日一题

    ollama v0.17.5正式发布:新增Qwen3.5系列模型,全方位优化GPU/CPU分配、采样惩罚与内存管理机制详解

    新增的参数结构 Metrics 中增加了: • PeakMemory:以GiB或人类可读格式输出峰值内存; • formatPeakMemory()函数:自动判断单位并格式化显示; • Summary( 这可以帮助开发者在分析模型运行性能时,即时观察峰值占用,便于评估MLX引擎的内存优化效果。 2. 新策略: • 当模型类型为MLX(即safetensors格式),将禁用上下文截断; • 非MLX模型仍保留truncate机制,但在计算时精确考虑图片token数量。 这可以保证MLX模型不会因为Prompt截断而导致上下文缺失,从而提高多模态场景下的生成连贯性。 2. 2.

    2.1K20编辑于 2026-03-04
  • 来自专栏工程监测

    MLX90640 开发笔记 成果展示-红眼睛相机

    MLX90640 开发笔记 最终的成果是一个微型的USB接口红外成像模块(微型红外成像仪30*30mm),可以连接到Android手机或者计算机的USB接口,实时显示热像视频,和手机相机差不多,只不过它是热红外成像

    45220编辑于 2022-06-28
  • 来自专栏陈猿解码

    Iceberg的V2格式

    【V1与V2简介】 Iceberg在V1的格式中定义了,如何使用不可变类型的文件(Parquet、ORC、AVRO)来管理大型分析型的表,包括元数据文件、属性、数据类型、表的模式,分区信息,以及如何写入与读取 而在V2格式中,在V1的基础上增加了如何通过这些类型的表实现行级别的更新与删除功能。 2)位置删除 在DeleteData文件中固定列字段为file_path和pos,以及可选的row字段。 其中file_path指定需要待删除的行数据所在的数据文件位置,而pos则指定待删除的行记录的起始位置 2. 【总结】 本文主要从文件格式上讲述了iceberg版本2中如何实现行级别的删除,具体为deletefile的表示。

    1.3K30编辑于 2023-09-18
  • 来自专栏mysql-dba

    mysql复制系列2-复制的格式

    mysql 复制是基于binlog日志的,binlog日志中根据事件类型,事件以不同的格式被记录到二进制日志中,复制的格式由系统变量binlog_format控制,mysql支持三种格式的binlog 日志格式设置,各有优缺点:如下 1.基于语句的格式 SBR 主库将sql语句文本记录到二进制日志,在从库上回放时执行sql语句 优点: <1>技术成熟 <2>写入日志文件数据较少,节省存储空间 <3>日志文件中包含数据变更的原始语句 ,可用于数据库审计 缺点: <1>一些执行结果不确定的DML语句,不能使用基于statement格式的复制,会造成主从库数据不一致 <2>UDF用户自定义函数和存储过程执行结果也不确定会导致主从数据不一致 DML从库需要行锁可能更少(二进制日志记录的是逐行数据变更) 缺点: <1>生成更多的二进制日志,每行变更都会写到日志,利用二进制日志进行备份恢复时间也就越长 <2>解析二进制日志看不到具体的sql语句 ,安全语句按照statement格式记录,不安全语句按照row格式记录 参考 1,2 注意: 使用row格式的二进制日志时,如果从库在更新非事务表时停止了复制线程,则从库可能发生数据不一致,非事务表数据无法

    83841发布于 2021-05-10
  • Mac Studio M4 通过 vLLM 部署本地大模型,对接 Jeecg-AI

    2. 环境准备2.1 操作系统要求确保 macOS 版本为 Sequoia (15.0) 或更高,以获得最佳的 MLX 性能支持。 vllm-mlx4.3 验证安装vllm-mlx --help5. 模型选型推荐基于 128GB 内存,以下是推荐的模型(均为 MLX 格式,位于 Hugging Face 的 mlx-community 组织下):模型名称内存占用优势推荐等级Qwen3-30B-A3B 30B-MoE-4bit 预期Prompt 处理速度~100-300 tokens/s~300-500 tokens/s生成速度(单用户)~15-25 tokens/s~40-60 tokens/s并发用户数2- /Qwen2.5-72B-Instruct-4bit --port 800111.5 生成速度慢确认是否使用了 MLX 格式模型(mlx-community 前缀)尝试启用 Paged Attention

    1.7K10编辑于 2026-03-12
  • 来自专栏小雨的CSDN

    传输层(2) —— TCP协议格式

    TCP协议格式 源/目的端口号: 表示数据是从哪个进程来, 到哪个进程去 4位TCP报头长度: 表示该TCP头部有多少个32位bit(有多少个4字节); TCP头部最大长度是15 * 4 = 60

    40120编辑于 2022-10-26
  • 来自专栏用户8282247的专栏

    自动化办公2(word格式排版)

    格式排版,繁琐的要求,如果只输入文字格式由机器帮我们弄好,那可就太简单了。于是乎利用python创建了这一功能,以此提高效率。 pwd=zkwi 提取码:zkwi1.下载到桌面2.解压压缩包3.进入文件夹双击exe文件图片如果需要结束,段落级别填-1,内容为空(回车即可)。这样在文件夹下回生成一个word文档。 2.相关代码from docx.shared import RGBColorfrom docx.shared import Ptfrom docx.oxml.ns import qn #设置中文字体需要该模块 str(data))# 设置字体大小,三号run.font.size = Pt(16)# 设置文字类型run.font.name = "楷体_GB2312"# 设置像微软雅黑这样的中文字体,必须添加下面2行代码 设置字体大小,三号 run.font.size = Pt(16) # 设置文字类型 run.font.name = "黑体" # 设置像黑体这样的中文字体,必须添加下面2行代码

    80430编辑于 2023-08-20
  • 来自专栏用户8678874的专栏

    Melexis 宣布推出最新款 Triaxis® 位置传感器芯片及全新无 PCB 封装选项

    MLX90377 支持更多的输出信号格式,而全新的单模封装(SMP) 可提高无 PCB 集成并降低制造成本 2021 年 5 月 28 日,比利时泰森德洛 - 全球微电子工程公司 Melexis 推出面向汽车和工业应用的单裸片和双裸片 MLX90377产品应用图.jpg MLX90377 是一款磁旋转和线性位置传感器芯片,将在 Triaxis 传感器芯片 MLX90371 和 MLX90372 的成功基础上再续辉煌。 MLX90377 基于 Triaxis 霍尔磁性前端,集成了 ADC 信号调节模块、数字信号处理器以及支持 SPC(短 PWM 代码)、模拟、PWM 和 SENT 信号格式的输出级驱动器。 作为 Triaxis 位置传感器芯片系列的一员,MLX90377 同样可用于旋转和线性运动位置传感应用。 其中 SMP-3 是一款单裸片解决方案,MLX90377 是首款支持 SMP-3 的产品,SMP-4 是一款双裸片解决方案(共享电源和接地引脚),此前推出的 MLX90371 是首款支持 SMP-4 的产品

    48360发布于 2021-05-31
  • 来自专栏韩曙亮的移动开发专栏

    【音视频原理】图像相关概念 ④ ( YUV 排列格式 | 打包格式 | 平面格式 | YUV 表示法 | YUV 采样格式表示方法 | YUV 4:2:2 采样 | 上采样与下采样概念 )

    一、YUV 排列格式 YUV 格式 的 颜色编码算法 有 很多排列格式 , 但是大概可以分为以下两大类 : 打包格式 ( Packed ) : 将每个像素点 YUV 排列在一起 , 这些像素点的 YUV YUV 4:2:2 采样 2 个 Y 灰度值 分量 , 才会有一个 UV 色度值 分量 对应 ; 也就是说 两个 Y 灰度值 使用 相同的 UV 色度值 进行编码显示 ; 下图中 是 一组 可单独显示的单元 , 这个单元中 有 2 个像素点 , 两个 Y 灰度值 , 公用一个 UV 色度值 ; 下图展示的是 YUV 4:2:2 采样的示意图 , 两个 Y 灰度值 分量 , 对应这 一个 UV 色度值 分量 ; YUV422 采样 , 存储时 , 水平方向进行下采样 , 数据进行了压缩 , YUV 的比例是 2:1:1 , 即 2 和 Y 分量 对应 1 个 UV 分量 ; 3、YUV 4:2:0 采样 2采样格式中 , 色度分量 的 水平方向 进行了 2:1 的下采样 , 即每两个 水平方向的 像素共享一个色度样本 ; YUV 4:2:0采样格式中 , 色度分量 的 水平方向 和 垂直方向 都进行了

    63710编辑于 2024-01-21
领券