- 综合排序
- 最热优先
- 最新优先
- 来自专栏范传康的专栏
Llama2.c 学习笔记3： training
llama2.c核心的应该是run.c也就是推理引擎方面，training相对简单，先从这里分析。 1. run train on cpu 让代码run起来是学习研究的快速路径，虽然llama2.c的推荐配置是4个A100 DDP运行几个小时，通过修改训练参数（降低到最低）让它能够run的起来，是我的第一步工作
3.6K51编辑于 2023-08-04 - 来自专栏范传康的专栏
Llama2.c 学习笔记5： custom tokenizer
Follow新兴热门Github repo最让人兴奋的是：看着它从幼稚朝着成熟（神奇）发展，这个发展很快肉眼可见，神奇如昙花开放，但又在你理解范围之内（当前的知识储备加上搜一搜能够理解每一个修改的目的和神奇）。与之相反的是记忆中的被支配高数课，开课还是有条不紊，捡个笔的功夫再抬头已是二世为人。
6.1K40编辑于 2023-08-18 - 来自专栏范传康的专栏
Llama2.c 学习笔记1： 概要&体验
llama2.c 还登上了 Github 的热门趋势榜首，最近这周时间花了一点时间研究llama2.c，应景写一个学习笔记吧。图片1. Why ？ 构建模型、训练、推理、微调一体的框架；相比llama.cpp 专注cpp实现模型的推理；llama2.c有利用基本transformer块构建model参考代码、有tinystory的数据集以及预处理token 可以转换llama模型为用；llama2.c提供一个脚本可以把meta llama-2模型转为自己能够运行的格式，一方面打开了格局，可以引入外部的模型；另外在模型存储格式转换、运行引擎本质打开了大公司专有的缺口代码量小 目标 Llama2.c涉及LLM微调、模型构建、推理端末部署（量化、硬件加速）等众多方面，是学习研究Open LLM的很好切入点，计划如下：1）Setup&体验：拉下代码，根据README跑一遍流程 资源1）Let's build GPT: from scratch, in code, spelled out. - YouTube2）karpathy/llama2.c: Inference Llama
3.5K100编辑于 2023-08-04 - 来自专栏范传康的专栏
Llama2.c 学习笔记2： 编译加速
llama2.c使用纯C编写，不过不同的编译优化能够提供不同的加速性能。
3.9K61编辑于 2023-08-04 - 来自专栏范传康的专栏
Llama2.c 学习笔记4： run.c分析
llama2.c中，最想知道的的一个问题是：模型文件（bin）怎么手搓的（c）读取运行起来？延展开来是一下几个问题：图结构、权重如何存储、读取？
6.6K61编辑于 2023-08-04 - 来自专栏机器之心
OpenAI联创Karpathy爱上羊驼：纯C代码实现婴儿Llama2，MacBook可运行，已揽1.6k星
他利用周末时间，做了一个关于 Llama2 的有趣项目 ——「llama2.c」。 GitHub 地址：https://github.com/karpathy/llama2.c 具体是什么呢？ 他表示「llama2.c」可以让你在 PyTorch 中训练一个 baby Llama2 模型，然后使用近 500 行纯 C、无任何依赖性的文件进行推理。 对于「llama2.c」，它的训练代码由 nanoGPT 修改而来，用来训练 Llama2 架构的模型。核心是在如下 run.c 中编写 C 推理引擎，不过它目前并不是一个生产级库。 有网友对「llama2.c」的开发过程很感兴趣，很多人都会有这样的想法，只是在等待合适的时机，他们没意识到几天内就可以完成很多工作。 项目详情 到目前为止，「llama2.c」项目已经在 GitHub 上获得了 1.6k 的 Stars，并在快速增长。 下面简单介绍一下该项目的运行步骤。
37620编辑于 2023-08-08 - 来自专栏新智元
OpenAI科学家Karpathy周末造出「婴儿Llama2」！GPT-4辅助写500行纯C代码，速揽1.6k星
新智元报道 编辑：桃子 好困 【新智元导读】OpenAI科学家Karpathy用了一个周末时间打造出明星项目llama2.c。 就在刚刚过去的这个周末，OpenAI科学家Andrej Karpathy做了一个非常有趣的项目——llama2.c。 llama2.c一经发布，就在GitHub上速揽1.6k星，并且还在快速攀升中。 网友也表示，使用GPT-4构建llama2.c，堪称是终极跨界。 纯C语言推理Llama 2 可能Karpathy没想到，这个llama2.c项目的潜力是如此巨大。 代码开源 目前，llama2.c的代码已经开源。
42920编辑于 2023-08-07 - 来自专栏机器之心
爆火Llama 2一周请求下载超15万，有人开源了Rust实现版本
前几天，OpenAI 科学家 Karpathy 利用周末时间开发了一个明星项目 llama2.c，借助 GPT-4，该项目仅用 500 行 C 语言就实现了对 Llama 2 baby 模型的推理。 值得一提的是，该项目用到了 Karpathy 的 llama2.c 项目的 Rust 端口。 /llama2.c/llama2_7b.bin 0.0 11 "The only thing" The only thing that is certain in life is change. achieved tok/s: 0.92618316 作为对比，下面是作者在电脑上运行原始 llama2.c，显示 tok/s 为 0.139889： > .
47840编辑于 2023-08-08 - 来自专栏机器之心
致敬TempleOS，有开发者创建了启动Llama 2的操作系统，网友：8G内存老电脑就能跑
此前 7 月，特斯拉前 AI 总监、重回 OpenAI 的 Andrej Karpathy 利用周末时间，做了一个关于 Llama 2 的有趣项目 llama2.c，让用户在 PyTorch 中训练一个 今天，在 Karpathy llama2.c 项目的基础上，又有开发者创建了一个启动 Llama 2 的演示操作系统，以及一个调用用户模式助手进行 Llama 2 推理的内核模块。 项目地址：https://github.com/trholding/llama2.c Andrej Karpathy 也转发了这个新项目，表示它具备了「独立运行、二进制、便携和可启动」等特性。 他预计自己的 llama2.c 项目将走向成功，这个新项目扩展了想象力。 L2E 得到了各路网友的认可，有人表示，这真是太棒了。
53540编辑于 2023-10-08 - 来自专栏机器之心
llama2.mojo比llama2.c快20%，最年轻的语言Mojo惊艳开发者社区
llama2.py、llama2.c、llama2.mojo 的直观对比 这个版本利用了 Mojo 的 SIMD 和矢量化原语，将 Python 的性能提高了近 250 倍。 即使在快速运行模式下，Mojo 版本的性能也比原来的 llama2.c 高出 15-20%。这展示了通过 Mojo 高级功能进行硬件级优化的潜力。 这有助于大家了解在原有 llama2.c 硬件优化的基础上还能走多远。 性能数据对比 当然，这位成员也公布了操作系统与硬件细节。
42910编辑于 2023-09-19 - 来自专栏开源服务指南
AI 模型训练与优化：提升中文理解能力 | 开源专题 No.88
llama.cpp, text-generation-webui 等生态 已开源多个版本的模型（7B、13B、33B） karpathy/llama2.chttps://github.com/karpathy/llama2 .c Stars: 16.4k License: MIT llama2.c 是一个用纯 C 语言编写的推理 Llama 2 模型的项目。
34310编辑于 2024-06-11 - 来自专栏深度学习与python
拿 20 年前的苹果“古董”笔记本跑模型推理：九分之一现代 CPU 速度，但成功了！
此番实验移植了开源 llama2.c 项目，而后使用名为 AltiVec 的 PowerPC 矢量扩展提升性能表现。 我首先选择了 Andrej Karpathy 的 llama2.c 项目——这个出色的项目仅使用一个 C 文件就实现了 Llama 2 大模型推理。 以下是我编写的，用于切换模型检查点的粗略代码： 7 模型 Llama2.c 项目推荐使用 TinyStories 模型，而且理由非常充分。 9 后续探索 Llama2.c 项目还讨论了如何使用相同代码运行具备数十亿参数的模型。
27900编辑于 2025-04-06 - 来自专栏开源服务指南
ControlNet WebUI：稳定扩散全新体验 | 开源日报 No.94
karpathy/llama2.c[5] Stars: 5.3k License: MIT llama2.c 是一个用纯 C 语言编写的推理 Llama 2 模型的项目。
29710编辑于 2023-12-20 - 来自专栏数据库与编程
科学家一天创造：婴儿 Llama2
现在，我们将快速地体验一下他的成果，看看这个 "llama2.c" 到底是什么样子。 首先，我们需要去一个特殊的地方，就像是一个藏宝图上的坐标，这个地方是存放项目的文件夹。 我们可以使用一个魔法指令，就像是在地图上划出一条路线一样： git clone https://github.com/karpathy/llama2.c.git 然后，就像是进入一个神秘的森林，我们进入这个文件夹： cd llama2
30220编辑于 2023-09-01 - 来自专栏机器之心
26年前老年机跑Llama2，每秒39个token：你的AI PC，也可以是Windows 98
视频显示一台古老的 350 MHz Elonex 奔腾 2 电脑启动 Windows 98 后，然后启动了基于 Andrej Karpathy 开发的 Llama2.c 定制的纯 C 推理引擎，并要求 好在 EXO 找到了 Andrej Karpathy 的 llama2.c 项目。 Karpathy 救场 这让我们想到了 Andrej Karpathy 的 llama2.c：700 行纯 C 语言，可以在具有 Llama 2 架构的模型上运行推理。
27410编辑于 2025-02-03 - 来自专栏数据派THU
独家 | 为什么埃隆·马斯克说Rust是AGI的语言？
例如，当前流行的项目llama.cpp，whisper.cpp和llama2.c都是用零Python相关性编写的。 《在WasmEdge中运行 llama2.c 》，作者：Yuan， Medium，2023。它展示了如何在WasmEdge中为llama2 模型运行一个完整的推理应用程序。
1.4K120编辑于 2023-09-28 - 来自专栏机器之心
突发！AI大牛Andrej Karpathy离开OpenAI
在此期间，Karpathy除了完成OpenAI的研究工作，还做了一些个人项目，包括录制教育视频、开发关于Llama 2的开源项目——llama2.c等，详情见扩展阅读。在离职之后，这些工作还将继续。
25410编辑于 2024-02-26 - 来自专栏周末程序猿
机器学习|从0开发大模型之模型预训练
3、初始化模型 初始化模型，借鉴 llama2.c 的代码，路径：https://github.com/karpathy/llama2.c/blob/master/model.py，使用 Transformer ) (output): Linear(in_features=512, out_features=6400, bias=False) ) 模型初始化这里就不详细说了，这个系列出一篇文章具体分析 llama2 readme-ov-file#%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%8B%E8%BD%BD%E5%9C%B0%E5%9D%80 （2）https://github.com/karpathy/llama2
63710编辑于 2025-02-27 - 来自专栏开发三两事
【GitHub 周热点速览】第二期
GitHub又来大放送,本周最火项目全面解读本周热点项目列表karpathy/llama2.c - Llama2模型C语言实现liltom-eth/llama2-webui - Llama2可视化界面Stability-AI
1K40编辑于 2023-08-02 - 来自专栏周末程序猿
机器学习|从0开发大模型之SFT训练
参考 （1）https://github.com/karpathy/llama2.c/blob/master/train.py
78510编辑于 2025-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号