在大模型的世界里，理解其处理长文本的能力，不能只看一个数字。我们常听到“支持128K上下文”这样的宣传，但真正决定模型能否有效利用这些信息的，远不止窗口长度本身...

如今大模型越来越火，不管是企业做业务落地，还是我们作为个人开发者上手体验，都绕不开一个核心问题：大模型虽强，但太笨重，动辄几十上百GB显存占用，普通硬件跑不动，...

在我们反复探讨的大模型落地的过程中，高性能与低成本的矛盾始终存在。想用好一个高性能拥有千亿参数大模型，都面临着存储占用高、推理速度慢的问题。模型量化作为一种核心...

大模型的量化我们前期也探讨了基础概念和实践原理，针对CPU的量化流程做了通俗易懂的基础说明，但实际应用场景往往是需要GPU的落地实践，随着大模型参数规模突破千亿...

一直以来，我们都围绕大模型的本地部署由浅入深的仔细讨论，大模型的落地困境从来离不开“显存”与“速度”，以 LLaMA-7B 为例，FP32 精度下显存占用高达 ...

在大模型微调落地场景中，中小算力设备是多数开发者的主力工具。此类设备面临显存有限但需满足特定任务需求的核心矛盾，以中文电商文案生成为例，需兼顾文案流畅度，同时确...

我们接触大模型以来，经常听到什么模型有多少亿参数，通常1B/7B/13B/34B/70B/175B或者GPT有 1750 亿参等等这类说法，很容易让我们陷入模型...

随着大模型技术深入渗透到日常对话、专业咨询、内容创作等多元场景，模型对高频词汇的理解精准度远超低频词汇，这种差异直接影响着输出结果的可靠性与实用性。从底层逻辑来...

随着大模型本地化部署的普及，基于 FastAPI 封装大模型接口并实现鉴权、可视化交互，成为实现落地大模型应用的核心场景。前一篇博文我们讲解了大模型本地化部署以...

在大模型的特征提取技术中，注意力机制是核心支柱，它让模型能聚焦关键信息。但传统单尺度注意力存在明显短板，要么只盯着局部细节，忽略全局逻辑；要么只抓整体框架，丢失...

本文从常识出发、从自然语言的词性分析/句式分析的视角，深度探讨、推导得到Transformer 模型中 QKV 机制的本质，并据此给出目前流行的MQA/GQA/...

在大模型的中文应用落地过程中，我们常常会遇到这样的问题：面对古籍里的生僻字（如“𪚥”、“龘”）、特定领域的专业术语，如人工智能领域的 “LoRA 微调”、生物医...

相信我们在接触大模型已经从很多地方收集各类零零散散的信息，数据的高价值已是行业共识，但并非只有海量数据才有价值，对于类似我们这样的中小企业、个人开发者或垂直场景...

大模型的性能上限，一半取决于模型架构与训练策略，另一半则由训练数据的质量决定。尤其对于中文大模型而言，中文语料存在来源繁杂、噪声冗余、格式不统一、语义歧义等问题...

从我们日常接触的电脑存储开始理解，我们可以先回忆一下手机、电脑里的数据存储规则：大模型的核心是海量参数，可以理解为模型学到的知识，像一本超级厚的字典，这些参数在...

🚀 本文收录于Github：AI-From-Zero 项目 —— 一个从零开始系统学习 AI 的知识库。如果觉得有帮助，欢迎 ⭐ Star 支持！

最近我们强化学习了很多大模型相关知识，应该也注意到了“MoE”这个词，比如什么模型用了MoE架构，MoE让大模型性能得到大幅提升等等，我们初看一扫而过，再看一脸...

大模型稀疏化的核心是通过参数级静态精简与激活级动态调度，让模型中大部分参数为零或不参与计算，仅保留核心有效连接和神经元，实现“体积瘦身、计算减负、精度稳中有升”...

大模型作为人工智能领域的明星产物，其诞生与迭代始终以人类语言及行为数据的深度学习为核心。通过吸纳书面文字、影音字幕、日常对话等海量多元数据，借助数百亿甚至上千亿...

通过多篇博文我们也反复介绍说明了大模型知识滞后、生成幻觉成为制约智能问答、企业知识库等场景落地的核心痛点，检索增强生成（RAG）技术通过“外部知识检索 + LL...