从零开始：基于 ModelScope 本地部署 Qwen3-4B 大语言模型完全指南原创

本期视频主要是基于摩哒社区modelscope从零开始在本地部署千万34B大圆模型的完整过程。Model scope社区是一个模型开源社区，这上面有很多模型，我们这次主要是用千问34B来完成，操作步骤比较多，我写了一个文档。大家可以按照文档上一步一步实现。首先就是要进行Python的安装，这是一个前置准备，大模型的使用和很多与之相关的开发都需要用Python语言，所以必须安装Python。用命令查看Python的版本，打开CMD，进入命令行，运行这个命令。正确显示Python的版本号。说明本地已经装好了Python。如果没有装的话，直接到官方网站上下载就可以了。目前最新版本是Python3.14。我装的是Python3.11。下面有很多历史版本，可以选择一个合适的就行了。下载完成之后就一步一步进行安装，那么重要的就有勾选环境变量，安装之后就应该可以通过命令的方式能够查看到版本信息，同时也能查看pip信息。

这是一个Python包管理器，因为我的安装路径是D盘，所以这里显示的是D盘对应的目录。常见的问题，安装后仍提示不是内部命令，这是环境变量，没有配置好，要么重新安装，要么就是手动设置一下，按照文档上说的来就可以了。接下来是环境信息，这是我的个人电脑的配置，要进行大模型测试的，最好还是得有一个显卡，我这里是3060的显卡，没有显卡的话速度会特别慢。接下来进行依赖的安装，首先是安装model scope, 官网也有安装方法的介绍。打开魔哒社区modelsco平台，选择文本生成，这里有很多模型可供使用。找到千万34B模型，点击下载模型，这里就有安装的命令，那我的文档上多了另外一种写法，就是用阿里云的国内镜像，这速度会稍微快一些，装的都是一样的东西，那紧接着就是安装porch依赖，如果不装的话，无法使用GPU加速。

这个安装步骤一步一步执行命令就行了。这里运行命令会有正确的输出信息。如果这里输出的是falses，那就按解决方案一步一步来，应该就能解决。接着再安装其他的依赖，我这里这些依赖都已经装过了，我就不重新安装了。接下来就是验证环境，依次执行这些命令显示的信息如果与文档上描述的差不多，就说明环境已经配置正确了。然后就是下载模型，下载模型的方法官方网站也有。使用这个命令就可以下载完整的模型。但问题就是这个命令它会把模型放在C盘的某个目录里头，不利于我们的统一管理。如果你想把模型下载到指定目录里的话，就用下面这个命令。就是把这个文件下载到指定目录里头，那我们要把整个模型下载下来。

就要对这个命令稍微修改一下，执行文档上的命令就可以下载模型了。将文档上的命令复制粘贴，一步一步操作。在下载前，先在工作目录中建立保存模型的子目录，执行下载命令，它就开始慢慢下载。这个模型比较大，下载还需要点时间，那就耐心等待吧，当出现这个光标闪烁的时候，其实已经下载完毕了。但是它这个下载成功的提示并没有单独另起一行，而是在这里提示。要注意这个地方提示下载成功，我们也可以敲几个回车，就可以看到命令行就会往下去了，说明这时候是下载完毕了，可以到这个工作目录里看一下，这些都是模型文件，具体怎么用，这边写了一个文档，大致介绍了一下，有兴趣的朋友也可以上网搜索一下。接下来我们就直接使用大模型，最开始用这种Python命令行的方法一步一步来实现，掌握一下原理。

首先进入Python环境运行这个命令，出现3个符号的时候，就表示已经成功进入Python的环境了。依次执行文档中的命令，分别是导入库、指定模型路径、加载分词器、加载模型到GPU，创建流式输出器。流式输出器就是大模型在运行的过程中，一步一步的把这个字给显示在这个命令窗口里头，如果不使用流式输出的话，大模型会在完全运行完之后，一下子把结果全部发过来显示。这不利于交互，现在大多都是流式输出，然后就可以开始进行对话。我们把命令复制过来，这是一个关闭思考过程的一个对话。关键参数点就在这里，把它关闭了，可以看到这个思考过程是空的，直接就回答了。那么这里能不能直接跟它交互呢？其实这里是不能的，比如说我们问一个问题，你看他就报错了，为什么呢？因为它其实是一个Python环境，它并不是跟大模型交互的一个环境，Python环境里直接打这种东西是错误的。

那我们再尝试一下开启思考过程，他这光思考就思考半天，真的是想法很多啊。关键参数就是这些，也有对应的说明。关于修改你对AI问的问题，其实关键在这一步，你可以把代码这一行改成别的问题，就可以回答别的问题了。文档总结了一些常见的问题，第一种就是它回答不全，说着说着不显示了，那就是个内容太短，原因是token数量不够。设大一点就行了，比如1024，然后这个是思考过程，刚才已经演示了。这是一个知识点总结。了解它的调用流程，有兴趣同学可以看一下。这个命令退出Python环境，直接输入就可以退出环境了。刚才我们的操作方式都是命令行式，那么这种方法非常的麻烦，常见的还是用Python文件来实现，把代码写到文件里头，直接执行就能使用。

这里用Vs code来创建，在这里头建立一个Python文件。然后把这个代码内容给它复制进去，保存一下。有兴趣的朋友可以研究一下这个代码。这里就不做过多介绍了，接下来我们直接运行就行了，加载完成之后我们就可以跟他对话了，这种方式就是我们正常一问一答的方式，除了纯文本交流之外，代码还有清空历史和查看历史功能，以及文本文件的分析，它能够分析文本文件，我们准备了一个文件，是关于no JS的一个版本管理的。这么一个文档，现在就可以在这个命令行里头输入命令，实现文件的分析，他很快就完成了分析，可以让他总结一下文件是什么，然后他就对文件的内容进行总结。输入quit就可以退出了，至此到这一步，本地部署大模型就已经完成了。这里就是系统提示词，就给他一个身份，列举了几个常用的例子。有兴趣的同学可以直接把它复制到Python文件里进行修改，尝试大模型的回答就会更好的贴近于角色。

接下来就是常见问题，如果遇到的话可以参考处理一下，总结一下，经过以上操作就基本掌握了模型的部署和使用，后续可以做一些更深的操作。本教程到此结束了，有兴趣的朋友可以多多研究。