- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 A3%85anaconda3%E6%95%99%E7%A8%8B&spm=1018.2226.3001.4187 创建环境 conda create -n llama python=3.9.16 conda Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.5K30编辑于 2023-09-12 - 来自专栏大模型应用
大模型应用：构建智能大模型运维体系：模型健康度监测系统实践.8
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作，从代码生成到科学研究，大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源，但无法深入理解大模型服务的特殊行为模式，无法感知模型推理的内在质量，更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例，深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明，为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 多层次监控体系 系统构建我们采用了四层级的立体化监控架构，每一层都针对大模型服务的特定维度进行深度监控：系统资源层：基础硬件资源监控（CPU、内存、磁盘、网络），确保运行环境稳定模型运行层 ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
34543编辑于 2026-02-05 - 来自专栏AI及人工智能
腾讯云DeepSeek大模型应用搭建指南
2月8日，腾讯云宣布上线DeepSeek-R1及V3原版模型API接口，通过强大的公有云服务，腾讯云可以为用户提供稳定优质的服务。 同时，腾讯云旗下大模型知识应用开发平台知识引擎也接入了DeepSeek-R1及V3这两款模型，并率先支持联网搜索，结合知识库、RAG等能力，随着人工智能技术的不断发展，腾讯云的DeepSeek大模型为开发者提供了强大的自然语言处理能力 本文将带领你从零开始，教你如何搭建一个基于腾讯云-DeepSeek的智能应用，帮助你快速实现AI技术的应用场景。一、前期准备在开始搭建腾讯云-DeepSeek应用之前，你需要进行一些准备工作。1. 端口和9091端口是否被占用接下来根据MD文档，修改一下js文件中的秘钥API密钥管理从这里新建秘钥，腾讯云默认最多只有两个，创建好记得保存上，因为后面就看不到了修改代码中的secret等参数appid是大模型中 static.js标识ws模式还是sse模式链接对话，可选值ws和sseconst ACCESS_TYPE = 'sse';体验机器人的appkey，同上服务配置项中appIdconst APP_KEY = '在大模型
2.2K50编辑于 2025-02-17 - 来自专栏token的技术分享
从0开始搭建免费大模型平台
下面我们讲解从0开始搭建我们的免费大模型管理平台，接入其他的免费大模型，然后加入到我们自己的平台当中，然后进行监控和管理。 部署大模型管理平台 下面我们将在拥有docker的环境下部署我们的大模型管理平台。 打开我们的服务器。 使用默认密码登录到系统当中 账号：admin 密码：admin 注册腾讯大模型 点击这里[1] 进混元大模型，然后登录， 然后接入控制台腾讯云 - 控制台 (tencent.com)[2] 然后点击创建密钥 ，创建完成以后得到密钥， 添加模型渠道 下面我们打开大模型管理平台，然后进入渠道菜单，然后点击右上角的操作展开的创建渠道 渠道名称 测试模型 渠道类型腾讯混元大模型 代理地址 空 资源地域 （看个人情况定 根据上面的测试，我们给我们的平台接入了腾讯大模型的免费模型hunyuan-lite 然后我们试试看用semantic-kernel进行对话操作。
95510编辑于 2024-06-18 - 来自专栏Java技术进阶
书生·浦语大模型图文对话Demo搭建
前言 本节我们先来搭建几个Demo来感受一下书生浦语大模型 InternLM-Chat-7B 智能对话 Demo 我们将使用 InternStudio 中的 A100(1/4) 机器和 InternLM-Chat cd InternLM git checkout 3028f07cb79e5b1d7342f4ad8d11efad3fd13d17 将 /root/code/InternLM/web_demo.py 中 Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。 https://gitee.com/internlm/lagent.git cd /root/code/lagent git checkout 511b03889010c4811b1701abb153e02b8e94fb5e clone https://gitee.com/internlm/InternLM-XComposer.git cd /root/code/InternLM-XComposer git checkout 3e8c79051a1356b9c388a6447867355c0634932d
47810编辑于 2024-02-28 谷歌Gemma 大模型 部署搭建本地详细教程
特点速度快速：Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。准确性：Gemma 使用预训练的模型，可以实现准确的物体检测和分类。 谷歌Gemma是一系列轻量级、最先进的开放模型，由Google AI构建并开源。Gemma模型旨在为各种自然语言处理任务提供卓越的性能，同时保持较低的资源需求和部署灵活性。 Gemma模型可以通过以下方式使用：在本地计算机上使用：可以下载Gemma模型的代码和权重，并在本地计算机上运行。 来自Gemma官网：Gemma 模型与 Gemini 共享技术和基础设施组件，Gemini 是我们当今广泛使用的最大、功能最强大的 AI 模型。 普通7B版 安装指令：（适合8G显存）ollama run gemma:7b[ 3 ].2B轻量版：（适合CPU会低配电脑安装)ollama run gemma:2b复制命令输入等待自动下载完成即可测试等待安装完成之后我们让它自我介绍一下
3.1K10编辑于 2024-04-07- 来自专栏token的技术分享
基于.NET8的AI大模型管理
此外，AIDotNet API还支持多种AI大模型，包括OpenAI、星火大模型、Claudia、智谱AI、Ollama、通义千问（阿里云）、AzureOpenAI以及腾讯混元大模型，满足了用户对各种AI 模型的需求。 基于.NET Core 8实现使用EntityFrameworkCore对于数据库操作。基于MiniApis提供WebAPI服务。 功能实现 支持用户管理 支持渠道管理 支持token管理 提供数据统计预览 支持日志查看 支持系统设置 支持接入外部Chat链接 支持支付宝购买账号余额 AI大模型支持列表 OpenAI （支持function ） 星火大模型（支持function） Claudia 智谱AI Ollama 通义千问（阿里云） AzureOpenAI（支持function） 腾讯混元大模型 支持数据库 SqlServer 配置类型
36110编辑于 2024-05-28 - 来自专栏山行AI
如何基于OpenAI大模型搭建提示词工程
前言：这是一篇很好地讲解了提示词工程的文章，提示词是fine tune大模型的一种比较经济适用的方式，基于提示词搭建一套agent可能是能形成未来生产力的关键一环。 以下是一个示例： 模版 = 这个组中的奇数加起来是一个偶数：4, 8, 9, 15, 12, 2, 1. A: 把所有奇数相加（9, 15, 1）得到25. 答案是False. 接下来我们来看一下自一致提示[8]。它是CoT的一个扩展，其中解码（运行模型/生成LLM输出）使用相同的CoT提示进行多次。选择最一致/频繁的答案作为最终输出。 > 动作1: 搜索[尼古拉斯·雷] > 观察1: 尼古拉斯·雷（原名雷蒙德·尼古拉斯·基恩兹勒二世，1911年8月7日-1979年6月16日）是一位美国电影导演，编剧和演员，以1955年的电影《无法无天 模块化推理、知识和语言: https://arxiv.org/pdf/2205.00445.pdf [7] 自问自答搜索: https://arxiv.org/pdf/2210.03350.pdf [8]
1.4K10编辑于 2023-09-08 - 来自专栏技术汇总专栏
基于腾讯云智能体开发平台的DeepSeek满血版模型搭建【法律大模型专家模型搭建实战】
基于腾讯云智能体开发平台的DeepSeek满血版模型搭建【法律大模型专家模型搭建实战】一.AI普惠时代的开发者机遇随着腾讯云智能体开发平台（LKE）正式接入DeepSeek-R1和V3两大模型，开发者与企业可借助其 无论是低代码搭建还是API深度开发，腾讯云均提供稳定、安全的技术底座。为激发创新场景落地，本次征文活动旨在挖掘大模型与行业结合的标杆案例，推动技术普惠。 高效搭建：提供多种应用开发方式，完成企业级Agent、RAG（检索增强生成）、工作流应用创建及发布，预置优质官方插件，降低大模型应用落地门槛。 二.法律大模型应用搭建实战腾讯云智能体开发平台内置DeepSeek-R1、V3模型，通过DeepSeek 模型+联网搜索+行业领先RAG能力，分钟级快捷搭建并发布联网应用，且可实现与现有业务系统的无缝对接 在法律领域的人工智能应用中，基于腾讯云智能体开发平台的DeepSeek满血版模型无疑是一个突破性进展。这一模型的搭建，标志着法律大模型专家系统的专业化和智能化取得了质的飞跃。
2.1K11编辑于 2025-02-24 - 来自专栏MavenTalk
开源社区大模型目前面临的8大瓶颈问题
但面对商业化的ClosedAI和OpenAI等语言模型，还存在一些瓶颈。 数据量不足，预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练，导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限，GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数，很难进行长时间的预训练，无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 商业化受限，收入有限，难以持续投入 开源社区很难直接通过模型商业化来获得持续的财务支持，长期投入会面临资金短缺问题。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强，部署时存在不确定性，这也是限制其应用的一个因素。
58630编辑于 2023-09-06 〔从零搭建〕大模型应用开发平台部署指南
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 :5173/ui_moat/ 请联系市场总监获取账号密码 一、大模型应用开发平台基于开源项目BISHENG建设 AllData数据中台商业版集成BISHENG开源项目为大模型应用平台，BISHENG 三、大模型应用开发平台功能特点： 企业级高可用架构 高并发与分布式部署 安全合规与权限控制 高精度文档解析与检索 灵活的模型管理与优化 低代码开发与快速落地 技术生态与扩展型 部署步骤： 一、环境准备 解决：检查模型文件完整性： 重新下载模型： 1、会话 会话功能支持多轮交互与上下文记忆，可自然理解用户意图，实现智能问答、任务连续处理等场景化对话 2、构建 提供可视化低代码工具，支持拖拽组件快速搭建 ，支持企业快速构建与部署大模型驱动的智能应用 8、创建工作流-大模型竞技场 9、工作流拖拉拽开发 可以可视化拖拽形式，灵活组合模型、工具与数据流，助力快速构建高效智能业务处理流程 10、流程编排
85710编辑于 2025-09-15- 来自专栏老张的求知思考世界
全链路压测(8)：构建三大模型
梳理核心链路的一个重要目的是获得流量模型。但在全链路压测中，除了流量模型，业务模型和数据模型一样重要。这篇文章，为大家介绍如何构建这三大模型。 下图是一个常见的电商双11大促时候的业务场景模型图，我以这个思维导图为例来做分析说明。 峰值流量模型 预估的流量模型要以峰值流量场景来预估，否则很可能由于错误的预估导致准备不足而致使大促期间线上出现问题。这不仅是一个技术和监控的问题，还要综合考虑本次大促期间业务目标以及业务转化率的因素。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。 ，确认以下信息： 是否有热点数据相关的操作：比如说所有用户秒杀同一件商品； 不同类型数据处理逻辑有差异时，需通过测试数据多样化提高性能测试代码覆盖率； 缓存数据：要确认是否有缓存，缓存大小为多少（排除大key
1.5K30编辑于 2022-05-17 - 来自专栏muller的测试分享
搭建企业内部的大语言模型系统
大纲开源大语言模型大语言模型管理私有大语言模型服务部署方案开源大语言模型担心安全与隐私？ 可私有部署的开源大模型商业大模型，不支持私有部署ChatGPTClaudeGoogle Gemini百度问心一言开源大模型，支持私有部署MistralMeta LlamaChatGLM阿里通义千问常用开源大模型列表开源大模型分支大语言模型管理大语言模型管理工具 HuggingFace 全面的大语言模型管理平台Ollama 在本地管理大语言模型，下载速度超快llama.cpp 在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理GPT4All 一个免费使用 无需 GPU 或互联网Ollama 速度最快的大语言模型管理工具Ollama 的命令ollama pull llama2ollama listollama run llama2 "Summarize this } ]}'大语言模型的前端大语言模型的应用前端开源平台 ollama-chatbot、PrivateGPT、gradio开源服务 hugging face TGI、langchain-serve开源框架
59310编辑于 2024-09-10 - 来自专栏MavenTalk
8家国产AI大模型开放使用，人手一个大模型的时代来临
什么是大模型 先做个扫盲，AI大模型是“人工智能预训练大模型”的简称。语言模型是一种人工智能模型，它被训练成理解和生成人类语言。 这8家分别是谁 百度（文心一言） 抖音（云雀大模型） 智谱AI（GLM大模型） 中科院（紫东太初大模型） 百川智能（百川大模型） 商汤（日日新大模型） MiniMax（ABAB大模型） 上海人工智能实验室 （书生通用大模型） 书生通用大模型与云雀大模型我确实是第一次听说，国内大模型再现当年百团「团购」大战的身影，截至2023年7月,中国累计已经有130个大模型问世。 MiniMax（ABAB大模型） https://www.sensetime.com/ 商汤（日日新大模型） https://intern-ai.org.cn 上海人工智能实验室（书生通用大模型） 至于这8家的AI大模型的能力如何，交给你来评判吧。不过至今为止，依旧是无人能挑战ChatGPT的霸主地位。 祝你早日用上AI大模型，帮助自己提升工作、生活、学习效率。
3.1K40编辑于 2023-09-06 - 来自专栏技术杂记
ELK 搭建8
使用 --configtest 参数可以对配置文件进行检查，但感觉这么点内容，要花这么长时间，有点不可思议
44910编辑于 2022-02-11 - 来自专栏AIOT
在Jetson上玩转大模型Day2：环境搭建
由NVIDIA资深工程师DustinFranklin为Jetson设备所搭建的jetson-container开发环境，以Docker容器为基础去提供各种所需的应用环境，这还需要nvidia-docker 接下来就进一步挖掘jetson-containers的用法，当我们输入以下指令时，会看到如下图的信息：$ jetson-containers表示在jetson-containers指令后面，总共有8个指令选项
1.1K10编辑于 2024-10-22 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76301编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏番茄_C语言
本地搭建Code Llama大模型：从零开始搭建你的私人AI编码助手
前言 本篇文章介绍如何在本地部署Text generation Web UI并搭建Code Llama大模型运行,并且搭建Code Llama大语言模型，结合Cpolar内网穿透实现公网可远程使用Code generation Web UI 本篇文章测试环境：Windows10专业版 首先我们需要在本地部署Text generation Web UI，是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境 安装CodeLlama大模型 接下来要下载CodeLlama模型，在Hugging face上直接下载转换好的模型 Hugging face格式模型 https://huggingface.co/codellama Text generation Web UI，并且还添加了code llama大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问，免去了复杂得本地部署过程 接下来就可以随时随地进行异地公网来使用Code Llama大模型了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！
2K10编辑于 2024-12-31 - 来自专栏大模型应用
大模型应用：大模型量化：INT4与INT8核心差异、选型指南及代码实现.53
一、引言 大模型的量化我们前期也探讨了基础概念和实践原理，针对CPU的量化流程做了通俗易懂的基础说明，但实际应用场景往往是需要GPU的落地实践，随着大模型参数规模突破千亿级别，存储大、显存高 压缩比的直观数学说明：INT8压缩比：32位 → 8位，压缩率75%，只有原始的1/4大小INT4压缩比：32位 → 4位，压缩率87.5%，仅有原始的1/8大小实际存储示例：原始10亿参数模型（FP32 极致成本控制场景：个人开发者搭建大模型 API 服务，希望用最少的硬件成本支撑最大并发量。3. 五、总结 简单而言，大模型INT8和INT4量化，本质就是给笨重的高精度模型减减肥，让它又小又快，还能在普通设备上跑。 总的来说，量化不是瞎压缩，是用一点点精度损失，换存储、显存减半甚至减八成，推理速度还能快 2~5 倍，让原本只能在高端GPU上跑的大模型，在普通环境也能轻松用起来，是大模型落地的关键技巧。
60854编辑于 2026-03-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号