vLLM 离线推理,API 重写,支持本地图片、PDF 解析重写的 API 也支持 PaddleOCR-VL本地部署 PaddleOCR,消费级显卡轻松跑,支持本地图片和 PDF 文件 然后腾讯也来了:大模型 前文我就提到,可能是官方文档写错了现存和磁盘空间,当时写的是需要 80GB 显存 后来修改成了 20GB 官方文档将显存需求从 80GB 改成了 20GB,即便如此也有点离谱,毕竟只是 1B 的模型 安装及模型启动 太麻烦了 1 是失败概率蛮高,依赖太多,安装环境不能用 pip,必须使用 uv 2 是我是在离线环境部署,所以下面方式对我无效 uv venv hunyuanocr source hunyuanocr/ bin/activate uv pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly 模型启动就简单了 回到最开始问题,启动模型加上参数 --gpu-memory-utilization 0.66,也就是 16GB 启动模型,依然是 OK 的 而且速度丝毫没有下降
实测,大模型 LaTeX 公式识别,出乎预料前文,我用 Kimi、Qwen-3-235B-A22B、Claude-3.7-sonnet、GPT-4.1、Gemini 2.5 Pro 测试了其在 LaTeX Kimi 开启了长思考,Qwen3 未开启深度思考,因为开启之后巨慢且失败 省流:Gemini 2.5 Pro 是最强大的代码模型 报错是颜色问题让其修复颜色问题后,输出如下,第四幅图没有依然没有完美复刻GPT-4.1绘制失败,换了 GPT-4o 依然失败Gemini 2.5 Pro第四张绘制失败第三题换个简单点的省点事儿,直接让大模型用 在模型数据条形上添加数值标签 geom_text(data = model_data, aes(x = benchmark, y = value + 2, label = sprintf 搭建完美的写作环境:工具篇(12 章)图解机器学习 - 中文版(72 张 PNG)ChatGPT、大模型系列研究报告(50 个 PDF) 108 页 PDF 小册子:搭建机器学习开发环境及 Python
自从年初以ChatGPT为代表的人工智能大模型爆火之后,市场上随之出现了很多大模型相关的工具。作为一个IT行业的技术人员,肯定不会放过这种对新技术尝鲜的机会。 最近腾讯推出了自己的大模型:混元。 =['GET']) def get_users(): users = [ {'id': 1, 'name': 'Alice'}, {'id': 2, 'name' 下图是腾讯混元大模型帮我生成的图片: 文生图是一直是AIGC领域的核心技术之一,也是体现通用大模型能力的试金石,对模型算法、训练平台、算力设施都有较高的要求。 自从试用了混元大模型后,我最近的几篇文章,配图和封面都是直接用大模型直接生成的。只需要说明配图的要求,混元大模型就能在几秒钟内生成我脑海中的配图,简单快捷还清晰。 如果要整体概括混元大模型对日常工作和内容创作的帮助价值,我觉得那就是对生产效率的革新,最切中它的价值。 腾讯混元大模型官方入口:https://hunyuan.tencent.com/
它基于Llama-3.2-Vision模型打造,也是在大模型的基础上,加入了“慢思考”思维链COT。 在六个多模态推理基准测试中,LLaVA-o1超越了许多更大的开源模型(Llama-3.2V、InternVL2等),甚至也超越了一些闭源大模型(Gemini Pro 1.5、GPT-4o mini)。 在训练过程中,模型根据需要自行选择这些标签,根据其自己的判断激活每个阶段。与OpenAI o1大模型一样,所有阶段都由模型在单个推理过程中完成。 而在使用阶段级束搜索之后,可以得到正确的结果(下图绿色部分显示)实测模型能力首先给一个简单的加减题目减去图中闪亮的小球和紫色物体,剩下多少个?模型会把问题进行拆解,然后进行一步一步的分析。 第一步:分析了具体的问题,然后重点关注微小的闪亮球和紫色物体第二步:计算了图片中共有10个物体,然后减去那些闪亮的小球,接着也识别到了紫色物体,再进行相减第三步:最后得出了答案,从10个物体中减去2个,
2026年4月7款国产大模型推理能力实测:谁能发现网站付费墙的漏洞?一次真实的代码安全分析任务,7款国产大模型同台竞技,最终只有1款完成了挑战。背景大模型的代码能力评测很多,但跑分和实战是两回事。 我们想回答一个更实际的问题:给大模型一个真实的代码安全分析任务,它能不能像安全工程师一样思考,从蛛丝马迹中推理出漏洞? 2个模型下载了错误的文件,4个模型完全没下载成功。网站的真实漏洞是什么?在分析模型表现之前,先说清楚这个网站到底有什么问题。 结论这次测试揭示了当前国产大模型在代码推理能力上的几个关键差异:推理链完整性是分水岭:能从HTML源码一路追踪到API接口再到CDN资源的模型(GLM-5.1),与在中间某个环节断裂的模型,产出质量天差地别 本文基于2026年4月23日的实测数据,测试环境为Trae企业版IDE模式。所有模型使用相同的提示词和工具集。
,每个命令输入后回车,等待拉取完成即可(本地模型下载时间取决于网络速度,云端模型拉取仅需1-2秒): 拉取minimax-m2.5:cloud(云端模型)ollama pull minimax-m2.5 3.4 几个大模型的默认上下文长度 相信大家都已经了解过,上下文是大模型能记住并处理的对话 / 文本长度,单位 token。 上述几种大模型默认上下文长度: glm-4.7-flash(Ollama) 默认上下文:32768 (32K) tokens 最大支持:198K tokens(官方标称 200K,Ollama 限制 198K 四 核心实测:4大模型全方位对比(相同案例,公平PK) 本次测试选取了4类高频场景,覆盖编码、办公、推理等日常使用场景,每个场景设置相同的任务指令,从响应速度、输出质量、容错率、易用性4个维度进行评分( 案例2(复杂代码调试):提供一段存在3处错误(语法错误、逻辑错误、依赖包错误)的Java代码,要求模型找出所有错误,给出修改方案,并解释错误原因,修改后的代码可直接运行。
低调的鹅厂通用大模型,终于来了! 前天下午,AI智能解码收到了腾讯混元的内测资格,今天就来和大家分享一下初体验。 打开小程序后,从顶部菜单可以看到,其主要分为「聊天」和「灵感」两大页面。 2 写作能力 给混元出了一道2022年广州市的中考作文题目,通过它的文章可以看到创作的文章流畅规范,从记事起最爱阅读,确实能提高创作效率。 语音功能只能算是人的语音输入,大模型输出文字。 其他的功能还有很多,就不一一展示了。 总体上感觉目前混元大模型中规中矩,有一些突出的亮点。 混元大模型逻辑推理和写作能力正常发挥,数学能力差强人意,英语翻译一般,绘画能力让我眼前一亮,腾讯混元大模型文生图功能正式对外开放。 那么,你觉得鹅厂的混元大模型效果如何?
随着 vibe coding 相关技术日趋成熟,大模型辅助编程已经逐渐成为主流的开发方式。各大模型也在持续发力工程级代码能力,竞争愈发激烈。 在这个背景下,一个自然而然的问题出现了:对于 DolphinDB 这类深耕专业细分领域、自带编程语言的产品,大模型的辅助效果到底如何?不同模型之间的差距有多大? 于是,我们跑了一轮系统性评测,覆盖当前主流的国产大模型,并引入 gpt-5.4 作为能力基准线,看看国产模型的真实水位在哪里!测试框架和常见的问答式评测不同,这次我们刻意把测试环境做得更接近真实开发。 在这个层面,deepseek-v4-pro 和 deepseek-v4-flash 在国产模型里表现最佳,为第一梯队,其余模型都有一定差距。 后续,我们也会持续跟进的模型的迭代,并增加更多测试样本。希望了解更多测试细节?点击国产大模型在 DolphinDB 代码生成任务上的测评 - DolphinDB Blogs,进行跳转。
百度终于在面对 DeepSeek 的爆火之后,重新发布新一代大模型。分别包括了文心大模型 4.5 和文心大模型 X1。同时在官网上已经上线了这两款模型,而且已经是全部免费了。 (老实说,这波 DeepSeek 真的是无差别攻击了所有的闭源大模型,使得它们不得不都开启免费了)从定位来看,文心 4.5 模型主要擅长多模态能力,而 X1 模型则像 DeepSeek-R1 模型一样, 在各基准测试的对比上,文心大模型4.5在大多数基准测试上优于 GPT-4o,特别是在 DocVQA 和 MathVista 任务上表现明显更好。说明文心大模型 4.5 更加适用于广泛的多模态任务。 在纯文本能力上,文心大模型 4.5 整体的平均值能力在 79.6,超过了 DeepSeek-V3 和 GPT-4.5 模型。 总的来说,百度为了能够在大模型内卷阶段不掉队,还是需要不断的提升自己模型的能力,还要搞以前那套收费肯定是行不通的了~
大家好,我是 Ai 学习的老章 之前对智谱 AI 的关注比较少,最近发布的的 GLM4.6 非常能打 GLM-4.6 的代码生成能力已达到国际领先水平,与 Claude Sonnet 4 模型持平,是国内目前表现最优的编程专用模型 ,在综合性能评估中位列全球第四,与阿里巴巴旗下 Qwen3-Max-Preview 模型并列中国区榜首,同时摘得全球开源模型桂冠。 国内大模型开源这一块,除了 DeepSeek 和 Qwen,其实智谱也很能打的 之前偶尔关注智谱,是看到美国商务部把它列为实体清单,还有 OpenAI 点名它是全球战略的竞争对手 OpenAI 旗下 Global /models/cpatonn-mirror/GLM-4.5-Air-AWQ/files GLM-4.5系列模型是为智能代理设计的基础模型,GLM-4.5-Air 采用了更紧凑的设计,总共有1060 亿参数 不要再用Ollama,不要再用llama.cpp 简单看下代码和现实世界理解能力:用大模型生成人体器官结构图 GLM-4.5-air ChatGPT GLM-4.6 DeepSeek-V3.2 看官方测评数据和市面上的评价
历时 5 个月、100 多天,5 月 6 日下午 2 点,科大讯飞「星火」认知大模型如约而至。 发布会独具匠心,亮点一分为二:「1」 + 「N」。 上半场围绕「1」,聚焦「星火」通用能力展示。 与之前其他公司大模型发布活动不同,本次发布是一场产品级发布会——购买相应硬件产品,用户即可升级系统,立刻体验大模型带来的神奇能力。 2、多层次跨语种语言理解能力,这也是大模型调用频率最高的能力之一。既包括诸如英文、中文表达上的语法修改,也有更高层次的语言理解,特别是理解博大精深的中文。 刘聪现场也抛出了复杂的计算题: 「花坛里有三种花,一共 88 朵,其中月季花的数量是菊花的4倍,牡丹花的数量是菊花的 5 倍少 2 朵,那么请问花坛里一共有多少朵牡丹花?」 在认知大模型相关的算力上,科大讯飞在总部自建有业界一流的数据中心,目前已建成四城七中心深度学习计算平台,为大模型训练平台建设奠定了很好的硬件基石。
大家好,我是 Ai 学习的老章 字节跳动发布 Seed-OSS 系列大模型有段日子了,最近有空升级了 vLLM,拿出一张 H200 实际部署看看显存占用及性能情况 Seed-OSS-36B 本地字节跳动发布的大模型包括 (指令微调版本) 模型大小都是 36B。 长上下文处理:在 RULER(128K 上下文长度)测试中,该模型达到 94.6,创下开源模型的最高分。 ,各个方面都领先 Qwen3-32B,尤其是长上下文处理测试中,该模型达到 94.6,创下开源模型的最高分。 另外,它还有可控思维预算机制,用户可以根据任务复杂性灵活指定模型的推理长度,如设置为 512、1K、2K、4K、8K 或 16K 等。
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写,是一种通用的语言模型预训练框架。 具体来说,GLM通过随机遮盖文本中连续的标记,并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系,并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程,具体解释如下: a) 原始文本:给定一个原始文本,例如[x1, x2, x3, x4, x5, x6]。 在生成过程中,模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码:为了限制模型的注意力范围,
BERT 量化实战分析前言:在【大模型学习 | 量化实战(1)】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现,但是量化的结果导致了模型的精确度急剧下降,从90%降到了54%, 未出现截断情况(即分布区域超过量化上下限)、分布近似 scale过大scale的计算如下所示:scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值,会导致scale非常大, Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关,该方法是将原模型逐层量化,观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型,作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 (1)视觉语言特征表示学习阶段 (2)视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块:(1)Image Transformer (特征提取) (2) Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型:(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀(prefix) → LLM 自己完成文本生成(2) encoder-decoder-based
对于每个任务,我们为每个模型至少进行了 5 次运行(由于成本较高,o3-pro、claude-4-opus 和 gpt-4.5 每个任务只进行了 2 次运行),以考虑到我们在同一模型在同一任务上看到的性能差异很大 形状分类(简单) 一个形状分类任务( 任务提示[4] ),模型需要从一组 512 个 2D 坐标中识别出一个形状(圆形、正方形、三角形、五边形、星星),其中只有部分点构成了形状,其他点是噪声。 搭建完美的写作环境:工具篇(12 章)图解机器学习 - 中文版(72 张 PNG)ChatGPT 、大模型系列研究报告(50 个 PDF)108页PDF小册子:搭建机器学习开发环境及Python基础 116 371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等 参考资料 [1] 原文: https://htihle.github.io/weirdml.html [2] 下载完整的 htihle.github.io/data/weirdml_data.csv [3] 完整系统提示: https://htihle.github.io/prompts/system_prompt_v2.
写在前面:为什么要做这件事OCR 这件事,听上去没什么悬念——“识图取字”嘛,是个多模态大模型就能干。 一、评测怎么做的数据来源:日常使用积累这次评测用到的数据,全部来自我们日常使用大模型过程中积累的真实中文 OCR 场景数据。 规则匹配(rule-based):对模型输出做归一化(去空格、统一全半角等),与参考答案做字符串严格比对;对结构化字段类的题目,则解析 JSON 后再做规范比对。2. gpt 系列高端档的 1/10 到 1/20,准确率反而更高六、七大子任务表现情况热力图比表格更直观——绿色越深的格子代表那个模型在那个任务上越强。 这些模型推理慢可以理解,但gpt-5.4-high 既慢又不准还贵,当前的中文OCR场景建议不要选它。 八、写在最后OCR 这件事,看起来朴素,但它是大模型走进真实办公场景的入口。
根据 OpenAI 的介绍,gpt-image-2 是目前 GPT Image 系列中能力最强的图像模型,重点提升了图像质量、编辑表现、文字渲染、复杂版式和真实场景理解能力。 过去很多模型一遇到中文、英文标题、包装文字、菜单价格,就很容易生成乱码。画面看起来很漂亮,但只要仔细看字,立刻穿帮。 GPT Image 2 在这方面提升非常明显。 过去很多模型最大的问题是:你让它改一点,它给你重画一张。 GPT Image 2 的进步在于,它更像是在“编辑图片”,而不是每次都“重新抽卡”。 结语 GPT Image 2 不是简单的“又一个更强的生图模型”。 它代表的是 AI 图像工具的一次转向:从炫技,到实用;从随机惊艳,到可控产出;从单张美图,到真实工作流。 以一条贯穿画面上下的流动线索连接主角色、内部拼贴和上方大轮廓,增强整体性和视线引导。整体画面保持大面积留白,边缘采用水墨晕染和虚化破碎处理,形成东方美学中的虚实关系和呼吸感。
DeepSeek发布新模型,不是R2,而是Prover-V2-671B数学证明模型 结果在一个群里,看到某大佬发了这样一个信息,瞬间我就想去测测这个玩意到底强不强了,好奇心驱使鬼推磨 我勒个乖乖,等我去测测 ,这么大的模型,我怎么测? 可读性:两种解法都具有良好的可读性,但模型的解答步骤可能对有Jensen不等式基础的读者更容易理解。 总体评价: DeepSeek-Prover-V2模型提供的证明是正确、严谨且高效的。 呈现方式:DeepSeek模型的证明更为详细,展开了完整的代数推导过程;而参考答案更为简洁,直接给出了关键变形\frac{1}{2}[(a-b)^2 + (b-c)^2 + (c-a)^2] \geq deepseek/deepseek-prover-v2-671b给出的数学证明: 参考答案(Calude3.7判卷): 从图片中展示的DeepSeek-Prover-V2模型对任务的证明,给出以下评价:
(2)是否包含编码器的输出作为输入 在原始 Transformer 模型的基础上,在自然语言处理领域中逐渐衍生出以下3 种方式来构建预训练语言模型。 (2)只包含解码器的预训练语言模型,比如 ChatGPT。 (3)编码器和解码器都包括预训练语言模型,比如 BART。 2)指令数据集通过指令的形式指导模型的生成,能够提高预训练语言模型的泛化能力,使其在之前未做过的任务中能够表现出优秀的零样本推理能力。 (2)信息提取能力弱。 (3)并行计算能力差。 (4)领域迁移能力弱。 GPT-1 将模型的训练分为两个阶段: 第一个阶段通过大批量无标签文本数据构建一个初始的生成式语言模型。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前,大模型在这几个方面还不够理想。