- 综合排序
- 最热优先
- 最新优先
- 来自专栏安徽开发者圈
GPT-4准确率大跳水，从97.6%降至2.4%
结果表明，GPT-4（2023 年 3 月版）在识别质数方面表现非常出色，正确回答了其中的 488 个问题，准确率达 97.6%。 但 GPT-4 （2023 年 6 月版）在这些问题上的表现却非常糟糕，只答对了 12 个问题，准确率仅为 2.4%。 但最新版本的 GPT-4 不仅错误地回答了 "否"，还没有生成解题的中间步骤。 与 3 月份相比，GPT-4 在 6 月份不太愿意回答敏感问题。 两种模型的冗余度也有小幅增加，其中 GPT-4 增加了 20%。 视觉推理方面，GPT-4 和 GPT-3.5 的性能都略有提高。 这些服务的总体性能也很低：GPT-4 为 27.4%，GPT-3.5 为 12.2%。且在某些特定问题上，GPT-4 在 6 月份表现要比在 3 月份差。
27610编辑于 2025-05-23 - 来自专栏Duncan's Blog
准确率和召回率及如何提高准确率
准确率和召回率的计算 准确率是预测正确数量 / 总数量 精确率(precision)是针对预测结果而言,它表示的是预测为正的样本中有多少是真正的正样本.预测为正有两种可能,一种就是把正类预测为正类( AFP}\) \(micro-R=\frac{ATP}{ATP + AFN}\) \(micro-F1=\frac{2*micro-P*micro-R}{micro-P+micro-R}\) 如何提高准确率 提高准确率的手段可以分为三种:1)Bagging 2)Boosting 3)随即森林 在一般经验中,如果把好坏不等的东西掺到一起,那么通常结果会是比最坏的要好一些,比最好的要坏一些.集成学习把多个学习器结合起来
8.2K20发布于 2018-09-04 - 来自专栏量子位
谷歌让大模型更具“心智”，GPT-4任务准确率大增
可以看出，在推理上，表现最好的GPT-4与人类已经相差无几，但在T4D任务上才刚刚达到人类水平的一半。 于是，研究团队提出的FaR方法登场了。 相比于思维链（CoT）、思维树（ToT）、自己提问等方式，FaR显著提高了大模型在“萨利-安妮”类T4D问题上的准确率。 特别是GPT-4，准确率从人类的50%提升到了71%，GPT-3.5以及谷歌自家的PaLM表现也有提高。 消融实验结果表明，Foresee和Reflect两步都是FaR的关键步骤，缺一不可。 首先是在“萨利-安妮”情景的基础上改变故事的结构，研究团队一共尝试了三种方式： D1：增加房间的数量 D2：人物的数量增多 D3：容器的数量增加到四个 结果FaR依旧成功帮助大模型提高了任务的准确率，在第三种模式下 GPT-4甚至取得了和人类相当的成绩。
40320编辑于 2023-10-18 - 来自专栏机器之心
DeepMind让大模型学会归纳和演绎，GPT-4准确率提升13.7%
论文地址：https://arxiv.org/abs/2310.07064 对数值推理和关系推理问题的实验表明，HtT 改进了现有的 prompt 方法，准确率提升了 11-27%。 在数值推理中，他们观察到 GPT-4 的准确率提高了 21.0%。在关系推理中，GPT-4 的准确性提高了 13.7%，GPT-3.5 则获益更多，性能提高了一倍。 可以观察到，在 GPT3.5 和 GPT4 中，0-shot CoT 的性能最差。对于 few-shot 提示方法，CoT 和 LtM 的性能相似。 在平均准确率方面，HtT 始终比两种模型的提示方法高出 11.1-27.2%。 值得一提的是，使用 GPT4 的规则，GPT3.5 上的 CoT 性能提高了 27.2%，是 CoT 性能的两倍多，接近 GPT4 上的 CoT 性能。
51940编辑于 2023-10-24 - 来自专栏全栈程序员必看
训练集准确率很高，验证集准确率低问题
训练集在训练过程中，loss稳步下降，准确率上升，最后能达到97% 验证集准确率没有升高，一直维持在50%左右（二分类问题，随机概率） 测试集准确率57% 在网上搜索可能打的原因： 1.learning rate太小，陷入局部最优 2.训练集和测试集数据没有规律 3.数据噪声太大 4.数据量太小（总共1440个样本，80%为训练集） 5.训练集和测试集数据分布不同：如训练集正样本太少（如果训练集和测试集每次运行随机选择 print('==> Preparing data..') transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4) ################# optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=0.8, weight_decay=5e-4) 恭喜你，你压根也分不对，你的validation准确率会一直为0.因为你拿所有的正样本训练，却想判断负样本。 4.数据和标签没有对上 有可能再读取自定义的数据库的时候出现问题，导致数据与标注不对应。
4.7K40编辑于 2022-11-04 - 来自专栏全栈程序员必看
f1值准确率召回率_nt值准确率高吗
1、混淆矩阵 混淆矩阵中T、F、P、N的含义： T:真，F:假，P:阳性，N:阴性 然后组合： TP:真阳性 TN:真阴性 FP:假阳性 FN:假阴性 2、精确率（准确率）： 你认为对的中， 所占的比率 : 例如：应该有 10 个是对的，但是你只猜中了 7（TP+FN）个，则 召回率 70% 本来是对的：即真实值为1的数量=TP+FN 你召回了多少对的：TP Recall=TP/（TP+FN） 4、
51030编辑于 2022-09-20 - 来自专栏AgenticAI
微软新出多智能体将医疗诊断准确率提到85%，比人类医生高出4倍！
以《新英格兰医学杂志》 (NEJM) 每周发布的真实病例记录为基准，微软提出的人工智能诊断协调器 (MAI-DxO) 对 NEJM 病例的诊断准确率高达 85%，比经验丰富的医生团队高出四倍以上。 在相同的任务中，这些专家 在已完成病例中的平均准确率只有 20%，只有 MAI-DxO 的1/4。具体如下图所示。 也可以看到 OpenAI o3 虽然也能达到 78%左右的准确率，但是其医疗成本高达 8000 刀，因为没有限制的 AI 它会采用各种各样的检查。 而多智能体则会根据预算控制检查项目，MAX-DxO 在 2500 左右的成本下就已经实现了 80%的准确率。成本下降 1/4。 而且随着大语言模型的发展，多智能体的程序的准确率和效率只会进一步提高。
38100编辑于 2025-07-04 - 来自专栏自然语言处理(NLP)论文速递
碾压GPT-4！斯坦福 | 发布WikiChat聊天机器人，准确率达97.3%
最后，作者将基于GPT-4的WikiChat提炼成7B参数的LLaMA，这个模型在事实准确性方面仍然能拿到91.1%的高分， 并且运行速度提高了6.5倍，能效更好，可以本地部署。 从LLM生成响应， 4. 从LLM响应中提取声明， 5. 使用检索到的证据对LLM响应中的声明进行事实核查， 6. 起草响应， 7. 完善响应。 GPT-4：是的，......苹果拥有良好的创新记录、忠实的客户群和稳健的财务状况。全球市值最高的公司，市值超过2万亿美元。继续探索增强现实、人工智能、自动驾驶汽车等新技术。 第4阶段，LLM响应被分解为多种声明（如下图），此阶段解析共同引用以减少歧义，并解析相对时间信息（如「当前」和「去年」），以使所有声明自包含。 事实准确性来自人类评估，其他指标来自小样本GPT-4。所有指标都是越高越好。
83520编辑于 2024-01-04 - 来自专栏大龄程序员的人工智能之路
提高模型准确率：组合模型
然而，人们探索新知识总是永无止境，在提高深度学习模型准确率方面，仍在孜孜不倦的追求着。这篇文章将介绍一种提升模型准确率的方法：组合模型。 多个模型投票的结果，应该好于单个模型的准确率。 当然，机器学习看起来有些不靠谱（拿概率说事），但还是建立在严密的理论基础之上，组合模型提高准确率如果仅仅建立在一条谚语之上，不足以说服人，也没办法让人接受。 看到这儿，你可能会有些失望，费了这么大的劲，好像也没啥提升，但是别忘了，在医疗领域、自动驾驶领域，即使费上好大的力气，准确率能够提升小数点后面几位，都是值得的。 就像每年度的kaggle竞赛，人们依然在孜孜不倦的追求着准确率的提升。 以上实例均有完整的代码，点击阅读原文，跳转到我在github上建的示例代码。
71220发布于 2019-07-01 - 来自专栏Hsinyan写字的地方
测试集的分类准确率
3, 4, 5, 6, 7, 8, 9, 0, 1, # 2, 3, 4, 5, 6, 7, 8, 9, 0, 9, 5, 5, 6, 5, 0, 9, 8, 9, 8, 4, 1, 7, # 7, 3, 5, 1, 0, 0, 2, 2, 7, 8, 2, 0, 1, 2, 6, 3, 3, 7, 3, 3, 4, 6, # 6, 6, 4, 9, 1, 5, 0, 9, 5, 2, 8, 2, 0, 0, 1, 7, 6, 3, 2, 1, 7, 4, # 6, 3, 1, 3, 9, 1, 7, 6, 8, 4, 3, 1]) # 查看一下第 sum(y_predict == y_test) / len(y_test) # 0.9916434540389972 使用上述过程即可使用kNN算法(k取3)，且对测试集进行预测的准确率达到99.16% 以上 封装自己的准确率函数 def accuracy_score(y_true, y_predict): """计算y_true和y_predict之间的准确率""" assert len
75110编辑于 2022-06-19 - 来自专栏ASR
如何提升语音转写准确率？
4. 评估字错率训练前模型的字错率是 25.5%，如下图所示：训练后的模型字错率是 1.8%，如下图所示：从上面两张图片就能明显对比出来，训练是有效果的。 如有需要微调提升 ASR 识别准确率也欢迎在我的个人博客首页中找到我的联系方式。
92910编辑于 2025-04-19 - 来自专栏算法与编程之美
提升网络训练的准确率
1 问题 模型训练结果的准确率只有百分之60多，因此需要提升准确率。 2 方法 mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据。 当数据量十分大的时候，一次性投入训练效果往往会变差，为此需要对数据进行分批次的训练，用epoch进行周期训练达到提升准确率的目的。
53820编辑于 2023-01-03 - 来自专栏nginx遇上redis
准确率（Accuracy）、召回率(Recall)
Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4) 准确率 (Accuracy) 准确率是指有在所有的判断中有多少判断正确的，即把正的判断为正的，还有把负的判断为负的；总共有 TP + FN + FP + TN 个，所以准确率：(TP+TN) / (TP
64110编辑于 2024-05-13 - 来自专栏新智元
GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA
编辑：庸庸 乔杨 【新智元导读】号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动，GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA！ 可是这周二，ARC-AGI基准无法被挑战的神话被GPT-4o撼动了！GPT-4o以在公共测试集50%、在训练集的保留子集71%的准确率成为了新的SOTA！ Ryan在一组示例中获得了 71% 的准确率，而人类的准确率为 85%；这（GPT-4o）是SOTA。 这个消息也迅速登上了HN热搜榜。 针对每个问题选取最有希望的12个补全，然后通过向GPT-4o展示该程序在示例中的实际输出，并要求GPT-4o修改代码使其正确，从而尝试修复每个补全。 GPT-4o存在的非推理弱点 GPT-4o看不清楚。
34210编辑于 2024-06-27 - 来自专栏机器之心
比GPT-4还强，20亿参数模型做算术题，准确率几乎100%
pdf 项目地址：https://github.com/THUDM/MathGLM#arithmetic-tasks 该研究表明：在足够的训练数据下，20 亿参数的语言模型能够准确地进行多位算术运算，准确率几乎达到了 这个结果大幅超越了 GPT-4（其多位乘法运算准确率仅为 4.3%）。 方法介绍 本文提出了一个名为 MathGLM 的模型来探讨 LLM 在数学推理方面的效率。 图 4 展示了原始 Ape210K 数据集和本文重建版本之间的对比。 通过分解算术任务，这些模型的性能显著超过了 GPT-4 和 ChatGPT。 结果如表 4 所示。 通过以上分析结果可以看出，MathGLM 在 20 亿参数下达到了 93.03% 的准确率，超越了所有其他 LLM。
58120编辑于 2023-09-19 - 来自专栏自然语言处理(NLP)论文速递
斯坦福&微软 | 提出交互培训框架：IMBUE，准确率比GPT-4高出25%
结果表明，IMBUE在评估描述、坚持、鼓励、协商和自信这些沟通技能时，整体的准确率比GPT-4高出将近25%。 结果显示，IMBUE在评估描述、坚持、鼓励、协商和自信这些技能时，表现得特别出色，**整体的准确率比GPT-4高出将近25%**。
27110编辑于 2024-03-11 - 来自专栏量子位
悬赏800万的超难测试集，被GPT-4o实现新SOTA，准确率已达50%
结果短短一周之内，这一挑战就被一位博主Ryan Greenblatt完成了一半，准确率达50%；而此前的SOTA仅为34%。 对于每个问题，Ryan都会把网格以图像和ASCII字符两种方式输入给GPT-4o。 ，Ryan会从GPT-4o的回答中采样约5000个完成结果，对程序进行筛选与修正。 最终，Ryan的方法在ARC-AGI公开测试集上达到了50%的准确率，成为了新的SOTA，此前的SOTA为34%，而在训练集（难度低于测试集）的一个子集上，该方法达到了72%的准确率。 在Ryan之前，已经提交的方案中最高的准确率为34%，而官方设置的“成功”标准，也是他们预估的人类水平，为85%。
33110编辑于 2024-06-19 - 来自专栏新智元
准确率不足20%，GPT-4VGemini竟看不懂漫画！首个图像序列基准测试开源
可如果告诉你，GPT-4V连漫画中的人物行为都会看错, 试问：元芳,你怎么看？ GPT-4V作为公认的站在鄙视链顶端的机器智能体，居然公然睁眼说瞎话。 请求GPT-4提取AI生成描述中的对象和行为关键词； 3. 获得两个关键词列表：AI生成的对象关键词列表和AI生成的行为关键词列表； 4. 计算AI生成的对象关键词列表和行为关键词列表和人的标注的关键词表的召回率、准确率和F1指标。 结果发现，如下图所示，GPT-4V和Gemini对于人物行为在漫画数据集的正确率竟然不到20%。 而在真实世界图像和机器人图像中，GPT-4V和Gemini的表现也不尽如人意： 关键点 1.
35710编辑于 2024-02-06 层级表征提升图像检索准确率
特别是，代理锚损失已被证明能够达到最先进的图像检索准确率，同时比成对损失收敛得快得多。我们的工作提出了一种新的代理损失，它显式地利用类别层次结构信息来提高图像检索准确率。 在五个标准度量学习数据集上评估图像检索准确率，发现HPL始终优于两种基线方法，达到了新的最先进水平。
14210编辑于 2025-12-29- 来自专栏新智元
准确率99.8%通过图灵测试，GPT-4示弱在线求助
论文地址：https://arxiv.org/pdf/2307.12108.pdf 结果发现，验证码机器人不仅在速度上，而且在准确率上彻底击败了这些人类参与者。 就扭曲文本的验证码类型上，机器人拥有惊人的99.8%的准确率，而人类准确率50%-84%。 在大约20年的时间里，尽管验证码在复杂性和多样性方面有所发展，但击败或绕过验证码的AI也有了很大的改进。 reCAPTCHA：在简单和困难设置下图像分类的准确率分别为81%和81.7%。令人惊讶的是，这个困难似乎并没有影响准确性。 hCAPTCHA：简单设置和困难设置的准确率分别为81.4%和70.6%。 RQ4：确认年龄对解决时间的影响。 RQ5：验证码相关任务导致的高放弃率，并确定实验环境影响放弃。 GPT-4向人类求助 其实，机器人通过反向图灵测试，已经不是新鲜事儿了。 OpenAI发布的GPT-4技术报告中，曾介绍到了如何让其通过验证码。 在一次测试中，GPT-4的任务是在TaskRabbit平台，雇佣人类完成任务。
1.3K50编辑于 2023-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号