- 综合排序
- 最热优先
- 最新优先
- 来自专栏AiCharm
医学多模态大模型LLaVA-Med | 基于LLaVA的医学指令微调
(iii) 10K。一个较小的数据集（10个样本），没有IM。它们用于实验中对我们的数据生成策略及其对经过训练的LLaVA-Med的影响进行消融实验分析。 方法 图3 本文使用LLaVA作为初始的通用领域多模态对话模型，并将模型连续训练到生物医学领域。本文采用相同的网络架构，其中线性投影层连接视觉编码器和语言模型。 为了训练模型以跟随各种指令并以对话方式完成任务，我们在收集的生物医学语言-图像指令跟随数据上对模型进行微调，开发了一个生物医学聊天机器人。 微调至下游任务 对于一些特定的生物医学场景，需要开发高度准确且特定于数据集的模型，以提高模型性能。 经过完整的两阶段训练的LLaVA-Med持续优于一般领域的LLaVA，并且使用更大的指导数据（从10K到60K样本）会导致更高的性能。
3.6K20编辑于 2023-07-26 - 来自专栏DrugOne
. | 基于医学文献的图像-文本模型实现医学图像的智能分析
在本研究中，作者提出了一种基础模型方法，名为MONET（医学概念检索器），它学习如何将医疗图像与文本连接，并在概念存在上密集地评分图像，以支持医疗AI开发和部署中的重要任务，如数据审核、模型审核和模型解释 由于疾病、肤色和成像方式的多样性，皮肤科提供了一个对MONET多功能性的苛刻用例，作者基于105,550张带有大量医学文献自然语言描述的皮肤病学图像训练了MONET。 相比之下，医学界开发的丰富的临床概念注释可以使得进行多种分析成为可能。这种丰富的注释可以帮助开发医疗AI系统的研究人员更好地理解数据集中的偏差，并检测这些系统中的不良行为。 模型部分 图 1 在本研究中，作者利用医学界中包含在公开的医学文献和教科书的集体知识来教授一个AI模型——MONET，该模型用医学相关的概念丰富地注释医疗图像（见图1a,b）。 图 4 作者开发了一种名为“使用MONET进行模型审核”（MA-MONET）的方法，该方法使用MONET自动检测导致模型错误的语义上有意义的医学概念。
65910编辑于 2024-05-22 - 来自专栏山行AI
本草: 基于中文医学知识的LLaMA微调模型
华驼(HuaTuo): 基于中文医学知识的LLaMA微调模型 前言 在大模型兴起的时代浪潮引领下，无数款AI应用应运而生，本文的核心目标除了技术知识科普外，还有还重要的一点，就是进行知识梳理。 我们只开放针对"肝癌"单个疾病训练的模型参数。在未来，我们计划发布融入文献结论的医学对话数据集，并且会针对“肝胆胰”相关16种疾病训练模型。 [2023/04/24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。 [2023/03/31] 发布了基于LLaMA和医学知识库进行指令微调的模型发布。 /scripts/finetune.sh 训练细节 计算资源需求 我们在一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。 模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。本项目数据集绝大部分由模型生成，即使符合某些医学事实，也不能被用作实际医学诊断的依据。
2.6K10编辑于 2023-06-14 - 来自专栏DrugOne
. | 医学中的大型语言模型
GPT-2（2019年发布）拥有15亿个参数，是其前任的10倍大。其训练数据来自WebText，这是一个40 GB的数据集，来源于800多万份文档。 该奖励模型使得自主RLHF的规模远远超过了通过人工对每个模型回应进行评分所能达到的规模。为了提高安全性和安全性，还使用模型生成的输入查询和输出完成了进一步的自主对抗训练。 LLM的医学应用 图 3 在最近几个月中，LLM（大型语言模型）技术，特别是ChatGPT，已经被广泛应用于各种场景（如图3所示）。 新兴的多模态模型将扩展模型能力，并与更多的数据源兼容；甚至医生的手写字也可以自动准确地解释。 结论 LLMs已经彻底改变了自然语言处理领域，最先进的模型，如GPT-4和PaLM 2，现在在医学领域的人工智能创新中占据着核心地位。
86530编辑于 2023-09-19 - 来自专栏全栈程序员必看
医学图形图像处理(医学影像和医学图像处理)
文章目录 1 图像和数字图像 2 图像分类 2.1 简单分类 2.2 传感器分类 2.3 维度分类 3 图像处理流程 4 医学图像 1 图像和数字图像 数字图像： 被定义为一个二维函数，f(x,y)， 图像数据： 生活中是二维的，医学上通常还有3维和4维的。比如在关注心脏跳动的时候，不仅关注其三维结构，还要关注时间轴变化。 三维图像：一个像素描述成一个体素。 医学图像中常用的是dicom 2 图像分类 2.1 简单分类 （1）二值图像：包含两个值，通常为0、255 （2）灰度图像： 0-255灰阶，更能表现自然界图像形态。 4 医学图像 （1）CT图像： 骨结构、组织结构（不太清晰） （2）MRI（核磁共振）图像： 清晰看到除了骨结构之外的一些软组织，更能描述人体软组织结构。
1.8K10编辑于 2022-07-31 - 来自专栏Reck Zhang
Java 10 - 内存模型
内存模型 主存储器与工作存储器 主存储器 方法区(Method Area) 方法区用于存储类的信息, 常量, 静态变量, 即时编译器编译后的代码. 栈(Java Virtual Machine Stacks) 代表着Java方法执行的内存模型, 每个方法执行时都会创建一个栈帧来存储方法的变量表, 操作数栈, 动态链接方法, 返回值, 返回地址等信息
42320发布于 2021-08-11 - 来自专栏Python与算法之美
10，模型的优化
搜索超参数空间以优化超参数需要明确以下方面： 估计器 超参数空间 交叉验证方案 打分函数 搜寻或采样方法（网格搜索法或随机搜索法） 优化模型的常见方法包括 网格搜索法，随机搜索法，模型特定交叉验证， 三， 模型特定交叉验证 一些特定的模型，sklearn构建了一些内部含有交叉验证优化机制的估计器。 它们主要是在linear_model模块。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 通常模型参数越多越复杂，越容易出现过拟合。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 AIC信息准则选择AIC最大的模型。 BIC信息准则选择BIC最大的模型。
84421发布于 2020-07-17 - 来自专栏最新医学影像技术
医学图像处理案例（六）——生成血管三维模型
在前面的文章中，已经分享了人体肋骨和肺组织分割生成三维模型的例子。今天将继续分享人体脑部血管分割并生成三维模型的案例。 1、导入MRA图像 大家肯定对MRI概念是很清楚的，但是对于MRA可能不太了解。
3.8K10发布于 2020-06-29 腾讯医学大模型产品能力与产业应用深度解析
一、 产品定位与核心亮点 腾讯医学大模型是基于“腾讯混元”通用大模型底座，深度融合医学行业知识图谱与海量医疗数据，专为医疗行业打造的企业级垂直大模型矩阵。 产品剥离了单一的“黑盒”模型形态，将能力拆解为底层算力平台（TI平台）、行业模型层（医学知识灌注）与开箱即用的知识引擎，精准匹配三种不同技术成熟度的企业： 具备完整研发团队：提供TI平台，支持算力调度、 仅有业务专家无研发团队：提供深度预训练的医疗行业大模型，结合强化学习（RLHF）直接输出专业医学能力。 知识图谱规模：天衍医学知识图谱（Jarvis-KG）包含285万实体数量，1250万关系数量，医学知识覆盖率达98%，医学知识精准率 >85%。模型覆盖 98% ICD中疾病的知识。 解决方案：利用腾讯医学大模型，自动读取医患自然问诊对话历史（包含症状、用药建议等），直接提取信息生成诊疗报告。
23210编辑于 2026-05-31- 来自专栏DrugOne
大型语言模型是通用生物医学模拟器
今天为大家介绍的是来自Christoph Bock和Matthias Samwald的一篇评估大语言模型的论文。生物过程的计算模拟可以加速生物医学研究，但通常需要广泛的领域知识和手动调整。 最近，如GPT-4等大型语言模型（LLMs）已经证明在生成人类语言方面取得了惊人的成功，可用于各种任务。 作者展示了模型在各种生物医学应用中具有良好的预测性能，无需显式的领域知识或手动调整。因此，LLMs为一类新的通用生物模拟器提供了可能。 基于LLMs的模拟可以补充现有的模拟范式，特别是通过利用LLMs的大规模隐式知识库和LLMs所操作的多用途的序列模型。 总的来说，作者的实验显示SimulateGPT在各种生物医学场景中具有良好的预测性能，表明LLMs可以配置为可解释的模拟器，可以在复杂的结果预测中优于不遵循SimulateGPT中实现的逐步模拟的模型。
48920编辑于 2023-09-09 - 来自专栏最新医学影像技术
医学图像处理案例（七）——生成气管三维模型
今天将继续分享人体肺部气管分割并生成三维模型的案例。 1、利用区域生长方法来提取气管结构 区域生长算法的基本思想是将有相似性质的像素点合并到一起。 图三是相应的三维重建模型。图四红色区域是手动参数设置的值。 ? ? ? ? 换一组CT肺部图像后并重新选择种子点坐标和上下阈值范围值，进行处理重建得到的气管三维模型如下图所示。 ?
1.8K50发布于 2020-06-29 - 来自专栏AI科技评论
斯坦福大学将差分隐私AI模型训练提速10倍，将用于新冠医学影像
这反过来又对用于训练人工智能模型的患者敏感数据的隐私性和安全性提出了新的挑战。诚然，公众、医学界和政府层面对这个问题的讨论越来越多，但我们显然还需要研究改进人工智能技术，从而更好地保护数据隐私。 目前，斯坦福大学医学院（Stanford University School of Medicine）的研究人员在差分隐私（一种保护敏感数据的关键方法）的使用方面取得了重大突破。 通过使用Graphcore IPU，斯坦福团队能够将具有差分隐私的人工智能训练速度提高10倍以上，将这项被认为计算难度过大而无法广泛使用的技术转变为现实世界的可行解决方案。 对于IPU，由于IPU的MIMD架构和细粒度并行性可以实现高得多的处理效率，因此DPSGD所需的额外操作的计算开销要低得多（10%而不是50-90%）。 该论文显示，对于10-6的delta，epsilon为11.4，这是一个很好的范围。该团队有一些关于如何进一步减少这种情况的想法，如通过更激进的学习率计划来减少训练时期的数量。
77420发布于 2021-11-05 - 来自专栏arXiv每日学术速递
医学影像的通用分割模型来了！
医学影像行业，一直以数据和高成本标注而筑起非常高的领域壁垒,随着近期SAM和SegGPT等通用的CV大模型的提出，大模型和通用模型这把火也逐渐烧到的CV领域，特别是图像分割领域，各式通用医学图像分割模型也随之涌现 2）于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的，如何解决这种情况？ 对于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的。不同模式之间的风格偏差会显著降低性能。如下图所示，不同模态的脑肿瘤影响有明显不同的外观，如下图的T1 和 T2。 现有的模型往往只在单一模态下表现良好，在另一模态上表现较差，如DeepAll和DoFE方法。 近期，有研究提出了SAM-Med3D，这是一种专门用于3D体素医学图像分割的三维SAM模型。 此外，SAM-Med3D的可迁移性也在不同的基准任务上经过了验证，该模型表现出了很强的潜力，因此SAM-Med3D有望成为一种强大的三维医学图像Transformer的预训练模型。
1.3K30编辑于 2023-11-15 - 来自专栏未来先知
CP-UNet:基于轮廓的医学超声图像分割概率模型 ！
为克服这一挑战，作者提出了一种基于轮廓的概率分割模型CP-UNet，该模型引导分割网络在解码过程中关注轮廓。 作者还设计了一种新颖的下采样模块，以实现轮廓概率分布建模和编码阶段获取全局-局部特征。 现有的方法主要致力于优化卷积神经网络以提高医学图像分割的准确性。 例如，GCNet [10] 和 Wavelet U-Net++ [11] 都提供了对编码中间特征的病变区域大小的约束。 在BUSI和DDTI数据集上，基于卷积的 Baseline 表现不佳，与本文中的模型相比，大约提高了10%的性能，与在ImageNet-21K数据集上预训练的TransUNet的结果相当。 MgCSD通过约10%的模型效果改善，表明相互全局-局部特征增强的编码策略是有效的。
1.5K10编辑于 2024-12-23 - 来自专栏DrugOne
. | 医学大型语言模型中的记忆现象
大型语言模型在医学领域展现出重要潜力，许多研究通过在医学数据上继续预训练或微调来提升其医学能力。 在生物医学文献数据集上，医学模型与通用模型之间的差异相对较小，尽管医学模型仍通常更高。 按专科分析时，微调在心脏病学和肾脏病学等专科中带来的提升尤其明显，增幅超过10%。这说明真实临床数据微调对医学应用具有实际价值。 与此同时，临床数据微调显著增加了训练内容记忆化。 研究人员使用自动检测工具和人工核查相结合的方法，在10,000条训练记录对应输出中发现，微调后的Llama-3-Instruct-8B再生成了3,192个受保护健康信息实例。 ，并在10,000条训练样本中再生成超过3,000个受保护健康信息实例。
12810编辑于 2026-06-24 - 来自专栏最新医学影像技术
医学图像处理教程（三）——医学图像增强算法
今天将给大家分享医学图像常见图像增强算法。
3.5K50发布于 2020-06-29 - 来自专栏DrugAI
. | 人机协作医学文献挖掘基础模型
与多种前沿大语言模型相比，LEADS在六大医学文献挖掘任务（研究检索、文献筛选、数据提取等）中均表现更优。 这说明在医学文献挖掘中，结合高质量领域数据训练的专业模型能显著增强研究人员的效率与成果可靠性。 人工校验也证实，LEADS在多个任务上比其他模型提高了10%以上的准确度，同时在长文本输入下依然保持性能。 通过利用大规模、高质量的医学文献和临床试验数据构建训练集，研究人员证明：专门化的小模型在特定领域可优于通用大模型。 总体而言，LEADS展示了在人机协作框架下，基础模型在医学文献挖掘中的巨大潜力。未来，随着数据与方法的不断优化，此类模型有望进一步推动循证医学与药物研发的发展。
22720编辑于 2026-01-06 - 来自专栏DrugOne
. | 生物医学基础模型的发展轨迹
DRUGONE 近年来，生物医学研究与临床应用领域正在经历基础模型的快速发展。 所谓生物医学基础模型，是指在大规模、多模态生物与临床数据上训练的机器学习模型，其目标是学习具有广泛泛化能力的表示，以支持多种生物发现与医疗任务。 从专用模型到基础模型 传统生物信息学模型通常针对特定任务构建，例如蛋白质结构预测或医学影像分类。而基础模型则通过在多源数据上进行预训练，学习通用表示，再适配不同下游任务。 随着数据规模与计算能力的提升，基础模型正在从单一领域工具，逐步演化为支撑生物医学研究与临床应用的核心技术基础。 相比之下，纯解码器模型较少，这在一定程度上反映了生物医学领域中高质量标注数据的稀缺性。 与此同时，在模型评估方面仍存在明显不足。
14910编辑于 2026-05-07 . | 医学大型语言模型中的记忆现象
大型语言模型在医学领域展现出重要潜力，许多研究通过在医学数据上继续预训练或微调来提升其医学能力。 在生物医学文献数据集上，医学模型与通用模型之间的差异相对较小，尽管医学模型仍通常更高。 按专科分析时，微调在心脏病学和肾脏病学等专科中带来的提升尤其明显，增幅超过10%。这说明真实临床数据微调对医学应用具有实际价值。 与此同时，临床数据微调显著增加了训练内容记忆化。 研究人员使用自动检测工具和人工核查相结合的方法，在10,000条训练记录对应输出中发现，微调后的Llama-3-Instruct-8B再生成了3,192个受保护健康信息实例。 ，并在10,000条训练样本中再生成超过3,000个受保护健康信息实例。
10500编辑于 2026-06-24- 来自专栏最新医学影像技术
2018Medical Segmentation Decathlon——10项医学分割任务之task10结肠癌分割
今天将分享10项医学分割任务之task10结肠癌分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。 医学成像领域的许多关键算法通常在少数任务上得到验证，限制了我们对所提出贡献的普遍性的理解。本着AutoML的精神，一个在许多任务上开箱即用的模型将对医疗保健产生巨大影响。 二、Medical Segmentation Decathlon2018任务 MSD 挑战测试了机器学习算法在应用于 10 种不同的语义分割任务时的普遍性。 这可以通过使用单个学习器、多个学习器、体系结构搜索、课程学习或任何其他技术来实现，只要任务特定的模型参数不是人类定义的。 参与者需要下载数据，开发通用学习算法，在每个任务训练数据上独立训练算法，无需人工交互（没有任务特定的手动参数设置），在测试数据上运行学习模型，并提交分割结果。
51810编辑于 2024-01-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号