- 综合排序
- 最热优先
- 最新优先
- 来自专栏AiCharm
医学多模态大模型LLaVA-Med | 基于LLaVA的医学指令微调
为了促进生物医学多模态学习的研究，我们将向公众发布以下资源：生物医学多模态指令遵循数据集以及数据生成和模型训练的代码库。 方法 图3 本文使用LLaVA作为初始的通用领域多模态对话模型，并将模型连续训练到生物医学领域。本文采用相同的网络架构，其中线性投影层连接视觉编码器和语言模型。 为了训练模型以跟随各种指令并以对话方式完成任务，我们在收集的生物医学语言-图像指令跟随数据上对模型进行微调，开发了一个生物医学聊天机器人。 微调至下游任务 对于一些特定的生物医学场景，需要开发高度准确且特定于数据集的模型，以提高模型性能。 结论 本文提出了一个用于生物医学领域的大规模语言和视觉模型LLaVA-Med。为了创建这个模型，本文使用自我指导self-instruction的方法创建了高质量的生物医学语言-图像指导数据集。
3.4K20编辑于 2023-07-26 - 来自专栏山行AI
本草: 基于中文医学知识的LLaMA微调模型
华驼(HuaTuo): 基于中文医学知识的LLaMA微调模型 前言 在大模型兴起的时代浪潮引领下，无数款AI应用应运而生，本文的核心目标除了技术知识科普外，还有还重要的一点，就是进行知识梳理。 github地址为：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese 介绍 一个基于python语言开发、基于LLaMA微调的中文医学 大模型。 我们只开放针对"肝癌"单个疾病训练的模型参数。在未来，我们计划发布融入文献结论的医学对话数据集，并且会针对“肝胆胰”相关16种疾病训练模型。 [2023/04/24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。 [2023/03/31] 发布了基于LLaMA和医学知识库进行指令微调的模型发布。 模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。本项目数据集绝大部分由模型生成，即使符合某些医学事实，也不能被用作实际医学诊断的依据。
2.5K10编辑于 2023-06-14 - 来自专栏DrugOne
. | 基于医学文献的图像-文本模型实现医学图像的智能分析
在本研究中，作者提出了一种基础模型方法，名为MONET（医学概念检索器），它学习如何将医疗图像与文本连接，并在概念存在上密集地评分图像，以支持医疗AI开发和部署中的重要任务，如数据审核、模型审核和模型解释 由于疾病、肤色和成像方式的多样性，皮肤科提供了一个对MONET多功能性的苛刻用例，作者基于105,550张带有大量医学文献自然语言描述的皮肤病学图像训练了MONET。 相比之下，医学界开发的丰富的临床概念注释可以使得进行多种分析成为可能。这种丰富的注释可以帮助开发医疗AI系统的研究人员更好地理解数据集中的偏差，并检测这些系统中的不良行为。 模型部分 图 1 在本研究中，作者利用医学界中包含在公开的医学文献和教科书的集体知识来教授一个AI模型——MONET，该模型用医学相关的概念丰富地注释医疗图像（见图1a,b）。 图 4 作者开发了一种名为“使用MONET进行模型审核”（MA-MONET）的方法，该方法使用MONET自动检测导致模型错误的语义上有意义的医学概念。
57410编辑于 2024-05-22 - 来自专栏DrugOne
. | 医学中的大型语言模型
该奖励模型使得自主RLHF的规模远远超过了通过人工对每个模型回应进行评分所能达到的规模。为了提高安全性和安全性，还使用模型生成的输入查询和输出完成了进一步的自主对抗训练。 LLM的医学应用 图 3 在最近几个月中，LLM（大型语言模型）技术，特别是ChatGPT，已经被广泛应用于各种场景（如图3所示）。 ChatGPT在医学领域引起了特别的关注，因为它在美国医学许可考试中取得了及格分数，而GPT-4的表现明显优于其前身GPT-3.5。 新兴的多模态模型将扩展模型能力，并与更多的数据源兼容；甚至医生的手写字也可以自动准确地解释。 结论 LLMs已经彻底改变了自然语言处理领域，最先进的模型，如GPT-4和PaLM 2，现在在医学领域的人工智能创新中占据着核心地位。
78130编辑于 2023-09-19 - 来自专栏全栈程序员必看
医学图形图像处理(医学影像和医学图像处理)
文章目录 1 图像和数字图像 2 图像分类 2.1 简单分类 2.2 传感器分类 2.3 维度分类 3 图像处理流程 4 医学图像 1 图像和数字图像 数字图像： 被定义为一个二维函数，f(x,y)， 图像数据： 生活中是二维的，医学上通常还有3维和4维的。比如在关注心脏跳动的时候，不仅关注其三维结构，还要关注时间轴变化。 三维图像：一个像素描述成一个体素。 医学图像中常用的是dicom 2 图像分类 2.1 简单分类 （1）二值图像：包含两个值，通常为0、255 （2）灰度图像： 0-255灰阶，更能表现自然界图像形态。 4 医学图像 （1）CT图像： 骨结构、组织结构（不太清晰） （2）MRI（核磁共振）图像： 清晰看到除了骨结构之外的一些软组织，更能描述人体软组织结构。
1.7K10编辑于 2022-07-31 - 来自专栏最新医学影像技术
医学图像处理案例（六）——生成血管三维模型
在前面的文章中，已经分享了人体肋骨和肺组织分割生成三维模型的例子。今天将继续分享人体脑部血管分割并生成三维模型的案例。 1、导入MRA图像 大家肯定对MRI概念是很清楚的，但是对于MRA可能不太了解。
3.7K10发布于 2020-06-29 - 来自专栏DrugOne
大型语言模型是通用生物医学模拟器
今天为大家介绍的是来自Christoph Bock和Matthias Samwald的一篇评估大语言模型的论文。生物过程的计算模拟可以加速生物医学研究，但通常需要广泛的领域知识和手动调整。 最近，如GPT-4等大型语言模型（LLMs）已经证明在生成人类语言方面取得了惊人的成功，可用于各种任务。 作者展示了模型在各种生物医学应用中具有良好的预测性能，无需显式的领域知识或手动调整。因此，LLMs为一类新的通用生物模拟器提供了可能。 基于LLMs的模拟可以补充现有的模拟范式，特别是通过利用LLMs的大规模隐式知识库和LLMs所操作的多用途的序列模型。 总的来说，作者的实验显示SimulateGPT在各种生物医学场景中具有良好的预测性能，表明LLMs可以配置为可解释的模拟器，可以在复杂的结果预测中优于不遵循SimulateGPT中实现的逐步模拟的模型。
43320编辑于 2023-09-09 - 来自专栏最新医学影像技术
医学图像处理案例（七）——生成气管三维模型
今天将继续分享人体肺部气管分割并生成三维模型的案例。 1、利用区域生长方法来提取气管结构 区域生长算法的基本思想是将有相似性质的像素点合并到一起。 图三是相应的三维重建模型。图四红色区域是手动参数设置的值。 ? ? ? ? 换一组CT肺部图像后并重新选择种子点坐标和上下阈值范围值，进行处理重建得到的气管三维模型如下图所示。 ?
1.8K50发布于 2020-06-29 - 来自专栏arXiv每日学术速递
医学影像的通用分割模型来了！
医学影像行业，一直以数据和高成本标注而筑起非常高的领域壁垒,随着近期SAM和SegGPT等通用的CV大模型的提出，大模型和通用模型这把火也逐渐烧到的CV领域，特别是图像分割领域，各式通用医学图像分割模型也随之涌现 2）于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的，如何解决这种情况？ 对于一般化的医学图像分割任务，使用单个源域来训练模型是非常困难的。不同模式之间的风格偏差会显著降低性能。如下图所示，不同模态的脑肿瘤影响有明显不同的外观，如下图的T1 和 T2。 现有的模型往往只在单一模态下表现良好，在另一模态上表现较差，如DeepAll和DoFE方法。 近期，有研究提出了SAM-Med3D，这是一种专门用于3D体素医学图像分割的三维SAM模型。 此外，SAM-Med3D的可迁移性也在不同的基准任务上经过了验证，该模型表现出了很强的潜力，因此SAM-Med3D有望成为一种强大的三维医学图像Transformer的预训练模型。
1.2K30编辑于 2023-11-15 - 来自专栏未来先知
CP-UNet:基于轮廓的医学超声图像分割概率模型 ！
为克服这一挑战，作者提出了一种基于轮廓的概率分割模型CP-UNet，该模型引导分割网络在解码过程中关注轮廓。 作者还设计了一种新颖的下采样模块，以实现轮廓概率分布建模和编码阶段获取全局-局部特征。 I Introduction 超声成像广泛应用于各种疾病的诊断，由于其低成本、简单操作和非侵入性，因此在医学超声图像的病变分割中，基于深度学习的分割方法得到了应用。 现有的方法主要致力于优化卷积神经网络以提高医学图像分割的准确性。 尽管预训练的TransUNet的分割结果与真实值相似，但它无法捕捉到轮廓的复杂变化，使其比作者的模型更光滑。如图所示，作者的模型在轮廓划分方面表现出优越性能。 IV Conclusion 针对焦点模糊的病变轮廓，提出了一种基于轮廓的概率建模医学超声图像分割网络（CP-UNet），用于超声图像中的病变分割。
1.4K10编辑于 2024-12-23 - 来自专栏DrugAI
. | 人机协作医学文献挖掘基础模型
与多种前沿大语言模型相比，LEADS在六大医学文献挖掘任务（研究检索、文献筛选、数据提取等）中均表现更优。 这说明在医学文献挖掘中，结合高质量领域数据训练的专业模型能显著增强研究人员的效率与成果可靠性。 医学文献挖掘（如系统综述与Meta分析）已成为医学研究和指南修订的重要途径，但这一过程极为耗时，平均完成一个系统综述需要超过一年，并且单个机构的年均成本可达千万美元。 通过利用大规模、高质量的医学文献和临床试验数据构建训练集，研究人员证明：专门化的小模型在特定领域可优于通用大模型。 总体而言，LEADS展示了在人机协作框架下，基础模型在医学文献挖掘中的巨大潜力。未来，随着数据与方法的不断优化，此类模型有望进一步推动循证医学与药物研发的发展。
13120编辑于 2026-01-06 - 来自专栏最新医学影像技术
医学图像处理教程（三）——医学图像增强算法
今天将给大家分享医学图像常见图像增强算法。
3.4K50发布于 2020-06-29 - 来自专栏我爱计算机视觉
开源 | SegVol 通用且可交互的医学体素分割模型
我们很高兴介绍在上周开源的 SegVol 医学通用分割模型。 尽管深度学习在医学图像分割方面已经取得了显著的进展，但仍然缺乏一种能够通用分割各种解剖类别且易于用户交互的基础分割模型。 本文提出一种通用的交互式医学体素分割模型——SegVol。 对于体量在数十到数百个病例的医学体素数据集，由于SegVol能够在25个数据集上联合训练，显著优于在单个数据集上训练的传统分割模型。 病灶分割能力 我们使用nnU-net作为基线模型，它在传统的医学体素分割模型中表现出最强的分割能力。如表3所示，SegVol分割这些具有挑战性的病变的能力明显优于nnU-net。 总结 我们提出了SegVol：一个交互式的通用医学体素分割的基础模型。该模型是使用90k无标注数据和25个开源分割数据集训练和评估的。
63210编辑于 2023-12-04 - 来自专栏CV学习史
医学图像了解
医学图像 医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D）或立体像素（3D）组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。 它定义了质量能满足临床需要的可用于数据交换的医学图像格式 PET是正电子发射断层显像（Positron Emission Tomography）的缩写，是一种先进的核医学影像技术；CT是计算机断层摄影术 空间标准化：将不同个体的数据对准到一个通用空间结构上，使得所有数据可以合并进行组分析 空间平滑：有意模糊数据以降低噪声 时间过滤：在时间维度上过滤数据，以去除低频噪声 统计建模：将统计模型拟合到观测数据 Dicom 它定义了质量能满足临床需要的可用于数据交换的医学图像格式，可用于处理、存储、打印和传输医学影像信息。 这就是为什么在一些机器学习应用程序中NIFTI比DICOM更受欢迎，因为它是3D图像模型。处理一个单个的NIFTI文件，与处理上百个DICOM文件相比要轻松得多。
2.6K31发布于 2019-09-10 - 来自专栏机器学习、深度学习
医学图像分割
由于降采样的原因导致 FCN 的输出结果分辨率低，比较粗糙 虽然已经有人通过 引入 conditional random field (CRF) 来改善 FCN，但是计算量比较大，同时只有特定的图模型被嵌入到
1K20发布于 2019-05-26 . | 大语言模型辅助的临床医学领域大语言模型系统综述
DRUGONE 自2022年以来，大语言模型在临床医学中的评估研究迅速增长，但相关证据体系仍然缺乏系统梳理。 在数据提取阶段，大语言模型从摘要中自动提取多个研究特征，包括所使用的模型类型、研究任务、数据来源、涉及医学专科以及与人类专家比较的结果。 图2: 临床大语言模型研究的发表趋势。 研究任务、数据来源与医学领域分布 在纳入研究中，最常见的研究任务是患者沟通和健康教育，其次是医学知识检索和问答任务。 图3: 各研究中使用的数据集类型、医学专科以及大语言模型的总体概览。 大语言模型与人类专家的比较 在部分研究中，大语言模型的表现被直接与人类专家进行比较。 此外，目前研究高度集中于少数医学专科，而许多其他临床领域仍缺乏系统研究。研究人员认为，这种不均衡的研究格局可能限制了大语言模型在医学中的全面应用。
12510编辑于 2026-03-30- 来自专栏计算机视觉life
医学图像处理
0、引言 医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）和超声波成像（UI）四类。 世界各地的医学图像处理机构已经迅速进入该领域，并将CNN和其它深度学习方法应用于各种医学图像分析。 在医学成像中，疾病的准确诊断和评估取决于医学图像的采集和图像解释。 如基于统计学的方法、基于模糊理论的方法、基于神经网络的方法、基于小波分析的方法、基于模型的snake 模型(动态轮廓模型)、组合优化模型等方法。虽然不断有新的分割方法被提出，但结果都不是很理想。 ，例如应用最大化的互信息量作为配准准则进行图像的配准，基于互信息的弹性形变模型也逐渐成为研究热点[20]。 当没有足够的数据时，有几种方法可以继续：1）迁移学习：从自然图像数据集或不同医学领域预训练的CNN模型（监督）用于新的医疗任务。在一个方案中，预先训练CNN应用于输入图像，然后从网络层提取输出。
4.3K42发布于 2019-07-10 - 来自专栏Python深度学习
使用Python实现深度学习模型：医学影像识别与疾病预测
介绍在这篇教程中，我们将构建一个深度学习模型，用于医学影像识别和疾病预测。我们将使用TensorFlow和Keras库来实现这一目标。 通过这个教程，你将学会如何处理数据、构建和训练模型，并将模型应用于实际的医学影像识别和疾病预测任务。 TensorFlow和Keras库来构建一个卷积神经网络（CNN）模型。 这个模型将用于医学影像的分类。 from app import appif __name__ == '__main__': app.run(debug=True)总结在这篇教程中，我们使用Python构建了一个深度学习模型，用于医学影像识别和疾病预测
71910编辑于 2024-07-25 - 来自专栏最新医学影像技术
医学图像处理案例（五）——生成人体组织三维模型
在前面的文章中，我分享过关于生成3D人体模型的案例。不过那时还只是算法流程上的实现验证，当算法验证成功后，还需要将算法融入到软件界面（UI）上来呈现。 因个人能力有限，在QT框架下做了一个简单的UI并将人体组织分割算法融入到UI中，最后自动生成三维模型。三维模型不仅可以在UI上显示也可以输出成不同格式的文件。 1、人体组织三维重建UI工具界面 ? 三维模型结果如下图所示。 ? 3、人体肺组织三维重建结果 点击Opnefile打开dicom图像路径，选择lung选项，再设置阈值为30，最后点击Process。三维模型结果如下图所示。 ? 4、输出三维模型 重建出来的三维模型只有结构信息，如果要对模型进行渲染的话，需要将模型导出成渲染软件所支持的数据格式。点击export按钮，会出现一些输出格式的选项，选择一个即可输出成相应格式文件。
1.5K10发布于 2020-06-29 - 来自专栏我爱计算机视觉
医学影像处理与识别，应用AI模型，探索疾病辅助诊断！
今天（2023.1.9） arXiv.CV 上有7篇医学影像处理与识别相关论文。不过粗略看来，医学影像类的论文，很多都是直接使用已有模型（甚至都不是最先进的模型），加以应用就可以了。 大量的医学研究已经证实，早期诊断和治疗的脑瘤一般倾向于有更好的预后。 深度学习技术经过多年的发展，在医学影像学中对脑瘤的分类方面已经显示出令人印象深刻和更快的结果，几乎没有人为干扰。 所提出的模型被命名为C-XGBoost，与纯粹的CNN相比，它的模型复杂度较低，使得它更容易训练，而且不容易出现过拟合。 它还能更好地处理不平衡和非结构化的数据，这些都是现实世界医学图像分类任务中常见的问题。为了评估所提出的模型的有效性，我们采用了一个有肿瘤和无肿瘤的脑MRI图像数据集。 系统使用U-Net的监督学习模型来检测。
1.6K30编辑于 2023-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号