CareGPT (关怀GPT)是一个医疗大语言模型,同时它集合了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型,包含LLM的训练、测评、部署等以促进医疗LLM快速发展。 特性: 添加ChatGPT fine-tuning实现,推荐有额度的朋友在ChatGPT上进行微调实验; 支持ChatGPT-Next-Web部署微调的模型; 支持Gradio部署微调的模型; 支持LLaMA 、LLaMA-2全系列模型训练; 支持LoRA、QLoRA,包括后续PPO、DPO强化学习训练; 支持模型与知识库结合问答; 开源了超过60个医院科室的导诊材料信息; 开发了支持GPT-4/ChatGPT 模型蒸馏医学数据的工具,能够批量生成各种用于构建知识库和微调的数据; 聚合了丰富的开源医学LLM、LLM训练的医学数据、LLM部署资料、LLM测评以及相关LLM的资源整理; 我们参与了医学LLM的CMB query 列的内容将会和 prompt 列拼接作为模型输入。history 列应当是一个列表,其中每个元素是一个字符串二元组,分别代表用户请求和模型答复。
一、 产品定位与核心亮点 腾讯医疗大模型是基于腾讯全链路自研的混元通用大模型,面向医疗健康行业深度优化的垂类大模型。 三、 应用框架和功能介绍 功能框架 产品架构分为多层:以腾讯混元大模型为基座,通过TI-ONE训练平台和TI-ACC加速组件进行医疗领域精调,输出针对辅助诊断、文案生成、病历结构化、影像报告等细分场景的专用模型 解决方案:应用医疗大模型升级智能云客服,能够学习医院知识库文件,智能理解并回复患者复杂问题。 成效:累计服务患者超49万人,累计咨询次数超62万次,单日咨询峰值达2000次。 总结 腾讯医疗大模型凭借其全链路自研的强大基座、独特的权威医疗数据积淀和深入的场景化打磨,已成为推动医疗健康产业数智化升级的关键技术引擎。 其在多家头部医疗机构的成功应用表明,该模型在提升医疗服务效率、优化患者体验、辅助临床决策等方面具有显著实用价值,展现了生成式AI在严肃医疗领域的落地潜力。
一、 产品定位与核心亮点 腾讯医疗健康智能体是基于腾讯混元大模型的医疗健康领域AI应用。 其核心技术属性为医疗垂直领域大语言模型,商业差异化卖点在于将大模型技术与专业的医学知识库(腾讯医典)相结合,为个人用户和医疗机构提供精准、专业的健康信息服务和医患沟通效率工具。 三、 应用框架和功能介绍 功能框架 产品主要分为两大模块:面向个人用户的健康助手和面向医疗机构的医患沟通与报告辅助工具。 硬核指标 技术基础:基于腾讯混元大模型。 个性化医患沟通:结合居民健康标签,生成个性化医疗建议,内容覆盖全面,支持一键复制使用。据称能将医患咨询内容生成时间从20分钟缩短至约2分钟,效率提升10倍。 总结 腾讯医疗健康智能体通过大模型技术,在个人健康服务层面实现了更精准、便捷的信息获取与指导;在医疗机构服务层面,有效助力医患沟通效率提升(智能随访、辅助沟通)和报告处理流程优化(报告提效),达成了“增效降本
主讲人: 李慧 | 医疗健康产品商业化负责人 数据来源: 2024腾讯全球数字生态大会 一、产品定位与核心亮点 技术定义: 腾讯医疗大模型是一款基于腾讯混元AI生成技术的医疗健康智能体,旨在构建“个人健康助理 核心差异化卖点: 精准化服务: 结合居民健康标签,生成个性化医疗建议,解决传统健康信息碎片化与个性化不足的问题。 二、产品应用场景 受众群体 场景痛点 解决方案 家庭医生/基层医疗 1个家庭医生团队需管理约 3,000 名居民(基于14亿人口测算),全国仅 42万 个团队(2022年数据),任务繁重。 功能框架 产品架构分为两大核心模块: 个人健康助理(To C/患者端): 包含健康自诊、用药助手、报告解读、健康咨询及权威科普联动。
蛋白质等等)也用于“达尔文”大模型(通用开源数据以外)进一步的预训练,赋予“达尔文”大模型在生物医疗领域比一般通用大模型具备更有竞争力的表现 2.2 科研强化 RLHF 是指"Reinforcement 背靠赛业,数百名生物领域的专业研究员为我们达尔文提供专业知识和经验,来训练反馈模型,以指导“达尔文”大模型的强化学习 2.3 生物AGI 大语言模型的兴起,带动当下最热门的研究方向之一就是:基于大语言模型 “火山方舟” 包含模型广场、模型体验、模型训练推荐以及模型应用的功能,其使命是加速大模型和大算力的应用落地,加快大模型在各行业发挥商业价值。 赛灵力和字节跳动火山引擎深度合作,得到大模型服务平台“火山方舟”的强劲GPU算力支持,加速了“达尔文”大模型的训练学习。 带给大家一个好消息,“达尔文”大模型将入驻火山引擎大模型生态,上架至“火山方舟”的模型广场,补全火山引擎大模型生态的生物医疗领域,并供大家使用与反馈。 火山方舟 3.
组建全流程大模型产品矩阵与底层数据中台 针对上述痛点,腾讯提供从底层数据治理到表层应用交互的完整医疗AI解决方案,产品支持独立售卖或组合,均支持SaaS交付及部分私有化部署(API/H5/小程序),并可无缝集成至 HIS/EMR系统: AI数据层产品: 依托医疗术语标准化,通过高精确性算法大幅缩短医学数据治理周期,为大模型提供高质量语料库。 攻克头部三甲医院复杂临床与客服场景 腾讯医疗大模型已在多个区域中心医院完成深度业务融合,直接验证了其在不同业务场景下的可用性: 华中科技大学协和医院(智能导诊升级): 大模型通过识别主诉缓急、过滤骚扰信息并精准推荐医生 复旦大学附属肿瘤医院(全周期管理): 联合大模型引擎建立患者随访小结(自动提取体征、结节风险评估等),辅助医生进行医疗数据智能分析与科研专病库生成。 兑现底层技术确定性与规模化交付能力 在医疗大模型赛道,腾讯依托强大的底层架构与开放的生态系统,确立了显著的规模化落地优势: 极高的市场渗透率: 方案已累计落地全国约1300家医院,其中包括22家全国百强医院
事实上,自2023年以来,已经有诸多头部企业都在加码医疗大模型领域,而这也意味着大模型正在逐渐深入医疗行业。大模型,医疗行业的新加速器? AI大模型这股风已然吹到了医疗行业,一系列与医疗相关的大模型产品和应用正在相继涌现出来。 比如,京东健康正式发布了面向医疗健康行业的大模型“京医千询”;百度正式发布国内首个“产业级”医疗大模型“灵医大模型”;医联正式发布了自主研发的医疗大语言模型MedGPT;卫宁健康则是发布了医疗领域大模型 在各路玩家相继布局医疗大模型背后,也自有其逻辑。对企业来说,AI大模型的引入,有助于提升医疗效率,降低成本。 由于医疗行业被视为AI大模型落地的最佳领域之一,医疗行业也掀起了一波大模型热潮,许多互联网大厂也推出了自己的医疗大模型产品。比如,百度发布了“灵医大模型”、腾讯则是推出了“腾讯医疗大模型”。
模型输出的每一个结论都可能影响到医生、管理者或者患者的决策,从而进一步影响患者的健康甚至生命。因此,保证模型输出正确的医疗知识至关重要。 考虑到现在的大模型普遍存在幻觉问题,更需要对训练数据的质量以及可靠性进行严格把关。可以看出,纯计算机方向的大模型研究人员难以解决这一问题,必须有专业医生的参与。 训练数据对大模型的意义如同烹饪用的食材,画家的颜料,建筑的基石。因此,日记系列的开篇主要关注医疗数据的构建和优化,目前我简单规划了以下几个方面的探索以及思考: 1. 医疗数据增强方法研究 医疗数据少,数据收集难,罕见病数据更少,这使得模型学不到足够特征,遇到罕见病容易误判。加上医疗数据涉及隐私,共享受限,数据不足的问题更突出。 提示优化策略设计 严格来说,提示词优化不仅仅属于医疗领域的研究问题,而是一个通用的问题。提示设计对模型输出影响很大,同样的问题,不同问法,模型回答差异明显。
大模型的角色与工作原理医疗 AI 智能体中,大模型承担“自然语言理解 + 意图识别 + 内容生成”的核心角色,其工作原理可简化为:1. 检索增强生成(RAG):先检索医疗知识库中与用户问题相关的信息,再将这些信息作为上下文输入大模型,让大模型基于真实知识生成回复。3. 大模型的选择策略 医疗 AI 智能体的核心是大模型,选择模型时需综合考虑效果、成本、合规性、部署方式四大维度,以下是主流模型的对比和选择建议:1.1 模型类型对比模型类型代表模型优势劣势适用场景通用闭源大模型通义千问医疗版效果好 、定制化强需要硬件资源、调优成本高、基础效果略差中大型医疗机构、对隐私要求高的场景医疗专用大模型安诊儿医疗大模型医疗知识精准、幻觉少、符合临床规范覆盖场景有限、部分模型不开源、成本高核心诊疗场景(如辅助诊断 ,核心是通过精准的提示引导大模型生成符合医疗规范的内容。
一、 产品定位与核心亮点 腾讯医疗大模型“医疗健康智能体”是由腾讯云推出的一款垂直行业大模型应用(主讲人:李慧,医疗健康产品商业化负责人)。 该产品以解决大模型“幻觉”挑战为前提,依托语义理解能力、上下文感知、数十万级医疗知识库,提供自然语言驱动的交互体验。 · 硬核指标 长文本处理: 采用最前沿大模型技术,支持 256K 超长文本输入。 文件兼容性: 支持 50+ 种常见的医学报告类型(识别检验、检查、体检报告等)。 医生利用大模型结合居民健康标签,自动生成个性化医疗建议,并通过一键复制功能快速回复患者。 成效: 医患单次咨询耗时从 20分钟 缩减至 2分钟,沟通效率实现 10倍(10x) 提升。 解决方案: 集成医疗大模型辅助报告模块(小微AI助手)。在系统中应用了报告比对(自动比对多期结节大小等病情变化)、报告质控(一键纠错)及报告解读功能。
然而,医疗AI的发展正面临算法进步与数据生产力滞后的突出矛盾。澳鹏MediGo平台通过八大应用场景和七维技术矩阵,构建了从数据生产到模型训练的全链路解决方案,有望显著提升医疗AI模型的准确性和可靠性。 澳鹏Appen(中国)今日正式发布MediGo医疗大模型数据开发平台,这一创新性平台旨在解决医疗AI领域面临的数据标注精度不足、多模态协同处理效率低下等核心挑战。 该平台的推出标志着医疗AI数据服务进入专业化、智能化新阶段,将为医疗AI的临床应用提供强有力的数据支撑。 八大场景赋能智慧医疗全流程在诊疗场景方面,平台基于深度学习的病理图片智能分析系统能够自动标注病灶区域,帮助生成结构化诊断报告,显著提升诊断效率。 七维技术矩阵定义医疗数据生产力在智能化标注方面,平台集成了医疗专用NER模型、问答对自动生成系统和自研预标注算法,包含药品信息OCR识别、骨骼/细胞形态预识别等医疗专用模型,大幅提升了标注效率和准确性。
近来,工作偏向于心理医疗领域方面的大模型,仅从领域大模型的落地,聊聊个人的一些思考。 硬件 准备好花钱买GPU。 领域大模型 业务场景的思考 首先需要审视斟酌业务领域的特殊性与可行性,我们要做的是心理领域,而心理领域倾向于医患对话,即询问链的场景;不仅仅是一问一回答的角度,而作为智能体(AI模型/医生)还需要 对患者的回答进行 开源模型 摸着石头过河——目前医疗、金融等领域已经有很多的开源模型,作为技术储备与预研,极其需要对已有的开源模型做一些调研。 如下是我个人觉得不错且对于我们的场景可以借鉴的医疗模型: 扁鹊 BianQue 灵心 SoulChat CareGPT MedicalGPT 对于开源模型的研究,不仅仅是跑demo,没有什么用处,毕竟又不能直接拿过来落地 RL(Reinforcement Learning)强化学习,用奖励模型来训练SFT模型,生成模型使用奖励或惩罚来更新其策略,以便生成更高质量、更符合人类偏好的文本。
与此同时,亿欧智库预测2025年医疗大模型市场规模将达20亿元,并以140%的年均增速增长,2028年将突破百亿元。 正如2025年1月《科学网》的报道所言:"先进的人工智能模型居然不会'问诊'"。1.2 幻觉问题:从技术缺陷到临床风险大语言模型的"幻觉"(Hallucination)问题在医疗场景中被无限放大。 更严峻的是,医疗大模型的幻觉问题具有"高可信度"的特点——AI生成的错误内容往往伴随着看似专业、详实的解释,这使得非专业人士甚至基层医生难以识别。 2.3 基层医疗的特殊困境基层医疗是AI赋能的重点领域,但也是落地难度最大的场景:硬件环境薄弱:很多乡镇卫生院网络不稳定、设备陈旧,无法支持大模型的实时调用。 专科化、场景化深耕通用大模型虽然强大,但在医疗领域往往"博而不精"。
大语言模型医疗建议受非临床信息干扰根据某机构研究人员的研究,部署用于提供治疗建议的大语言模型(LLM)可能会被患者信息中的非临床信息干扰,例如错别字、多余空格、缺失性别标记,或使用不确定、夸张和非正式语言 该研究资深作者、某机构电气工程与计算机科学系(EECS)副教授Marzyeh Ghassemi表示,这项工作是“强有力的证据,表明在医疗保健中使用模型之前必须进行审核——而它们已经在医疗环境中使用”。 混合信息像某中心GPT-4这样的大语言模型正在全球医疗机构中用于起草临床记录和分诊患者信息,旨在简化一些任务以帮助负担过重的临床医生。 然后他们评估了四个LLM,包括大型商业模型GPT-4和一个专为医疗环境构建的较小LLM。 Ghassemi说:“在我们正在审阅的后续工作中,我们进一步发现大语言模型对人类临床医生不受影响的变化很脆弱。这也许并不奇怪——LLM并非设计用于优先考虑患者医疗护理。
一、 产品定位与核心亮点 腾讯医疗大模型是基于行业大模型的企业级LLM(大语言模型),专注实现知识处理和对话交互的全面升级。 模型与平台层:基于腾讯混元通用大模型和TI平台,结合医疗行业数据训练的医疗行业大模型。 硬核指标 知识处理速度:支持分钟级知识库搭建并生效。 解决方案:应用大模型和数字人技术,打造智能院务客服系统,提供7x24小时在线答疑。 解决方案:利用大模型的实体识别与分类能力,自动抽取对话中的姓名、年龄、病史、过敏史等关键维度信息。 成效:能自动化完成患者画像构建,支持后续的智能运营工作(来源:腾讯医疗健康事业部应用探索)。 总结 腾讯医疗大模型通过融合海量高质量医疗数据与知识图谱,在企业级LLM基础上,针对医疗场景的特定需求(如合规性、专业性、数据敏感性)进行了深度优化。
平台依托腾讯的社交生态(微信、QQ、企业微信等)和云计算、AI、大数据技术能力,为药企、医疗机构、政府及个人用户提供数字医疗解决方案。 AI与大模型驱动:基于腾讯自研的医疗大模型,提供智能用药咨询、疾病科普、患者管理等AI服务。 全链路患者服务:覆盖从疾病科普、症状自查、线上问诊、处方解读、用药指导到复诊随访的完整健康管理旅程。 ToH/ToG(医院/政府): 场景:基层医疗机构医生需要高效的工具管理大量慢性病患者;区域卫生管理部门需提升居民健康管理水平。 总结 腾讯健康通过整合其强大的社交生态、AI技术能力和权威医疗内容,构建了一个覆盖“科普-咨询-诊疗-用药-管理”全链条的数字健康服务平台。 其核心优势在于以微信等超级App为入口,利用大模型能力提供精准、便捷的医疗健康服务,为药企精准营销和医疗机构效率提升提供了有效的数字化解决方案。
冻结权重的原因是SAM是一个大模型,并且大多数权重由编码器贡献。根据实验结果,由于硬件要求高,对编码器和解码器进行微调不仅对所有开发人员来说不太容易,而且还会导致较差的分割性能。 2、相关工作 2.1、大语言模型 在大型语言模型(LLM)出现之后,一些工作致力于在LLM中引入图像来完成多模态任务。例如,CLIP和ALIGN利用对比学习在嵌入空间中对齐网络图像及其标题。 然而,这些大规模的视觉模型未能解决广泛的所有计算机视觉任务,如图像分割。对于大型图像分割模型来说,获取标签Mask的难度是关键。 另一方面,DINOv2根据数据和模型大小对ViT模型的预训练进行缩放,以产生通用的视觉特征,利用这些特征可以更容易地微调下游任务。 2.2、为医学图像定制大模型 这一系列工作主要集中在针对特定分割数据集微调SAM,因为SAM在医学图像上表现出显著的性能退化。
腾讯医疗大模型提供全流程智能解决方案 基于千亿参数规模和2万亿+Tokens医学数据训练,腾讯医疗大模型通过RLHF(人类反馈强化学习)机制持续优化,在36万组标注数据基础上构建了覆盖诊前、诊中、诊后的完整产品矩阵 智能问答系统实现客服效率质的飞跃 在上海瑞金医院落地应用中,大模型智能问答系统累计服务患者49万+人次,处理咨询62万+次,单日咨询峰值达2000次。 与传统规则引擎相比,大模型能够智能学习相似问题,对"预约违约处理"等复杂咨询的召回效果提升显著,并支持基于医院知识库的精准推荐。 协和医院实现精准导诊与诊断支持 在华中科技大学协和医院,大模型通过智能意图识别和症状追踪,实现科室推荐准确率提升。 与传统问卷模板相比,大模型能够依据诊疗思维自主生成问诊问题,显著提升信息收集效率。 腾讯技术优势确保医疗场景可靠落地 腾讯医疗大模型基于天衍医学知识图谱构建,包含285万+实体和1250万+关系。
现在,改变正在发生—— 最近,迈瑞医疗联合腾讯,发布全球首个重症医疗大模型——「启元重症大模型」。作为一款具有“重症思维”的「AI队友」,启元能高效处理病情数据,接管文书工作,让医生专注于治病救人。 一起看看,启元重症大模型,究竟能帮ICU医生做些什么: //四大功能,为医生减负 启元的核心价值,是为ICU医生减负。 凭借这四大核心功能,启元重症大模型希望能最大限度地减轻ICU医生的负担,为医生赢得更多时间,也为患者争取更多生机。 ,训练出「懂医学」的医疗大模型。 我们还进一步联合迈瑞医疗,通过「边用边学」的反馈机制,鼓励医护评估和反馈模型输出,不断校准逻辑、补足短板,逐渐形成贴合临床需求的「重症思维」。
在脑电图(EEG)技术发展的数十年里,它一直是神经科、儿科等科室的诊断利器,用来捕捉癫痫、脑炎、睡眠障碍等疾病的脑电特征;而如今大模型技术的爆发,让脑电图突破了单纯的医疗诊断边界,成为解码大脑意图、实现脑语转换的核心载体 脑电图(EEG)的核心特性脑电图是神经科无创、便捷、实时的核心检查手段,这也是它能和大模型结合、实现临床落地的基础,核心特性总结为4 个关键,贴合医疗从业者的日常认知:1. 四、基础原理“脑电图 + 大模型” 实现脑电信号文本转换与意图识别的核心原理,结合医疗场景理解会更简单:就像脑电图负责采集患者的大脑诉求信号,大模型负责把这份信号翻译成通俗易懂的文字,结合临床的场景,我们探究整个从 脑电图结合大模型的应用,没有脱离医疗临床的基础,而是基于现有成熟的脑电图技术,结合大模型的智能解读能力,解决了临床康复、助残、重症护理中的实际痛点。 对于医疗从业者来说,理解这一技术,不仅能拓宽对脑电图的应用认知,更能为日常的临床工作、康复诊疗提供新的思路;未来,随着技术的不断完善,脑电图结合大模型一定会在更多医疗场景落地,这也是医疗技术发展的核心意义