十一、机器人技术中的强化学习 到目前为止,我们已经看到了强化学习在 AlphaGo,自动驾驶,项目组合管理等方面的进步。 研究表明,强化学习可以提供认知特征,例如动物行为。 与认知科学的紧密比较将是动态机器人系统和自动驾驶中强化学习的许多成功实现。 他们证明了将强化学习算法用于物理系统实时控制的理论。 在本章中,我们将介绍机器人强化学习背后的挑战以及当前如何实现机器人强化学习。 在这里,我们将讨论 Paulus 等人(2017 年 11 月)的研究出版物《抽象摘要的深度强化模型》。 https://gitcode.net/apachecn/apachecn-dl-zh/-/raw/master/docs/rl-tf/img/e4d36e9d-d37f-4cc4-8a7e-d48fcf9a11d4
然而,有很多问题不能使用反向传播算法, 例如在强化学习(RL)中,虽然也可以训练神经网络来做出决策,通过执行一系列 action 来完成环境中的某些任务。 Learning 推荐阅读 历史技术博文链接汇总 http://www.jianshu.com/p/28f02bb59fe5 也许可以找到你想要的: [入门问题][TensorFlow][深度学习][强化学习
Sheraz Gul和Alp Sahin概述了一种可加速表观遗传学药物发现的AI方法。 ? 人工智能(AI)正在推动药物发现。其应用的一个目标是将药物发现的临床前阶段从通常的五年缩短到不到一年。 这将涉及设计具有优良的物理化学、ADMET,药代动力学和药效学性质以及新知识产权的化合物。设计的化合物应适合于体内研究,并且必须利用靶标的所有可用知识。本文涉及该方法在加速表观遗传药物发现中的应用。 在表观遗传学药物靶标类别中,主要分为三类:writers, readers and erasers。writers通过添加包括乙酰基、磷酰基和甲基在内的化学基团来“标记”组蛋白和DNA。 2 确定药物靶标的优先次序 根据文献和数据库确定药物靶标的优先级,重点是:a)现有批准的药物(DrugBank),b)临床试验中的药物,c)结构信息和d)可药物治疗性。 亿万亿级人工智能的应用(即超级计算机实现的速率)将允许a)准备化学可访问化合物的虚拟库,以增加项目技术成功的可能性,b)通过结构并行对接至定义的靶标对象信息,以及偏离靶标的信息;以及c)由AI驱动的结果分析和新型化合物设计
1 导读 化学成分具有定性特征,即使是最小的变化也会表现出不同的特性.
这里有很多形象的图,方便理解强化学习的公式白话强化学习,有空了可以来看 强化学习-11:Matlab RL ?
在药物研发的早期阶段,药物化学研究的质量与效率往往决定着整个项目的推进节奏。对于科研人员而言,如何在化合物发现、优化到临床前候选化合物确定的全流程中提升效能,是绕不开的核心课题。 早期研发关键环节的实操要点早期药物化学研究涉及多个紧密衔接的环节,每个环节的技术选择与执行细节都至关重要。在活性化合物发现阶段,高通量筛选技术与基于结构的设计方法的结合已成为主流。 在药物研发的漫长进程中,每个环节的细微优化都可能带来质的飞跃。以上实践经验或许能为科研人员提供一些参考,让早期药物化学研究在高效与规范的轨道上稳步前行。
所以,对于药物相互作用的预测研究是有重要意义的,不仅能够减少非预期药物相互作用的情况,还能降低药物开发成本,以及优化药物设计过程。 针对这些局限性,近期哈佛大学的Kexin Huang等人提出了CASTER(ChemicAl SubstrucTurE Representation)模型,根据给定药物化学结构预测DDI,并且能对预测提供可解释性 方法 CASTER通过三个模块很好地缓解之前计算模型的局限性:(1)基于DDI机制的序列模式挖掘模块,有效地描述药物的功能子结构(2)自编码模块 ,利用标签数据和无标签的化学结构数据来提高模型的准确性和通用性 训练过程 使用无标签的药物-药物和药物-食物对来对自编码模块和字典学习模块进行预训练,编码器可以学习任意化学结构的最有效的表示。 使用有标签的数据集微调DDI预测的整个学习流水线。 结论 本文在药物相互作用的化学机制的启发下,提出了一个新的DDI预测计算框架CASTER,它是一个端到端的字典学习框架,包含了DDI预测的具体表示。
李仲深 论文题目 Chemspace Atlas: Multiscale Chemography of Ultralarge Libraries for Drug Discovery 论文摘要 如今,药物的发现不可避免地要使用包含大量化合物的数据库 了解它们的化学组成和物理化学性质对于靶点识别至关重要。高效的多功能工具可以对不断增长的化学库进行多方面分析,但它们必须配合大量数据使用。 在这里,作者公开了可以免费访问的Chemspace Atlas,其中包括近4万个分层次的生成式拓扑映射(GTM),可容纳多达5亿的化合物,包括类片段、类先导化合物、类药物、类PPI和类NP的化学子空间。 大约有20种物理化学性质和近750种生物活性可被可视化,支持活性图谱分析和模拟搜索。此外,Chemspace Atlas以后将扩展新的化学子空间(如DNA编码文库和合成子)和官能团。
编·译作者 | 王建民 深度学习在计算化学和材料信息学领域兴起,深度学习可以有效地应用于化学结构及其性能之间的关系建模。随着化学和材料数据的增长,深度学习模型可以开始优于传统的机器学习技术。 本文最近发表在《Journal of Chemical Information and Modeling》用于计算化学和药物设计的深度学习工具包OpenChem,一个基于PyTorch的深度学习工具包, 用于计算化学和药物设计。 OpenChem是具有PyTorch后端的用于计算化学和药物设计的深度学习工具包。 OpenChem库的创建是为了使深度学习算法的高性能实现能够用于药物发现和分子建模应用。OpenChem基于PyTorch框架构建,针对在GPU和大数据集上执行进行了优化。
在药物研发的漫长征程中,从苗头化合物(Hit)到先导化合物(Lead),再到开发候选化合物(Development Candidate, DC)的优化过程,犹如一场分子层面的“进化之旅”。 本文将深入解析该研究的核心方法,揭示如何通过分子网络与优化子解码,让药物优化逻辑从模糊走向清晰。 一、研究方法:从分子网络到优化子的解码工具 1. • 外部数据集:整合Hopkins(分子对)、Brown(Hit-DC对)、Perola(Lead-药物对)公开数据,验证LLE、MC等趋势的普适性。 五、结语:当“分子网络”遇见“逆向思维” 这项研究通过系统性方法创新,将药物优化从“艺术”推向“科学”——从DC逆向解构优化逻辑,用网络参数量化分子进化路径,以优化子解析修饰策略。 这些方法不仅适用于药物研发,还可拓展至催化剂、功能材料等领域的优化场景。
王建民 韩国蔚山科学技术学院化学系的Bartosz A. 化学工业继续产生大量的废弃化学品,开发 "循环化学 "方法,将这些不受欢迎的材料中的至少一部分有成效地转化为有价值的产品是至关重要的。 人类化学家可能没有能力追踪所有这些合成,并选择那些也符合工艺和 "绿色 "化学标准的合成。 Grzybowski教授和他的研究团队说明了具有广泛合成知识的计算机如何帮助解决这个问题。 研究人员使用前向合成Allchemy平台,从商业规模回收的约200种废弃化学品中创建了大规模的合成网络。 然后,他们从这些网络中收集了数万条通往约300种初级药物和农用化学品的路线,并根据标准的可持续化学指标对这些合成进行算法分级。
基于表型的药物筛选方法关注化学分子在细胞、组织、整体动物水平上的响应,可以提供对疾病机制的全面理解,在药物研发中发挥重要作用。 化学微扰转录组能够提供对药物作用机制更全面的理解,但数据中固有噪声往往掩盖了真正的扰动信号,从中提取有意义的信息具有挑战性,阻碍了化学微扰转录组在药物筛选中的应用。 中国科学院上海药物研究所郑明月课题组提出了基于自监督表征学习的深度生成模型TranSiGen(Transcriptional Signatures Generator),学习化学微扰转录组表征用于药物表型筛选 该模型从细胞基因表达和分子结构以高精度预测化学微扰转录组,相应的微扰表征在基于配体的虚拟筛选、药物响应预测和基于表型的药物重定向等下游任务中展现出有效性。 下游任务3:基于表型的药物重定向 将化学微扰转录谱与疾病联系起来有助于识别治疗特定疾病的潜在化合物。本节中将TranSiGen整合到基于表型的药物重定向流程,用于筛选治疗胰腺癌的候选化合物。
生成式药物设计有助于创造出有效对抗致病靶蛋白的化合物。这为在广阔的化学空间中发现新型化合物提供了可能,并促进了创新治疗策略的开发。 研究人员用三个模块实现了TamGen:(1) 化合物解码器,这是一个类似于GPT的化学语言模型,也是TamGen的核心组件,为在化学空间生成化合物奠定了基础;(2) 蛋白质编码器,这是一个基于Transformer 而生成式药物设计则可以探索广阔的化学空间,估计这个空间包含超过10的60次方个潜在化合物。 这种方法有望发现一些未被充分研究的化合物类别,以及不在现有库中的新型化合物。 另外,即使采用多种虚拟筛选技术,在如此庞大的化学空间中针对不同靶点进行筛选仍需要大量计算资源和时间,同时需考虑模型准确率的影响。 TamGen是一种高效的人工智能化合物生成方法,能加速药物发现过程并探索更广阔的化学空间。其成功源于三大因素:预训练模型提供的化学知识、有效的结合口袋表示法,以及基于变异自动编码器的上下文解码器。
本讲我们关注on-policy control问题,这里采用参数化方法逼近action-value函数。主要介绍的semi-gradient Sarsa算法是对上一章中介绍的semi-gradient TD(0)的一种扩展。在episodic任务中,这种扩展十分直观,但是对于continuing的情况,我们需要再次考虑对于discounting方法来定义一个最优策略的方式。而当我们使用函数逼近的时候需要放弃discounting并且转到一个新的average-reward的控制机制。
Abstract Reinforcement learning (RL) has recently been introduced to interactive recommender systems (IRS) because of its nature of learning from dynamic interactions and planning for longrun performance.
传统AI模型往往将活性悬崖化合物视为统计异常值,而未能充分利用其在药物设计中的关键价值。 针对这一问题,作者提出了活性悬崖感知强化学习框架(ACARL),首次将活性悬崖现象显式整合到AI驱动的分子生成过程中。 实验表明,ACARL在多个靶点蛋白的分子生成任务中显著优于现有方法,为药物发现提供了更精准的设计工具。 背景与挑战 基于AI的全新药物设计通过生成具有特定生物活性的分子,加速了传统药物开发流程。 活性悬崖示例 方法创新 ACARL通过两项核心技术解决了上述问题: 活性悬崖指数(ACI):定量衡量分子对的SAR不连续性,结合Tanimoto距离和活性差异(如结合亲和力),动态识别活性悬崖化合物; 对比强化学习损失函数 ; 灵活性:支持单目标(如结合亲和力)和多目标(如结合亲和力+QED+SA)优化,适配真实药物设计需求。
前不久,来自北卡罗来纳大学埃谢尔曼药学院的一个团队创造了一种人工智能方法 ReLeaSE,能够从零开始自学设计新型药物分子。近日,该研究已被发表在 Science Advances 上。 ? DOI: 10.1126/sciadv.aap7885 北卡罗来纳大学埃谢尔曼药学院(UNC Eshelman School of Pharmacy)创造的人工智能方法能够从零开始自学设计新型药物分子, 这有望大幅加快新型药物的研发速度。 ReLeaSE 是一种强大的药物虚拟筛选工具,这种计算方法已经被制药业广泛用于确定可用的候选药物。虚拟筛选让科学家可以评估现有的大型化学库,但该方法只对已知的化学物质有效。 基于深度学习和强化学习方法,ReLeaSE集成了两个深度神经网络——生成和预测神经网络,这两个神经网络被单独训练,但都用于生成新的目标化学库。
药物化学和制药行业以外的人可能不知道,新药研发项目中,每天都会有新产物被制造出来,其目的是发现能够治疗或治愈疾病的新化学实体。 目前,在不断扩大的药物化学合成工具箱中,有几百种不同类型的反应可供选择。 开发这样的工具是一个值得称道的举措,因为接受过有机合成和计算方法培训的化学家的工作描述正在合并到未来药物化学家的定义中。这种合并的过程在过去是有些不平衡的。 虽然有机化学家已经被提供了大量的分子设计工具,但帮助计算化学家进行合成化学的工具较少。为了影响药物化学实验室合成哪些分子,计算化学家需要学会与有机化学家说同一种语言。 未来,药物化学家需要同时精通计算机辅助分子设计和化学合成。 ? 人工智能和机器学习有望在药物发现中发挥关键作用,但也存在一些开放的挑战。当前深度学习方法的一个关键问题是它们需要大量的数据来学习。
本文对近年来 (2020年1月至今) GSK在AI药物研发方面的11篇论文 (不完全统计) 进行整理。 深度度量学习在分子图相似性中的应用 Coupry DE, Pogány P. 几十年来,量化化学结构的相似性一直被频繁用于药物发现,并且经常被用作先导化合物优化的设计原则。 基于图的方法在化学和药物发现中越来越重要,其应用范围从QSAR到分子生成。 human inclusion测试探索了三种算法重现GSK药物化学家想法的能力(化学家的想法被用作测试集,以探索算法复制药物化学家探索化学空间方法的能力);human imitation测试探讨了药物化学家如何感知额外的算法生成的想法 (从图灵测试中获得灵感,并请药物化学家对人类和计算机的想法进行评分,以确定两个数据集的可信度是否存在差异);legacy projects测试探索了三种算法围绕一个先验的起始结构生成一个广泛但与生物相关的化学空间的能力 其中一个基于匹配分子对的分子生成算法在所有测试中都表现出色,因此为机器驱动的药物化学设计工作流程提供了一个有价值的组成部分。
Novo Drug Design Using Reinforcement Learning with Graph-Based Deep Generative 论文摘要 机器学习采用深度生成模型为探索化学空间提供了有效的计算工具 在这里,本文提出了一种新的强化学习方案,对基于图的深度生成模型微调来解决分子设计任务。 本文探索了以下任务:生成大小增大/减小的分子,增加药物相似度,增加生物活性。