交易中的强化算法

Question

我试图在交易场景中实现一个强化学习算法。以最终利润作为回报，对我来说似乎很自然。然而，在这种情况下，每一个交易插曲，只有一个奖励，在最后获得。是否有任何RL算法只能根据最终奖励来学习？如果这是一个马里奥游戏，我怎么能训练一个网络仅仅基于一个奖励在水平结束，但这取决于所有以前的行动？

我想做的和https://dzone.com/articles/trading-strategies-using-deep-reinforcement-learni非常相似

Answer 1

如果你在quantF SE站点上发布了这篇文章，那里的大多数人都会认为，用机器学习技术是不可能进行交易的。-由于您在评论中链接的线程，您可以验证这一点。-他们所提出的深信不疑的论点与有效市场假说(Fama 1970)和CAPM有关。你可以在原始文章或维基百科上读到更多关于这一点的内容。

关键是EMH是一个科学假设，在某些情况下是成立的。没有更多和更少的。过去几十年的研究在几个市场和结构上证明了这一假设。但Fama后来解决的问题是规模溢价和价值溢价。正因为如此，很多人(比如巴菲特和格雷厄姆)都在传递价值投资(或基本面)策略。

EMH还为ETF大肆宣传奠定了基础。-我不是说这不管用这只是我们唯一可靠的产品，我们必须投资股票市场，以可持续的回报。-如果你想一想ETF是如何运作的，你很快就会明白，一个ETF建立了大量的股票选择。在统计方面:你扩大你的样本，以获得较少的偏差，但你也得到较低的方差。

人工智能实践者试图做的，也是深深相信的是:一个人可能无法通过挑选股票来击败市场，但一台电脑--它是一台优秀的模式识别机器--将能够做到这一点；能够挑选出一个样本--在每个市场情况下都代表着赢家。

要深入研究这个主题，您可以阅读Hsu等人的文章。(2016)。他们确实研究了这是否可能和如何可能。

深度强化学习给我们带来的美妙之处在于，它学会了识别隐藏在数据中的模式，提取特征并学习如何采取行动。这是一步一步的预测和行动。为了更深入地理解这些算法和底层理论，我建议您阅读Sutton和Barto (2018)的书。就像“(深)”里的圣经。

此外，您还应该观看大卫-希尔弗的深度RL课程和由深层的其他研究人员更新。

了解DRL与代码交易的一个很好的起点是由Yang等人撰写的ICAIF 2020论文和Github回购。(2020)，我为我的硕士论文接续。

参考资料

Fama，E. (1970)。有效资本市场:理论与实证研究综述。“金融杂志”，25(2)，383-417。doi:10.2307/2325486

许明伟；莱斯曼，斯特凡；宋明坚；马铁军；约翰逊，约翰尼·E·V. (2016)：弥合金融市场预测的鸿沟:机器学习者与金融经济学家。见:专家系统与应用程序61，第215-234页。

Sutton，Richard S.；Barto，Andrew (2018)：强化学习。介绍一下。第二版。剑桥，MA，伦敦:麻省理工学院出版社(自适应计算和机器学习)。

杨红阳，刘晓阳，小杨，钟，山和瓦利德，安瓦尔，自动化股票交易的深度强化学习:一个整体战略(2020年9月11日)。可在SSRN上获得：https://ssrn.com/abstract=3690996或http://dx.doi.org/10.2139/ssrn.3690996

Answer 2

你所描述的是所谓的“情景学习”。

寻找蒙特卡罗和/或TD Lambda方法。

意见:试图培训一个RL代理，使其真正盈利，而不是打破你的银行将是艰难的。我的理解是，市场的波动更多的是基于定性数据，而不是定量数据。目前，还没有任何模型能够充分理解正在讨论的内容，以准确地用于奖励。GPT-3对很多人有很高的期望，尽管我很怀疑。

认为一个人可以跳到RL中去申请一个没有经验的研究问题是很天真的。我建议尝试尝试CartPole然后LunarLander与ALE (Atari学习环境)，同时通过莎顿学习基础(书)和/或观看大卫西尔弗讲座。