为特定问题开发深度学习混合体系结构是一项非常复杂的任务。

Question

我目前正在进行深入学习(传感器信号识别)的应用研究。我花了大约一年半的时间对文献进行筛选，并发现了一些研究模式。首先，我注意到了卷积网络(CNN)的出现。个人应用CNN解决他们的问题，并报告了最先进的结果。然后，LSTM被提出，它很快被采纳并被宣布为最先进的。然后，趋势发生了变化；人们开始使用混合架构，并报告了尖端的结果。目前的趋势是把注意力集中在变压器和简单的关注点上，再加上混合深度学习架构，并以新的基线结果发布他们的工作。

根据我的经验，提出一种混合架构，以超越当前的先进成果是相当困难的。具体而言，我对以下几个问题感到困惑：

1-在这一点上，我感到有必要研究一个不同的领域，如计算机视觉，并观察具体的架构是如何应用的。因为它在某种程度上与我的领域有关，而且由于深度学习最初是为自然语言或计算机视觉领域而开发的，人们开始考虑如何将这些新的深度学习架构应用到他们的领域并解决问题。所以，我决定看看其他领域。也许我会发现一种更有效的方法，我可以将它合并到域当前的基本架构中，以改进结果。首先，我完全理解研究论文，然后考虑如何将xyz方法应用到我的场景中。问题是，即使在2021年，数以百计的架构(使用变压器和注意事项)已经出版。理解其他领域的论文并不简单。因此，问题是如何缩小这些论文的范围，并决定应该尝试哪种体系结构、层或模块。2-考虑基于直觉获得体系结构的情况。你就要做实验了。一次运行深度学习代码并取得可接受的结果几乎是不可能的。这几乎肯定需要很大的运气。至少，要验证您的体系结构并确定它是否能够产生比最先进的结果更好的结果，您应该至少运行200次代码，最多运行3000或4000次。然后，您可以从所有迭代中选择最佳结果，并将其与基线进行比较。否则，您将需要稍微修改您的代码并重新运行实验。这是一个漫长的过程，有70%的可能性，你将无法达到最好的结果，使用当时的基准。

3-我从头到尾写了每一行代码。然而，我不能百分之百地肯定我实现了我想要的正确的想法。由于我们使用多个库来实现深度学习架构，我们无法100%地确定我在实现代码中犯了错误，或者我对我的方法有问题。

所以，我们能有一个更好的方法，至少尽量减少这些问题吗？

Answer 1

我可以建议您始终查找与要执行的特定解决方案相关的任何数据集或kaggle问题，并在这些数据集的评估指标中查看具有最佳结果的体系结构。您还可以在https://paperswithcode.com/上查看它们是否有按问题类型标记的文档、与github的链接以及测试该体系结构的问题的排名。祝你好运。