神经网络性能优化

Question

我正在尝试根据报告中提到的症状对医疗报告进行分类。我正在做的步骤是

1)从每个医疗报告中提取症状。

2)创建从所有医疗报告中提取的所有症状的集合，到目前为止总词条为3700。

3)创建一组在这些出院总结中诊断和提到的所有疾病，到目前为止总共有1500个术语。

4)现在我遍历所有的医疗报告，并为每个报告及其诊断创建一个热向量。我有5000份文件。

对于症状，我得到了一个5000X3700的矩阵，其中每行表示一个文档，每列显示一个症状。如果文档中存在症状，则该列的值为1，否则该值为零。

​

​

为了进行诊断，我得到了一个5000 X 1500的矩阵

​

​

I am using a backward propagating neural network for training. The network has 3700 input neurons, 1 hidden layer and 1500 output neurons.

这里的代码是用于创建分类器的http://jrmeyer.github.io/tutorial/2016/02/01/TensorFlow-Tutorial.html。

问题是无论我如何训练它(到目前为止我已经尝试了25000次)，我得到了非常糟糕的结果，

输出具有160+标签的最大概率值(1)，而我期望的是5个标签。

我是否可能做错了什么，或者我应该做些什么来改善结果。

更新:我也尝试用最少的数据(100个文档和85000个历元)来测试网络。

可能导致问题的一个问题是，从每个文档中最多提取15 - 20个术语，因此一个热点向量有20个1和3680个0。有人能建议这是否可能是问题所在吗？

Answer 1

没有足够的细节来了解您的问题和实现，但这是一个很好的起点，可以帮助您了解是否有更多的技术问题(bug、网络体系结构等)或者，数据问题是创建您知道应该适合您的模型的合成数据(伪造一些疾病，每种疾病都有一组症状)

如果模型没有给出预期的结果，很可能是技术问题。如果是这样的话，更有可能是数据问题:也许你的数据太嘈杂，或者底层模型更复杂，或者你没有足够的数据。

Answer 2

下面是几个你可以尝试的东西(尽管这些并不能保证提高性能)：

1. 绘制学习曲线以确定最佳学习率、l2惩罚等。
2. Generate l2 data
3. 增加网络深度