keras数据生成器中的id和标签是什么意思？

Question

https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly

上面类似的是关于自定义keras数据生成器的文档。

我对上述连结的“注解”标题有疑问，因为该标题的内容如下：

在开始之前，让我们先了解一些在处理大型数据集时特别有用的组织技巧。

设ID是标识数据集的给定样本的Python字符串。跟踪样本及其标签的一个好方法是采用以下框架：

1. Create a dictionary called partition where you gather:
       a) in partition['train'] a list of training IDs
       b) in partition['validation'] a list of validation IDs

2. Create a dictionary called labels where for each ID of the dataset, the associated label is given by labels[ID]

例如，假设我们的训练集包含id-1、id-2和id-3，标签分别为0、1和2，验证集包含id-4和标签1。

      >>> partition
      {'train': ['id-1', 'id-2', 'id-3'], 'validation': ['id-4']}

和

      >>> labels
      {'id-1': 0, 'id-2': 1, 'id-3': 2, 'id-4': 1}

我真的不能理解labels和id的意思。

例如：-假设我有一个数据框，其中有1000列。每一行对应于ID，也就是说，每个ID只是一个“数据点”。

或

比如说，我有多个数据帧。每个数据帧代表不同的id？

似乎标签的意思不是类变量的数量。

我想通过一些例子来对id和标签有一个清晰的理解。

Answer 1

前面提到的文章为在训练和验证之间更好地组织数据提供了一个很好的实践。为此，将来自dataframe的行索引(在这里称为it)和相应的目标值(在这里称为label )存储在一个独立的对象中，这样在对输入进行转换时，您就不会丢失对事物的跟踪。

以下是使用训练/测试拆分的基本示例

import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.DataFrame([[0.1, 1, 'label_a'], [0.2, 2, 'label_a'], [0.3, 3, 'label_a'], [0.4, 4, 'label_b']], columns=['feature_a', 'feature_b', 'target'])

# df.index.tolist() results in [0, 1, 2, 3] (4 rows)

partitions = dict()
labels = dict()

X_train, X_test, y_train, y_test = train_test_split(df[['feature_a', 'feature_b']], df['target'], test_size=0.25, random_state=42)

partitions['train'] = X_train.index.tolist()
partitions['validation'] = X_test.index.tolist()

# partitions['train'] results in [3, 0, 2]
# partitions['validation'] results in [1]

labels = df['target'].to_dict()

# labels is {0: 'label_a', 1: 'label_a', 2: 'label_a', 3: 'label_b'}```