python在键和值中包含多列的字典

Question

我正在研究一个优化问题，需要创建索引来建立一个混合整数的数学模型。我正在使用python字典来完成这项任务。下面是我的数据集的示例。如果这一点重要的话，完整的数据集预计将有大约400 K行。

# sample input data
pd.DataFrame.from_dict({'origin': {0: 'perris', 1: 'perris', 2: 'perris', 3: 'perris', 4: 'perris'}, 
'dest': {0: 'alexandria', 1: 'alexandria', 2: 'alexandria', 3: 'alexandria', 4: 'alexandria'}, 
'product': {0: 'bike', 1: 'bike', 2: 'bike', 3: 'bike', 4: 'bike'}, 
'lead_time': {0: 4, 1: 4, 2: 4, 3: 4, 4: 4}, 'build_time': {0: 2, 1: 2, 2: 2, 3: 2, 4: 2}, 
'ship_date': {0: '02/25/2022', 1: '02/26/2022', 2: '02/27/2022', 3: '02/28/2022', 4: '03/01/2022'}, 
'ship_day': {0: 5, 1: 6, 2: 7, 3: 1, 4: 2}, 
'truck_in': {0: '03/01/2022', 1: '03/02/2022', 2: '03/03/2022', 3: '03/04/2022', 4: '03/07/2022'}, 
'product_in': {0: '03/03/2022', 1: '03/04/2022', 2: '03/05/2022', 3: '03/06/2022', 4: '03/09/2022'}})

数据帧看起来是这样的-

​

​

我希望从这个数据的每一行生成一个字典，其中键和值是由多个列值组成的元组。输出结果会是这样-

(origin, dest, product, ship_date): (origin, dest, product, truck_in)

# for example, first two rows will become a dictionary key-value pair like
{('perris', 'alexandria', 'bike', '2/25/2022'): ('perris', 'alexandria', 'bike', '3/1/2022'),
('perris', 'alexandria', 'bike', '2/26/2022'): ('perris', 'alexandria', 'bike', '3/2/2022')}

我对python非常陌生，不知道如何做到这一点。任何帮助都是非常感谢的。谢谢!

Answer 1

您可以循环遍历DataFrame。

假设您的DataFrame被称为"df“，这将给您dict。

result_dict = {}
for idx, row in df.iterrows():
    result_dict[(row.origin, row.dest, row['product'], row.ship_date )] = (
                 row.origin, row.dest, row['product'], row.truck_in )

由于遍历400 k行将花费一些时间，因此请查看tqdm (https://tqdm.github.io/)以获得一个进度条，其中包含一个时间估计，快速告诉您该方法是否适用于您的数据集。

另外，请注意，400 K的字典条目可能占用了大量的内存，因此您可以尝试估计这个字典是否适合您的内存。

另一种，记忆腰围但速度更快的方法是用Pandas来做。

创建具有字典值的新列

df['value'] = df.apply(lambda x: (x.origin, x.dest, x['product'], x.truck_in), axis=1)

然后设置索引并转换为dict。

df.set_index(['origin','dest','product','ship_date'])['value'].to_dict()

Answer 2

下面的方法将初始的dataframe拆分为两个数据流，它们将是字典中键和值的来源。然后将它们转换为数组，以便尽快避免使用数据文件。数组被转换为元组，并压缩到一起创建键:值对。

import pandas as pd
import numpy as np

df = pd.DataFrame.from_dict(
    {'origin': {0: 'perris', 1: 'perris', 2: 'perris', 3: 'perris', 4: 'perris'}, 
'dest': {0: 'alexandria', 1: 'alexandria', 2: 'alexandria', 3: 'alexandria', 4: 'alexandria'}, 
'product': {0: 'bike', 1: 'bike', 2: 'bike', 3: 'bike', 4: 'bike'}, 
'lead_time': {0: 4, 1: 4, 2: 4, 3: 4, 4: 4}, 'build_time': {0: 2, 1: 2, 2: 2, 3: 2, 4: 2}, 
'ship_date': {0: '02/25/2022', 1: '02/26/2022', 2: '02/27/2022', 3: '02/28/2022', 4: '03/01/2022'}, 
'ship_day': {0: 5, 1: 6, 2: 7, 3: 1, 4: 2}, 
'truck_in': {0: '03/01/2022', 1: '03/02/2022', 2: '03/03/2022', 3: '03/04/2022', 4: '03/07/2022'}, 
'product_in': {0: '03/03/2022', 1: '03/04/2022', 2: '03/05/2022', 3: '03/06/2022', 4: '03/09/2022'}}
     )
#display(df)

#desired output: (origin, dest, product, ship_date): (origin, dest, product, truck_in)

#slice df to key/value chunks
#list to array
ship = df[['origin','dest', 'product', 'ship_date']]
ship.set_index('origin', inplace = True)
keys_array=ship.to_records()
truck = df[['origin', 'dest', 'product', 'truck_in']]
truck.set_index('origin', inplace = True)
values_array = truck.to_records()

#array_of_tuples = map(tuple, an_array)
keys_map = map(tuple, keys_array)
values_map = map(tuple, values_array)

#tuple_of_tuples = tuple(array_of_tuples)
keys_tuple = tuple(keys_map)
values_tuple = tuple(values_map)

zipp = zip(keys_tuple, values_tuple)
dict2 = dict(zipp)
print(dict2)