鉴于目前的表格:
+------------+-------+
| date | value |
+------------+-------+
| 01/01/2000 | 1 |
| 03/04/2000 | 3 |
| 05/08/2000 | 4 |
| 07/11/2000 | 2 |
+------------+-------+对于每个date,我希望得到前一个日期的平均值,其中每个值都按时间因子折现。时间因数计算如下:
discount_constant ** (date - date_of_value)因此,如果我想计算07/11/2000的平均值,那么首先要得到05/08/2000的时间折扣值:
date_diff_0508 = 07/11/2000 - 05/08/2000
time_discount_0508 = discount_constant ** date_diff
time_discounted_value_0508 = time_discount * 4然后是03/04/2000的时间折扣值。
date_diff_0304 = 05/08/2000 - 03/04/2000
time_discount_0304 = discount_constant ** date_diff
time_discounted_value_0304 = time_discount * 3然后是01/01/2000的时间折扣值。
date_diff_0101 = 03/04/2000 - 01/01/2000
time_discount_0101 = discount_constant ** date_diff
time_discounted_value_0101 = time_discount * 1在td = time_discount和tdv = time_discount_value的情况下,我可以按以下方式计算平均值:
sum_tdv = sum([tdv_0508, tdv_0304, tdv_0101])
sum_td = sum([td_0508, td_0304, td_0101])
avg_stat = sum_tdv / sum_td最后的产出是:
+------------+-------+-----------------------+
| date | value | avg_discounted_value |
+------------+-------+-----------------------+
| 01/01/2000 | 1 | NULL |
| 03/04/2000 | 3 | 1.0000 |
| 05/08/2000 | 4 | 2.0465 |
| 07/11/2000 | 2 | 2.7732 |
+------------+-------+-----------------------+但实际上,由于实际表中有一个class列,并且时间折扣平均值需要由class计算,因此还有另一层复杂性。以下是最后的产出:
+------------+-------+-------+-----------------------+
| date | class | value | avg_discounted_value |
+------------+-------+-------+-----------------------+
| 01/01/2000 | 1 | 1 | NULL |
| 03/04/2000 | 1 | 3 | 1.0000 |
| 05/08/2000 | 1 | 4 | 2.0465 |
| 07/11/2000 | 1 | 2 | 2.7732 |
| 01/01/2000 | 2 | 2 | NULL |
| 03/04/2000 | 2 | 7 | 2.0000 |
| 05/08/2000 | 2 | 3 | 4.6162 |
| 07/11/2000 | 2 | 9 | 4.0150 |
+------------+-------+-------+-----------------------+通过for循环,我目前查询一个数据库,提取每个class的所有记录,并将它们转换为字典:
values_by_date = [
{"datetime": dt.datetime(2000, 1, 1), "value": 1},
{"datetime": dt.datetime(2000, 4, 3), "value": 3},
{"datetime": dt.datetime(2000, 8, 5), "value": 4},
{"datetime": dt.datetime(2000, 11, 7), "value": 2},
]然后在上面运行以下代码:
import copy
discount_constant = 0.999
desc_values_by_date = sorted(values_by_date, key=lambda d: d["datetime"], reverse=True)
iter_values_by_date = copy.deepcopy(desc_values_by_date)
for isbd in iter_values_by_date[:-1]:
del desc_values_by_date[0]
for dsbd in desc_values_by_date:
date_diff = (isbd["datetime"] - dsbd["datetime"]).days
dsbd["discount_factor"] = discount_constant ** date_diff
dsbd["discount_value"] = dsbd["discount_factor"] * dsbd["value"]
sum_discount_factor = sum(dsbd["discount_factor"] for dsbd in desc_values_by_date)
sum_discount_value = sum(dsbd["discount_value"] for dsbd in desc_values_by_date)
avg_discounted_value = sum_discount_value / sum_discount_factor
# some code to update the original database record with avg_discounted_value一些补充说明:
class变体,每一个都有1- 2000条记录。class列进行索引上面的过程可能需要几分钟,目前有100多个不同的value列,所以整个过程可能需要几个小时才能运行。
我一直在读关于如何使用numpy来利用矢量化和加速循环。但是,我发现的示例相当简单,我无法将它们推断为上述解决方案,特别是当我的终点是将计算值插入数据库时。我还意识到,我使用Python进行思考,解决方案实际上可能在于通过SQL查询将所有计算保留在数据库中。
解决方案的想法:
class”的基础上使用numpy和矢量化class变体使用numpy和矢量化UPDATE查询。在座的人会对最好的方法有什么想法吗?
发布于 2021-12-06 20:36:21
您期望date和date_of_value的减法是小数天。这不像你想的那样:
date_diff = (isbd["datetime"] - dsbd["datetime"]).days而不是总小数天数,这产生了一个时间三角洲的“天”字段。相反,您需要将某一天的另一个timedelta除以。这似乎会产生同样的结果,直到您将非午夜时间引入您的数据。他们不是一回事。
使用Numpy和Pandas将允许您向向量和避免循环。
我不明白为什么你认为滚动平均值中应该有一个NULL。当然,第一行的平均折扣值应该等于该日期的折扣值。
通过for循环,我当前查询一个数据库,提取每个类的所有记录,并将它们转换为字典:
听起来不是个好主意。避免使用中间字典,并使用内置SQL支持的Pandas,或者更有可能的是,只运行一个SQL查询,该查询将完成与您当前在Python中所做的计算相同的工作。
如果您决定在应用程序中使用计算,我希望类似于
from datetime import date
import numpy as np
import pandas as pd
ONE_DAY = pd.to_timedelta(1, 'd')
def running_discount(
df: pd.DataFrame,
discount_factor: float = 1e-3,
) -> None:
delta = (df.date.iloc[-1] - df.date) / ONE_DAY
weights = (1 - discount_factor) ** delta
def weighted_mean(value: pd.Series) -> float:
return np.average(value, weights=weights[value.index])
mean = (
df.groupby('class')
.value
.expanding()
.apply(weighted_mean)
)
df['avg_discounted_value'] = mean.droplevel(0)
def test() -> None:
cat_type = pd.CategoricalDtype((1, 2))
df = pd.DataFrame({
'date': (
date(2000, 1, 1), date(2000, 3, 4), date(2000, 5, 8), date(2000, 7, 11),
date(2000, 1, 1), date(2000, 3, 4), date(2000, 5, 8), date(2000, 7, 11),
),
'value': (
1, 3, 4, 2,
2, 7, 3, 9,
),
'class': pd.Series(
(
1, 1, 1, 1,
2, 2, 2, 2,
), dtype=cat_type,
)
})
running_discount(df)
assert np.all(np.isclose(
df.avg_discounted_value.to_numpy(),
(
1.000000, 2.031505, 2.730338, 2.529812,
2.000000, 4.578763, 4.018289, 5.386094,
)
))
print(df)
if __name__ == '__main__':
test()结果和你的不一样,那是故意的。使用上面的示例,生成的dataframe如下所示
date value class avg_discounted_value
0 2000-01-01 1 1 1.000000
1 2000-03-04 3 1 2.031505
2 2000-05-08 4 1 2.730338
3 2000-07-11 2 1 2.529812
4 2000-01-01 2 2 2.000000
5 2000-03-04 7 2 4.578763
6 2000-05-08 3 2 4.018289
7 2000-07-11 9 2 5.386094https://codereview.stackexchange.com/questions/270551
复制相似问题