首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >计算时间折现值的平均值

问计算时间折现值的平均值
EN

Code Review用户
提问于 2021-11-30 20:18:55
回答 1查看 70关注 0票数 2

鉴于目前的表格:

代码语言:javascript
复制
+------------+-------+
|    date    | value |
+------------+-------+
| 01/01/2000 |     1 |
| 03/04/2000 |     3 |
| 05/08/2000 |     4 |
| 07/11/2000 |     2 |
+------------+-------+

对于每个date,我希望得到前一个日期的平均值,其中每个值都按时间因子折现。时间因数计算如下:

代码语言:javascript
复制
discount_constant ** (date - date_of_value)

因此,如果我想计算07/11/2000的平均值,那么首先要得到05/08/2000的时间折扣值:

代码语言:javascript
复制
date_diff_0508 = 07/11/2000 - 05/08/2000
time_discount_0508 = discount_constant ** date_diff
time_discounted_value_0508 = time_discount * 4

然后是03/04/2000的时间折扣值。

代码语言:javascript
复制
date_diff_0304 = 05/08/2000 - 03/04/2000
time_discount_0304 = discount_constant ** date_diff
time_discounted_value_0304 = time_discount * 3

然后是01/01/2000的时间折扣值。

代码语言:javascript
复制
date_diff_0101 = 03/04/2000 - 01/01/2000
time_discount_0101 = discount_constant ** date_diff
time_discounted_value_0101 = time_discount * 1

在td = time_discount和tdv = time_discount_value的情况下,我可以按以下方式计算平均值:

代码语言:javascript
复制
sum_tdv = sum([tdv_0508, tdv_0304, tdv_0101])
sum_td = sum([td_0508, td_0304, td_0101])
avg_stat = sum_tdv / sum_td

最后的产出是:

代码语言:javascript
复制
+------------+-------+-----------------------+
|    date    | value |  avg_discounted_value |
+------------+-------+-----------------------+
| 01/01/2000 |     1 |                  NULL |
| 03/04/2000 |     3 |                1.0000 |
| 05/08/2000 |     4 |                2.0465 |
| 07/11/2000 |     2 |                2.7732 |
+------------+-------+-----------------------+

但实际上,由于实际表中有一个class列,并且时间折扣平均值需要由class计算,因此还有另一层复杂性。以下是最后的产出:

代码语言:javascript
复制
+------------+-------+-------+-----------------------+
|    date    | class | value |  avg_discounted_value |
+------------+-------+-------+-----------------------+
| 01/01/2000 |     1 |     1 |  NULL                 |
| 03/04/2000 |     1 |     3 |  1.0000               |
| 05/08/2000 |     1 |     4 |  2.0465               |
| 07/11/2000 |     1 |     2 |  2.7732               |
| 01/01/2000 |     2 |     2 |  NULL                 |
| 03/04/2000 |     2 |     7 |  2.0000               |
| 05/08/2000 |     2 |     3 |  4.6162               |
| 07/11/2000 |     2 |     9 |  4.0150               |
+------------+-------+-------+-----------------------+

通过for循环,我目前查询一个数据库,提取每个class的所有记录,并将它们转换为字典:

代码语言:javascript
复制
values_by_date = [
    {"datetime": dt.datetime(2000, 1, 1), "value": 1},
    {"datetime": dt.datetime(2000, 4, 3), "value": 3},
    {"datetime": dt.datetime(2000, 8, 5), "value": 4},
    {"datetime": dt.datetime(2000, 11, 7), "value": 2},
]

然后在上面运行以下代码:

代码语言:javascript
复制
import copy

discount_constant = 0.999
desc_values_by_date = sorted(values_by_date, key=lambda d: d["datetime"], reverse=True)
iter_values_by_date = copy.deepcopy(desc_values_by_date)
for isbd in iter_values_by_date[:-1]:
    del desc_values_by_date[0]
    for dsbd in desc_values_by_date:
        date_diff = (isbd["datetime"] - dsbd["datetime"]).days
        dsbd["discount_factor"] = discount_constant ** date_diff
        dsbd["discount_value"] = dsbd["discount_factor"] * dsbd["value"]
    sum_discount_factor = sum(dsbd["discount_factor"] for dsbd in desc_values_by_date)
    sum_discount_value = sum(dsbd["discount_value"] for dsbd in desc_values_by_date)
    avg_discounted_value = sum_discount_value / sum_discount_factor
    # some code to update the original database record with avg_discounted_value

一些补充说明:

  1. 在数据库表中有大约100万条记录,大约有50k个class变体,每一个都有1- 2000条记录。
  2. 对class列进行索引
  3. 在我的代码的非MRE版本中,我已经使用了并行处理。

上面的过程可能需要几分钟,目前有100多个不同的value列,所以整个过程可能需要几个小时才能运行。

我一直在读关于如何使用numpy来利用矢量化和加速循环。但是,我发现的示例相当简单,我无法将它们推断为上述解决方案,特别是当我的终点是将计算值插入数据库时。我还意识到,我使用Python进行思考,解决方案实际上可能在于通过SQL查询将所有计算保留在数据库中。

解决方案的想法:

  1. 在“每个class”的基础上使用numpy和矢量化
  2. 同时对所有class变体使用numpy和矢量化
  3. 将所有内容转换为单个SQL UPDATE查询。

在座的人会对最好的方法有什么想法吗?

EN

回答 1

Code Review用户

发布于 2021-12-06 20:36:21

您期望date和date_of_value的减法是小数天。这不像你想的那样:

代码语言:javascript
复制
date_diff = (isbd["datetime"] - dsbd["datetime"]).days

而不是总小数天数,这产生了一个时间三角洲的“天”字段。相反,您需要将某一天的另一个timedelta除以。这似乎会产生同样的结果,直到您将非午夜时间引入您的数据。他们不是一回事。

使用Numpy和Pandas将允许您向向量和避免循环。

我不明白为什么你认为滚动平均值中应该有一个NULL。当然,第一行的平均折扣值应该等于该日期的折扣值。

通过for循环,我当前查询一个数据库,提取每个类的所有记录,并将它们转换为字典:

听起来不是个好主意。避免使用中间字典,并使用内置SQL支持的Pandas,或者更有可能的是,只运行一个SQL查询,该查询将完成与您当前在Python中所做的计算相同的工作。

如果您决定在应用程序中使用计算,我希望类似于

代码语言:javascript
复制
from datetime import date

import numpy as np
import pandas as pd


ONE_DAY = pd.to_timedelta(1, 'd')


def running_discount(
    df: pd.DataFrame,
    discount_factor: float = 1e-3,
) -> None:
    delta = (df.date.iloc[-1] - df.date) / ONE_DAY
    weights = (1 - discount_factor) ** delta

    def weighted_mean(value: pd.Series) -> float:
        return np.average(value, weights=weights[value.index])

    mean = (
        df.groupby('class')
        .value
        .expanding()
        .apply(weighted_mean)
    )
    df['avg_discounted_value'] = mean.droplevel(0)


def test() -> None:
    cat_type = pd.CategoricalDtype((1, 2))

    df = pd.DataFrame({
        'date': (
            date(2000, 1, 1), date(2000, 3, 4), date(2000, 5, 8), date(2000, 7, 11),
            date(2000, 1, 1), date(2000, 3, 4), date(2000, 5, 8), date(2000, 7, 11),
        ),
        'value': (
            1, 3, 4, 2,
            2, 7, 3, 9,
        ),
        'class': pd.Series(
            (
                1, 1, 1, 1,
                2, 2, 2, 2,
            ), dtype=cat_type,
        )
    })

    running_discount(df)

    assert np.all(np.isclose(
        df.avg_discounted_value.to_numpy(),
        (
            1.000000, 2.031505, 2.730338, 2.529812,
            2.000000, 4.578763, 4.018289, 5.386094,
        )
    ))

    print(df)


if __name__ == '__main__':
    test()

结果和你的不一样,那是故意的。使用上面的示例,生成的dataframe如下所示

代码语言:javascript
复制
         date  value class  avg_discounted_value
0  2000-01-01      1     1              1.000000
1  2000-03-04      3     1              2.031505
2  2000-05-08      4     1              2.730338
3  2000-07-11      2     1              2.529812
4  2000-01-01      2     2              2.000000
5  2000-03-04      7     2              4.578763
6  2000-05-08      3     2              4.018289
7  2000-07-11      9     2              5.386094
票数 1
EN
页面原文内容由Code Review提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://codereview.stackexchange.com/questions/270551

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档