为上下文bandit算法生成人工数据集

Question

我想要生成以下人工数据集来测试上下文bandit算法。在python中完成这个任务最简单的方法是什么？有没有人能给我指出一个演示代码的链接？

K个动作的单位向量θ1，...，θK从Rd均匀绘制。在T个完整迭代的每个迭代t中，首先从∥x|≤1内的均匀分布中采样上下文xt。

Answer 1

如果我没理解错你的问题，你想生成：

1. context xt来自均匀分布
2. K个元素的单位向量，指示选择哪个手臂，也是来自均匀分布

，其中只有一个值被设置为1

这两个任务都可以通过numpy包轻松实现：

1. 使用numpy.random.uniform从任何范围内的均匀分布生成值。
2. 使用numpy.random.randint从均匀分布生成整数，然后使用生成的值将某些列表元素设置为1。