一、Motivating example首先回顾mean estimation:考虑一个random variablcXXX。目标是估计E[X]\mathbb{E}[X]E[X]假设已经有了一系列随机独立同分布的样本{ xi}i=1N\{x_i\}_{i=1}^N{xi​}i=1N​XXX的expection可以被估计为E[X]≈xˉ:=1N∑i=1Nxi \mathbb{E}[X]\approx\bar{x}:=\frac1N\sum_{i=1}^Nx_iE[X]≈xˉ:=N1​i=1∑N​xi​已经知道这个估计的基本想法是Monte Carlo estimation，以及 随着N→∞N\to\inftyN→∞，xˉ→E\bar{x}\to\mathbb{E}xˉ→E这里为什么又要关注mean estimation, 那是因为在强化学习中许多value被定义为means，例如state/action value。新的问题： 如何计算meanxˉ\bar{x}xˉ：E[X]≈xˉ:=1N∑i=1Nxi \mathbb{E}[X]\approx\bar{x}:=\frac1N\sum_{i=1}^Nx_iE[X]≈xˉ:=N1​i=1∑N​xi​我们有两种方式：第一种方法：简单地，收集所有样本，然后计算平均值。但是该方法的缺点是如果样本是一个接一个的被收集，那么就必须等待所有样本收集完成才能计算第二种方法： 可以克服第一种方法的缺点，用一种incremental(增量式) 和iterative(送代式) 的方式计算 average。具体地，假设wk+1=1k∑i=1kxi,k=1,2,...w_{k+1}=\frac{1}{k}\sum_{i=1}^{k}x_{i},k=1,2,...wk+1​=k1​i=1∑k​xi​,k=1,2,...然后有wk=1k−1∑i=1kxi,k=2,3,...w_{k}=\frac{1}{k-1}\sum_{i=1}^kx_i,k=2,3,...wk​=k−11​