南雄声测管厂

南雄声测管厂

派单可以看成一个系列决策问题，我们将其建模为带有时间延展性的马尔科夫决策过程，也称为Semi-MDP。与标准MDP类似，司机从一个状态 (时间、地点、情景式特征) 出发，通过接单或者空车游走的动作 (option)，转移到下一个状态，并获得相应奖励 (对于接单的动作是订单的金额，空车游走或者上下线则为0)。这里与标准MDP***大的不同在于动作带有时间延展性，不同动作时间跨度不同，这一点很重要，会体现在训练使用的Bellman equation中。

在Semi-MDP的框架下我们可以写出强化学习中价值函数的定义，表示司机从一个状态出发，在给定的派单策略下，直到一天结束的期望收益

跟标准MDP类似，我们可以写出基于价值函数的一步转移Bellman方程

上面的公式表示了司机从状态St经过k个时间步长转移到St+k，并收获奖励R。这里跟标准MDP***大的不同在于等式右边***项等效即时奖励，不是直接用R，而是对R做了一个跟步长k相关的衰减。在Semi-MDP框架下两个带来同样收益的动作，时间跨度小的动作的等效即时奖励更大。另一角度来看，这可以理解为对广泛应用于实际的reward clipping做了一个平滑 (***oothing) 处理，用连续衰减代替了截断处理 (clipping)。

我们用一个深度***网络来表示价值函数，为了增加策略估计中递归迭代的稳定性一般需要使用一个慢速更新的目标网络 (target network)，或者使用下面要介绍的在训练中加入Lipschitz正则化的方法。