佛山声测管厂

佛山声测管厂

一般的强化学习应用，执行策略只需要针对价值函数应用贪心算法，但在线上派单的环境下我们需要调和多司机与多订单之间的派单限制，所以我们通过解二分图优化问题来进行全局规划。线上每2秒派单一次，每次派单会求解一个组合优化匹配问题，目标函数是在满足派单的限制下使得匹配结果总体边权和***高

这里我们使用基于价值函数以及时序差分误差 (TD Error) 的方法来计算每个订单与司机的匹配分值

简单来看，这里的匹配分数跟订单终点价值成正比，跟司机当前状态价值成反比，这使得在派单决策中同时考虑到长期收益 (时间维度上的优化) 以及二分图匹配得到的空间上***优解，两者的结合达到时空优化 (spatiotemporal optimality) 的目标。***后，我们在边权计算中加入了对用户体验的刻画，***终的权值综合考虑了长期价值司机收益以及用户体验多个目标。

如何学习针对派单的时空价值函数？

我们使用***网络来表示上面定义的价值函数，训练通过Bellman方程的价值迭代，如何保证非线性迭代的稳定性以及如何表达状态空间是学习成功的关键。下面我们分为四个部分来介绍我们针对学习的难点提出的技术中的创新。