台山声测管厂

台山声测管厂

情景随机化 (contextrandomization)

我们学习的状态价值函数带有实时特征，为了使这部分特征有更好的泛化能力我们在训练中使用了类似于Domain Randomization的方法我们称为情景随机化。具体来讲我们会在训练之前基于历史数据建立一个所有实时特征的基于KD Tree的时空索引，在训练时针对每个训练数据的时空状态我们会在索引中查找历***所有落在这个时空状态附近的实时特征，并从中随机采样用于训练。通过这样使得价值函数在训练中适应不同情况下的实时性，增强对现实中的噪声及variance的泛化能力。

多城市迁移学习 (multi-city transfer learning)

现实中派单具有很强的区域性，一般以城市为中心，不同的城市因为地理位置，气候特征等不同而在供需动态等方面有不同的特性，这可以看作一个典型的多任务学习问题。我们针对派单中的价值估计提出了一种基于progressive network的新的多城市迁移学习框架，可以有效地利用数据量丰富的城市数据来促进对数据稀疏的城市的价值估计；另外，通过在迁移过程中针对不同输入建立不同lateral connection网络能够在训练中更专注于有效的迁移 (比如实时特征的处理) 以及通过训练决定迁移的具体方式及强度 (调整lateral connection的权重)。