廉江声测管厂

廉江声测管厂

在 PyTorch 上，你可以像调用卷积一样调用 Transformer 了。

PyTorch 作为 Facebook 开发和维护的一个开源框架，近来的发展势头相当强劲。自 2017 年初***以来，PyTorch 灵活、动态的编程环境及对用户友好的界面使其非常适用于快速实验，因此在社区内迅速发展壮大。

2018 年 12 月，PyTorch 1.0 正式版发布，解决了包括可重用、性能、编程语言和可扩展性等在内的一系列问题。

今日，PyTorch 发布***新版本，做了一系列更新，包括正式支持 Transformer、TensorBoard 等。

正式支持 Transformer 与 TensorBoard

基于***《Attention is All You Need》，PyTorch 1.2 版本加入了标准的 nn.Transformer 模块。nn.Transformer 模块完全依赖注意机制描述输入和输出之间的全局依赖关系。nn.Transformer 模块的组件是单独设计的，以便于被分开使用。例如，没有更大的 nn.Transformer 的情况下，nn.TransformerEncoder 可被自身使用。新的 API 包括：

现在，简单的输入 from torch.untils.tensorboard import SummaryWriter 就能启动 TensorBoard，它已经不再是实验版了，这就表示 PyTorch 终于正式支持 TensorBoard 啦。