【NLP】Transformer背景介绍
发布时间
阅读量：
阅读量
【NLP】Transformer背景介绍
- 1. Transformer的诞生
- 2. Transformer的优势
- 3. Transformer的市场
1. Transformer的诞生
2018年10月, Google发布了论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, 该论文中的BERT模型应运而生, 并在NLP领域11项关键任务中取得了卓越成绩
论文地址: https://arxiv.org/pdf/1810.04805.pdf
在BERT体系中扮演关键角色的是Transformer架构；随后 emerged XLNET、roBERT等模型挑战并超越了BERT体系；然而这些新模型尽管在架构上有所创新与变化（虽然提出时声称能实现更好的文本处理效果），但其基础机制仍与传统Transformer保持一致。
2. Transformer的优势
相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:
1, Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
2, 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.
AI助手下面是一张在测评比较图:
3. Transformer的市场
在国际机器翻译领域中, 绝大多数先进的模型普遍采用这一架构技术
其基本上可以看作是工业界的风向标, 市场空间自然不必多说！
加油!
感谢!
努力!
全部评论 (0)
还没有任何评论哟~