表征_NLP方向面试笔试题集：预训练模型BERT

篇首语：本文由编程笔记#小编为大家整理，主要介绍了NLP方向 ---- 面试笔试题集：预训练模型 BERT相关的知识，希望对你有一定的参考价值。

文章大纲

• Transformer


• BERT 简介


• 
  
  
  
  • 
    
    
    
    • 1. AR 与 AE 语言模型
    
    
    • 
      
      
      
      • 2.1.1Bert 是什么?
      
      
      • 2.1.2 Bert 有那几个关键点？
      
      
    
    
    • 2.2 Bert 输入输出表征篇
    
    
    • 
      
      
      
      • 2.2.1 Bert 输入输出表征长啥样？
      
      
    
    
    • 2.3 Bert 预训练
    
    
    • 
      
      
      
      • 2.3.1 Bert 预训练任务介绍
      
      
      • 2.3.2 Bert 预训练任务 之 Masked LM 篇
      
      
      • 
        
        
        
        • 2.3.2.1 Bert 为什么需要预训练任务 Masked LM ？
        
        
        • 2.3.2.2 Bert 预训练任务 Masked LM 怎么做？
        
        
        • 2.3.2.3 Bert 预训练任务 Masked LM 存在问题？
        
        
        • 2.3.2.4 预训练和微调之间的不