第112章 《Attention Is All You Need》
你在读故事，故事也在回应你。
⚡ 自动续章
读到章尾自动进入下一段回响
⚡ 开启自动续章更爽
看到章尾自动进入下章，故事不断线。
  第112章 《attention is all you need》
  科学发展史上有许多篇章，其诞生便宣告著一个旧时代的终结与新时代的开启。
  《自然哲学的数学原理》，牛顿。
  他奠定了经典力学的基石，让人类第一次以此丈量宇宙。
  《论动体的电动力学》，爱因斯坦。
  他重塑了人类的时空观，告诉我们时间与空间並非恆定不变。
  而2017年的《attentionisallyouneed》中提出的transformer架构，开启了生成式人工智慧（aigc）与大语言模型（llm）的黄金时代。
  可谓没有transformer，人工智慧万古如长夜。
  在它之前，自然语言处理（nlp）领域长期处於黑暗的摸索期，採用cnn或rnn
  的方法。
  cnn，即卷积神经网络，好处是计算效率高，可以並行处理，善於捕捉局部特徵。
  rnn，即循环神经网络及其变体lstm，好处是天生適应序列数据，能按顺序理解上下文。
  但它们的坏处也同样明显。
  cnn看不远，它难以捕捉长距离的词语关係。
  rnn跑不快，並且必须读完前一个词才能读下一个词，无法並行计算，一旦句子太长，就会出现梯度消失，导致机器阅后即焚，读了后面忘了前面。