GPT和GPT2

el/2024/4/20 0:14:15

https://blog.csdn.net/weixin_48185819/article/details/106533850

https://zhuanlan.zhihu.com/p/174782647

https://wmathor.com/index.php/archives/1456/

我们知道transformer里有encoder层和decoder层,而GPT里主要用的是decoder层,不过做了一点改变,就是去掉了中间的Encoder-Decoder Attention层(因为没有encoder层,所以也就不需要Encoder-Decoder Attention这一层啦~)。也有人说用到的是encoder层,做的改变是将Multi-Head Attention换成了Masked Multi-Head Attention。

那么可能有人会问,这两种说法到底哪个正确呢?其实,这两种说法都对,因为仔细分析一下就会发现这两种说法是一个意思,不就是 Masked Multi-Head Attention + Feed Forward 嘛 ~ 如下图所示:
在这里插入图片描述


http://www.ngui.cc/el/3442134.html

相关文章

pycharm备注

pycharm新建项目备注

tensorflow2.x和1.x版本的不兼容问题

https://blog.csdn.net/qq_44725872/article/details/107558250

梯度下降的三种策略

我分享了【批量梯度下降法(BGD)、随机梯度下降法(SGD)和小批量梯度下降法(MBGD)_Andyato的博客-CSDN博客】, 快来看吧!小米浏览器 | https://blog.csdn.net/yato0514/article/details/82261821

你不能不知道的KBQA

https://zhuanlan.zhihu.com/p/25735572

SpringMVC框架01-使用idea搭建环境并成功运行

SpringMVC框架01-使用idea搭建环境并成功运行_https://blog.csdn.net/qq_43533700/article/details/90270336 1.使用骨架创建springweb项目 2.按照上面博客部署tomcat

MongoDB索引_提升查找速率

我分享了【学习MongoDB 七: MongoDB索引(索引基本操作)(一)_在前进的路上-CSDN博客】, 快来看吧!小米浏览器 | https://blog.csdn.net/congcong68/article/details/46955115

no model named apex 完美解决 apex安装

特此记录下,no model named apex 的解决办法 第一步: https://www.cnblogs.com/dyc99/p/12655090.html 出现问题:apex Error : Given no hashes to check 137 links for project ‘pip’: discarding no candidates 解决办法https://blog.csdn.net/Orien…

python日志保存

https://blog.csdn.net/jiahao1186/article/details/89537943 Linux下后台运行python程序,并输出日志文件

pip添加清华源命令

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

¥java leetcode¥ 两数相加 最优解法

由于输入的两个链表都是逆序存储数字的位数的,因此两个链表中同一位置的数字可以直接相加。 $ /** Definition for singly-linked list. public class ListNode { int val; ListNode next; ListNode(int x) { val x; } **/ class Solution { public ListNode addT…