GPT和GPT2

el/2023/12/3 0:24:38

https://blog.csdn.net/weixin_48185819/article/details/106533850

https://zhuanlan.zhihu.com/p/174782647

https://wmathor.com/index.php/archives/1456/

我们知道transformer里有encoder层和decoder层，而GPT里主要用的是decoder层，不过做了一点改变，就是去掉了中间的Encoder-Decoder Attention层（因为没有encoder层，所以也就不需要Encoder-Decoder Attention这一层啦~）。也有人说用到的是encoder层，做的改变是将Multi-Head Attention换成了Masked Multi-Head Attention。

那么可能有人会问，这两种说法到底哪个正确呢？其实，这两种说法都对，因为仔细分析一下就会发现这两种说法是一个意思，不就是 Masked Multi-Head Attention + Feed Forward 嘛 ~ 如下图所示：
在这里插入图片描述


http://www.ngui.cc/el/3442134.html

相关文章

pycharm备注

pycharm新建项目备注
阅读更多...

tensorflow2.x和1.x版本的不兼容问题

https://blog.csdn.net/qq_44725872/article/details/107558250
阅读更多...

梯度下降的三种策略

我分享了【批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）_Andyato的博客-CSDN博客】, 快来看吧！小米浏览器 | https://blog.csdn.net/yato0514/article/details/82261821
阅读更多...

你不能不知道的KBQA

https://zhuanlan.zhihu.com/p/25735572
阅读更多...

SpringMVC框架01-使用idea搭建环境并成功运行

SpringMVC框架01-使用idea搭建环境并成功运行_https://blog.csdn.net/qq_43533700/article/details/90270336 1.使用骨架创建springweb项目 2.按照上面博客部署tomcat
阅读更多...

MongoDB索引_提升查找速率

我分享了【学习MongoDB 七： MongoDB索引（索引基本操作）（一）_在前进的路上-CSDN博客】, 快来看吧！小米浏览器 | https://blog.csdn.net/congcong68/article/details/46955115
阅读更多...

no model named apex 完美解决 apex安装

特此记录下，no model named apex 的解决办法 第一步: https://www.cnblogs.com/dyc99/p/12655090.html 出现问题：apex Error : Given no hashes to check 137 links for project ‘pip’: discarding no candidates 解决办法https://blog.csdn.net/Orien…
阅读更多...

python日志保存

https://blog.csdn.net/jiahao1186/article/details/89537943 Linux下后台运行python程序，并输出日志文件
阅读更多...

pip添加清华源命令

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
阅读更多...

￥java leetcode¥ 两数相加 最优解法

由于输入的两个链表都是逆序存储数字的位数的，因此两个链表中同一位置的数字可以直接相加。 $ /** Definition for singly-linked list. public class ListNode { int val; ListNode next; ListNode(int x) { val x; } **/ class Solution { public ListNode addT…
阅读更多...
最新文章

Copyright @ 2022~2023