不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
代码:
历史上有哪些来自对手的神助攻?
敢不敢发一张你的自拍照?
鱼缸的硝酸盐含量为多少比较合适?
为什么都说 Finder 难用?
女明星做了什么医美项目保持童颜?
什么时候你发现和农村父母渐行渐远?
程序员需要用到内置kvm功能的显示器吗?或者是外置的kvm切换器吗?
日本AV对中国人的毒害有多大?
程序员从幼稚到成熟的标志是什么?
商业史上有哪些降维打击的经典案例?
为什么 electron 不做成独立的 runtime?
为什么大家不再提星链了(包括外网)?
和女生合租,都会发生什么事情?
前端真的已经凉了么?
你都见过什么样的电脑盲?
哪张照片让你觉得刘亦菲美得不可方物?
朝鲜能在20年内赶上韩国的生活水平吗?
mysql 自动备份的脚本应该如何配置?
怎么看待准噶尔部被灭族?
李秋水作为一个生过孩子的人,怎么还能成为西夏的王妃呢?
目前react的生态系统是什么情况,有没有比较公认的成熟的开发技术栈?
为什么很多知乎的回答推崇日本式的市区、市郊通勤铁路?
为什么提傅首尔面相而忽略一件事情本质呢?
obsidian用一两年后会有多大?全文搜索还快吗?
电脑装机两个小时,算不算长时间?
为什么小米造车可以叫小米,而华为不可以用华为品牌造车?
如何评价“寡姐”斯嘉丽·约翰逊的身材?
鱼缸氨氮含量低,但是硝酸盐和亚硝酸盐爆表,已经一个多周了,咋办?
2.2亿现金和院士身份,你选哪个?