不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
代码：
MiniMax Week第三天推出通用 Agent，体验如何？对行业会带来哪些影响？
手机的运行内存真的有必要上16GB吗？
发现孩子走丢的那一刻，你是什么心情？
世界上哪款战斗机最好看？
iOS开发新手入门应该学OC还是swift?
如何看待《捞女游戏》（已改名为《情感反诈模拟器》）定档 6 月 19 日？
怎么看待三十而已里说的养鱼让人玩物丧志，养鱼是魔鬼，是黑洞，养鱼毁三代鱼缸毁一生的话?
伊朗这次会崩溃灭亡吗？
泡泡玛特这种又丑又贵的玩具为甚么会有人买？
不用CDN就没事，用阿里云CDN就被攻击刷流量，阿里云表示证明不了就要用户买单，如何看到这种行为？
消息称三大运营商将于今年下半年全面重启eSIM，eSIM有哪些好处？为何此前暂停这一业务？
6 月 20 日，女篮热身赛，中国女篮 93－61大胜日本女篮，如何评价本场比赛？
为什么 IPv6 突然不火了？
字节跳动技术副总裁开源了自己与Trae合作的首个项目，如何评价目前AI开发的水平？
如何评价Cursor？
女生真正的完美身材是什么样子？
曾经的班花，现在还多少人惦记？
各位都在用Docker跑些什么呢？
城管如果彻底解散，中国应该大庆三天吗？
各位历史发烧友，介绍一下你知道的冷门史实或逆天史实？
为什么都对TLC乃至未来的QLC嗤之以鼻呢?
福特级航母的电磁弹射到底出了什么问题？
为什么越来越多的国内男孩，要娶国外女孩?
胸大的女孩子有什么烦恼？
你是怎么发现亲戚开始见不得你好的？
刘强东称「京东外卖很快就会出来一个跟美团完全不同的商业模式」，如何看待此回应？
这种裙子是不是对直男爆杀？
请问有人能估计一下 go 相比 php 在不同用户量下能省多少钱吗？
Mac上有那些你认为极其好用的***？
