我真得精读一些论文而不是全都让 GPT 给我总结了, 否则我觉得我永远都只能当无上 GPT 大人的使者.

我恐怕一辈子也不会忘了你吧, 宫崎英高.

我也不知道凌晨写的日寄应该算今天的还是昨天的, 或者说今天的还是明天的. 不过谁管这个.

看了 IGN 老人的视频之后寻寻觅觅终于在淘宝买到了全新的魂 1 卡带, 最近几天都在爽玩, 但这游戏反人类设计是真的不少, 比如底层走着走着突然掉进三只咒蛙中间然后被咒死然后发现自己血上限被扣了一半然后游戏让我去小隆德遗迹解咒于是来到小隆德遗迹发现还没我宿舍大的一个房间被塞了七只女鬼落荒而逃总之为了省下三千块的解咒石在小隆德遗迹掉了六千块. 不过好玩也确实好玩, 有一种又臭又香的美.

再前几天玩的织梦岛也是有点反人类, 虽然再阴间也没魂阴间, 但是梦之祠堂这个 b 地方有冲刺就可以轻易到达终点, 没冲刺但是非常有耐心可以很困难地打死路上的小怪到达终点, 于是我在没拿冲刺能力的情况下磨了差不多半个小时终于到了终点, 然后发现终点放了个必须用冲刺才能打开的能力锁所以我不能拿到最终奖励. 真是闹麻了.

影之刃零还有十来天终于要发售了, 不知道发售前能不能通关魂 1.

今天 (10.18) 要体测. 我从暑假开始爬楼梯坚持到现在应该差不多有两个多月了, 现在基本能坚持每天爬坡 3km, 晚餐基本只吃罗森的不是给人吃的东西, 体重确实应该是在下降. 好像也没我想的那么困难, 但我的各种小毛病并没有奇迹般地消失. 啊你说让我别熬夜了? 闭嘴吧你, 你只是我的内心声音.

只要你坚持活下去, 你甚至可以看到 MC 出新维度.

新学期目标:

• 每天睡够 7 小时
• 少喝糖水

「会赢的.」

开学前的胜利宣言!

线性代数

矩阵乘法

$$(m×n)(n×p)→(m×p) \\ A(BC)=(AB)C \\ A(B+C)=AB+AC$$

注意力机制

注意力提示

用于决定你要注意什么东西的一种东西, 例如你面前有十个杯子, 其中一个会发光, 你就会更容易注意到发光的杯子, 这就是一种注意力提示. 对模型来说, 在翻译 I ate an apple 中的 apple 时, 模型需要在整句英文中寻找哪些词和当前要生成的中文词最相关, 这也是一种注意力提示.

• 非自主性提示: 信息本身的特征决定了注意力, 例如其中一个杯子突然爆炸了.
• 自主性提示: 主动寻找某个东西 (Query), 例如我手机没了我在找手机.

只使用非自主性提示时, 只用简单的全连接层, 汇聚层等即可实现将选择偏向于感官输入, 因此关键在于自主性提示.

在深度学习中, 自主性提示被抽象为 Query, Key, Value. 给定一个 query, 注意力机制通过注意力汇聚将选择引导至感官输入 (value).

循环神经网络

到目前为止, 我们遇到过两种类型的数据: 表格数据和图像数据. 对于图像数据, 我们设计了专门的卷积神经网络架构来为这类特殊的数据结构建模. 换句话说, 如果我们拥有一张图像, 我们需要有效地利用其像素位置, 假若我们对图像中的像素位置进行重排, 就会对图像中内容的推断造成极大的困难.

最重要的是, 到目前为止我们默认数据都来自于某种分布, 并且所有样本都是独立同分布 (i.i.d.) 的. 然而, 大多数的数据并非如此. 例如, 文章中的单词是按顺序写的, 如果顺序被随机地重排, 就很难理解文章原始的意思. 同样, 视频中的图像帧, 对话中的音频信号以及网站上的浏览行为都是有顺序的. 因此, 针对此类数据而设计特定模型, 可能效果会更好.

另一个问题来自这样一个事实: 我们不仅仅可以接收一个序列作为输入, 而是还可能期望继续猜测这个序列的后续.

简言之, 如果说卷积神经网络可以有效地处理空间信息, 那么本章的循环神经网络 (recurrent neural network, RNN) 则可以更好地处理序列信息. 循环神经网络通过引入状态变量存储过去的信息和当前的输入, 从而可以确定当前的输出.