数学联邦政治世界观
超小超大

空间模型

An available state space model for modeling long sequences

Paper: Efficiently Modeling Long Sequences with Structured State Spaces

Motivation and current problem

• A central problem in sequence modeling is efficiently handling data that contains long-range dependencies (LRDs). 一般要求上万步(16k),现在能做到几千步就不错了。

• 用special matrix(HIPPO)武装起来的latent space model本来具有长时间记忆的能力,但在计算上不可行:O(N 2L) operations and O(N L) space。 尽管依据经典linear algebra的降维算法被提出了,但是在数值上不稳定:A的条件数比较大。

• 希望有一个general-purpose sequence model: 现在的model总是针对一个particular domain(images, audio,text, time-series),处理一个narrow range of problems ( efficient training,fast generation, handling irregularly sampled data).这种现状的原因是这些模型想要高效,就需要domain-specific preprocessing,inductive biases, and architectures.

Contribution

1. S4解决了SSM模型过往的computational neck;在speed和memory overhead 上都达到了efficient transformer的水平;

2. 在LRD任务上成为SOTA,特别地,第一次解决了长达16k,涉及到图像空间推理的Path-X问题;

3. 除了LRD任务,S4具备成为general-purpose sequence model的潜力:

具有efficient training, fast generation, handling irregularly sampled data(比如说调整speech的采样频率)的多种功能

在不调整结构的情况下,能handle diverse domains:surpasses Speech CNNs on speech classification, outperforms the specialized Informer model on time-series forecasting problems, and matches a 2-D ResNet on sequential CIFAR with over 90% accuracy.

Preliminary

1.SSM Model

The state space model is defined by the sinple equation (1). lt maps a 1-D input signal u(t) to an H-D latent state x(t) before projecting to a 1-D output signal y(t).

x'(t)=Ax(t)+Bu(t)

y(t)=Cx(t)+Du(t)

2.Hippo非常重要!!!

3.Discretization

To discretize the continuous-time SSM,we follow prior work in using the bilinear method [43],which converts the state matrix A into an approximation ˉA. The discrete SSM is

xₖ=ˉAxₖ₋₁+ˉBuₖ ˉA=(l – Δ/2 · A)⁻¹ (l+Δ/2 · A)

yₖ=ˉCxₖ ˉB=(l – Δ/2 · A)⁻¹ΔB ˉC=C.

Solution:

• 把Hippo matrix A 分解成normal matrix+ low-rank

• 序列模型并行可以转化为一个卷积运算,但卷积核需要处理一个连乘。如果A diagonal,那一切好说;但他现在不是,所以转化成为Normal Plus Low-Rank。处理NPLR的幂需要用到三个技巧

• 用cauchy kernel来处理对角阵求逆的问题;

• 用Woodbury identity把NPLR变成对角阵的问题;

• 计算截断的generating function,再用inverse FFT变回来。

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

粼深时见古 连载中
粼深时见古
珺炤
上辈子有着一个深爱自己的人鱼,却对渣男执迷不悟,被渣男害死,重活一世,她飞奔向他
13.0万字5个月前
快穿:开个阴魂店 连载中
快穿:开个阴魂店
人类百分百
来此店的亡魂必然都有怨恨。说出你的故事,并提出要求,“我”会帮你实现。故事虚构,封面素材来源网络
0.7万字5个月前
源于创作的故事 连载中
源于创作的故事
创造者小桉
故事中,一个15岁的女孩dawn是一位小作家,某天,她笔下的人物来到了她的世界,他们会发生怎样的故事呢
1.8万字4个月前
异世界图书馆 连载中
异世界图书馆
镜蝶
〈别名:世界图书馆与少女梦谈〉一个偏远地区流传着一个传说,满月当空时,在荡漾着月辉的河中放下一只纸船,借着月光让纸船载着你一部分的灵魂,为你......
40.9万字3个月前
君忆仙落凡尘 连载中
君忆仙落凡尘
三寸旧城七寸执怜
青丘狐族是上古时期九尾狐神族遗留下的血脉因地势缘由,而迁移致高处,因防有凡人意外闯入而设了结界,也为了保护族人,所以定下族规,以防不知情的族......
23.2万字3个月前
第一异技师:大烟石之战 连载中
第一异技师:大烟石之战
薇伊十三号
(已完结)这是一个异技的世界,每天充满着挑战,与敌人的战斗中若战败元气大伤,若战胜折翼损爪。在此时,世界成立了一个组织,为了无辜人民,他们又......
17.1万字1个月前