谷歌研究院发布了新型模型架构 「Titans」，该架构模仿人类记忆系统，结合短期和长期记忆及注意力机制，支持处理超过 200 万个 Token 的上下文。Titans 系列模型通过深度神经长期记忆模块提升处理大规模上下文任务的能力，包含三种架构变体：MAC、MAG 和 MAL，分别适用于不同任务需求。谷歌表示，Titans 在长序列处理任务中表现出色，超越现有模型，甚至在某些场景中超过了参数量更大的模型。