UltraAttn：通过分层上下文切分高效并行 Attention
UltraAttn：通过分层上下文切分高效并行 Attention 1. 引言：稀疏 Attention 的多卡执行为什么仍然很慢？ 长上下文让 Attention 的计算压力持续上升。对长度为 $S$ 的上下文，标准 Attention 需要处理一个与 $S \times S$ 对应的计算关系；当上下文从几千扩展到…
在代码与算法间，刻下探索的序列
Tracing the logic of curiosity across the digital frontier.
Page 1
所有文章
这里收录了所有的 179 篇文章 (第 1 / 12 页)
LongCat Sparse Attention：从稀疏选择到高效执行
LongCat Sparse Attention：从稀疏选择到高效执行 引言：选得少，为什么仍然慢？ 在 DeepSeek Sparse Attention（DSA）中，每个 Attention 层依次完成两步：Lightning Indexer 先对因果前缀中的历史位置打分，选出当前 Query 对应的 Top-$…
读懂 IndexCache：从 DSA 的选词开销到跨层索引复用
秋染指头 岁月流金
用 Triton 写 GPU Kernel：从 Vector Add、Softmax 到 MatMul
须知少时凌云志，曾许人间第一流
从模型计算到 GPU 执行：读懂算子、Kernel 与 GPU 性能
你不要那样看着我的眼睛 我就怕你会看穿我的心
Experience：PowerContext怎样把一次实践变成可复用经验
来年 花也将继续盛开，春日将不厌其烦地反复到来。
Skill：PowerContext怎样把经验变成可交付的操作方法
时间啊，如若能倒流。相爱之事也能，如我所愿吧。
Topic-Memory:PowerContext 怎样把多次输入整理成主题知识
来年 花也将继续盛开，春日将不厌其烦地反复到来
Agent评测框架调研报告
我站在什刹海边 一切甜蜜与我无关
Memory：PowerContext 怎样保存、更新和复用一条知识
天气逐渐转凉，待在被窝里暖暖的，会觉得很幸福o(￣▽￣)o
PowerContext 入门：理解上下文如何保存与复用
口罩带一个少一个，每次回忆也都遗忘一些细节
Agentic RAG：受控多跳检索与证据闭环设计
到了现在 我终于明白 当初您那句话真正的意义，感到幸苦的时候 就回来吧，无论何时。
Advanced RAG：混合检索、重排与查询改写设计
在这世界上有一道被称为 你 的光芒，在这小小的地球上不断扩大照亮了黑暗。
Base RAG：本地文档检索增强生成系统设计
在这世间 有一种被称为明天的未来，将小小的泪珠变化为大大的花儿