标签：并行计算

Unintentional fragments forming a constellation of knowledge.

Tag

#并行计算

包含此标签的文章共 1 篇

← 查看全部标签归档

相关主题标签 共 57 个标签
全部文章 # java 29 # agent 21 # 数据结构 15 # 深度学习 13 # 计算机系统基础 12 # kddcup 11 # ccf 10 # 操作系统 9 # web开发 8 # python 8 # c++ 7 # 计算机网络 7 # android 5 # 后端 5 # termux 5 # powercontext 4 # datawhale 4 # llm 3 # oceanbase 3 # rag 3 # win11 3 # hexo 3 # 稀疏注意力 2 # LLM 2 # astro 2 # ai使用 2 # 前端 2 # mysql 2 # 数据库 2 # linux 2 # springboot 2 # 并行计算 1 # LongCat 1 # 注意力机制 1 # gpu 1 # triton 1 # transformer 1 # markdown 1 # ulbo 1 # gcn 1 # gnn 1 # blog 1 # acm 1 # 多线程 1 # maven 1 # ollama 1 # bupt 1 # 数字逻辑 1 # vscode 1 # clion 1 # mi 1 # openwrt 1 # aigc 1 # git 1 # 动画杂谈 1 # 日常 1 # 初始 1

#并行计算

共 1 篇

UltraAttn：通过分层上下文切分高效并行 Attention

UltraAttn：通过分层上下文切分高效并行 Attention 1. 引言：稀疏 Attention 的多卡执行为什么仍然很慢？ 长上下文让 Attention 的计算压力持续上升。对长度为 $S$ 的上下文，标准 Attention 需要处理一个与 $S \times S$ 对应的计算关系；当上下文从几千扩展到…

2026年11月10日 学习笔记
#深度学习#llm#稀疏注意力#并行计算