摩尔线程新方法优化AI交互：显存节省最多82％
摩尔线程科研团队近日发布了一项新的研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，使得端到端延迟低于现在主流的Flash Attention推理引擎，kv-cac...
zhiyongz
2025-03-04 19:18:28阅读：17
搜索
最近发表
网站分类
文章归档
- 2022年1月 (108)
- 2021年12月 (95)
- 2021年11月 (135)
- 2021年10月 (74)
- 2021年9月 (105)
- 2021年8月 (130)
- 2021年7月 (70)
- 2021年6月 (97)
- 2021年5月 (109)
- 2021年4月 (182)
- 2021年3月 (114)
- 2021年2月 (93)
- 2021年1月 (76)
- 2020年12月 (65)
- 2020年11月 (34)
- 2020年10月 (34)
- 2020年9月 (38)
- 2020年8月 (45)
- 2020年7月 (46)
- 2020年6月 (123)
- 2020年5月 (67)
- 2020年4月 (112)
- 2020年3月 (206)
- 2020年2月 (179)
- 2020年1月 (195)
- 2019年12月 (165)
- 2019年11月 (127)
- 2019年10月 (133)
- 2019年9月 (214)
- 2019年8月 (322)
- 2019年7月 (234)
- 2019年6月 (299)
- 2019年5月 (275)
- 2019年4月 (489)