“Papers pile or pie?”
RSI 方向导读:从自我反思、技能演化到递归自我改进
一个 Agent 做错了任务,我们让它反思一下,再试一次。如果第二次成功了,这算不算“自我改进”?如果它把经验存进记忆,下次遇到类似任务时直接避开错误,又算不算 RSI?如果它还能修改“如何分析失败、如何提出修复、如何选择下一次实验”的流程,区别又在哪里? 这些问题把 self-reflection、self-training、self-evolving agents、Agent Memory 和 Recursive Self-Improvement 串在了一起。但它们解决的问题并不完全相同。 这篇笔记选取 31 篇相关文献,整理成一张阅读地图:先分清概念,再看代表方法,最后讨论怎样判断改进是否真实、哪些问题适合继续研究。文末给出完整论文索引,方便回看。
大模型推理框架导读:从一次请求到 vLLM、SGLang 与分布式服务
模型已经训练好了,为什么还需要一个“推理框架”?直接调用一次 model.generate(),与把同一个模型交给 vLLM、SGLang 或 TensorRT-LLM,有什么实质区别? 一个很好的切入点是同时想象三个用户:第一个人发来一句短问题,第二个人让模型总结一篇长文,第三个人正在进行多轮 Agent 任务,提示里包含历史、工具结果和系统说明。它们在不同时间到达,输入输出长度也不同。即使模型完全一样,系统仍要决定谁先算、谁和谁一起算、显存怎样分、哪些计算可以复用,以及什么时候把结果返回。 推理框架研究的,正是模型变成可用服务时出现的这些问题。这篇文章以 vLLM、SGLang 为主线,从一次请求开始,逐步连接 GPU 内核、KV Cache、批处理、并行、分布式服务和推测解码。后半部分整理代表论文与技术博客,并给出可以动手验证的学习路线。
HydraLoRA 论文阅读:为什么多个 LoRA 可以共享 A,却保留不同的 B?
微调数据里同时有摘要、问答和信息抽取时,我们通常会把它们混在一起,训练一套 LoRA。但这些任务需要的能力并不完全相同:共用少量参数,会不会让它们互相干扰?如果改成多套 LoRA,又有哪些参数其实没有必要重复保存? HydraLoRA 就从这个问题出发。它把普通 LoRA 的一对矩阵拆成了一个共享的 A,加上多个不同的 B,再根据输入动态组合这些分支。 这篇笔记先补齐理解方法所需的 LoRA 基础,再沿着“观察 → 结构 → 实验 → 边界”阅读论文。文末留了一份速记,方便以后回忆。
论文阅读-MoKA-Multimodal Low-Rank Adaptation for MLLMs
《MoKA: Multimodal Low-Rank Adaptation for MLLMs》一、论文基本信息 原文链接: https://arxiv.org/abs/2506.05191 ...
论文阅读-Can-1B-LLM Surpass-405B-LLM?
《Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling》一、论文基本信息 原文链接,翻译链接 作者:...
论文阅读-SAM2
SAM 2: Segment Anything in Images and Videos一、论文基本信息 标题:《SAM 2: Segment Anything in Images and Vi...
论文阅读-AgiBot
AgiBot World Colosseo: Large-scale Manipulation Platform for Scalable and Intelligent Embodied Sy...
论文阅读-AdvancesUavAvionics
《Advances in UAV Avionics Systems Architecture, Classification and Integration: A Comprehensive R...
scBridge
2025-05-17-scBridge embraces cell heterogeneity in single-cell RNA-seq and ATAC-seq data integrat...
域适应(Domain Adaptation)
2025-05-11-域适应(Domain Adaptation) 相关资源【機器學習 2021】概述領域自適應 (Domain Adaptation) 李宏毅_哔哩哔哩_bilibili 2...