论文笔记
从论文到源码：详解 RAG 算法
·11763 字·24 分钟
RAG
LLM
AI
论文笔记
算法原理
本文旨在通过论文+源码的解读，探究 RAG 算法的架构设计和具体的代码实现。本文主要讨论了 GraphRAG、LightRAG 和 RAPTOR RAG，除此之外还提及了 Anthropic 提出的 Contextual Retrieval 上下文检索和 RAG 算法的评估方法。最后在实践中，建议还是根据知识库文档的规模来选择不同的方法。
浅入浅出 Rerank 模型
·4341 字·9 分钟
检索
AI
RAG
论文笔记
随着 Transformer 架构的流行，目前很多 Embedding 和 Rerank 模型都逐渐基于这个架构。借此机会梳理一下研究的过程和历史，盘点一下目前几个知名的 Rerank 模型的组织和公司所采用的架构。最后回归正题浅谈目前 RAG 场景到底要不要用 Rerank。
基于 LLM 推动游戏叙事
·2039 字·5 分钟
论文阅读
大模型
AI
论文笔记
本文介绍了论文《Player-Driven Emergence in LLM-Driven Game Narrative》，探讨了如何利用 GPT-4 在游戏中实现更灵活和丰富的对话和叙事结构，并发现玩家创造了新的叙事节点，这被称为叙事的涌现。
混合专家模型 (MoE) 笔记
·2438 字·5 分钟
MoE
大模型
AI
论文阅读
论文笔记
本文主要梳理了混合专家模型 (MoE) 的相关概念，并介绍了几种开源 MoE 模型的架构和优化方法，如 GShard、Switch Transformers、DeepSeek-MoE 和 LLaMA-MoE 等模型的特点和优化方法。