· liyu · algorithm
KNN vs ANN:搜广推与向量检索中的算法原理、性能权衡与工程选型
从暴力 KNN 的 O(N × D) 算力瓶颈,到 IVF、HNSW、IVF-PQ 的亚线性近似检索原理;从搜广推全链路端到端 SLA 预算分配,到工业级向量索引在维度、内存、动态更新与属性过滤下的全景选型决策。
从暴力 KNN 的 O(N × D) 算力瓶颈,到 IVF、HNSW、IVF-PQ 的亚线性近似检索原理;从搜广推全链路端到端 SLA 预算分配,到工业级向量索引在维度、内存、动态更新与属性过滤下的全景选型决策。
搜广推系统中的双塔模型和 RAG 中的向量检索,一个诞生于推荐系统,一个兴起于大模型时代。当我把两者的架构图放在一起时,突然发现它们竟如此相似——本质上都是在向量空间中寻找最近的"灵魂伴侣"。
在搜广推系统中,搜索是最核心的能力之一。本文从信息检索的经典算法 TF-IDF 出发,深入剖析其原理与局限,再引出工业界广泛使用的 BM25 算法,探讨它如何优雅地解决 TF-IDF 的不足。