SearchEngine
SearchEngine copied to clipboard
搜索引擎原理
typo
QP 是链路上的第一环,用自然语言处理(natural language processing,NLP)技术从查询词中提取很多信息,共链路下游的召回和排序使用。 共->供;
代码会上传吗
感谢王树森老师深入浅出的讲解,工业界搜索是如何做的。我计划在自己的开源项目中,实现下王树森老师讲解的相关性BERT模型训练所涉及到的loss,以及两者的多任务学习。 1.MSE和交叉熵建模回归任务,建模相关性的绝对值。 2.pairwise logistic损失函数,建模顺序。 项目地址:https://github.com/NLPJCL/RAG-Retrieval 目前,RAG-Retrieval 提供了全链路的RAG检索微调(train)和推理(infer)代码。 对于微调,支持微调任意开源的RAG检索模型,包括向量(embedding)、迟交互式模型(colbert)、交互式模型(cross encoder)。 对于推理,RAG-Retrieval专注于排序(reranker),开发了一个轻量级的python库[rag-retrieval](https://pypi.org/project/rag-retrieval/),提供统一的方式调用任意不同的RAG排序模型。
老师,您好。夸克等浏览器目前已经上线了AI搜索的功能,应该是对用户的Query词做了意图识别后,进行了调用AI大模型总结or全网搜索等不同的动作,不知道老师您是否会/可以增加关于这一部分的讲解? Hello! Quark and other browsers have been online AI search function, it should be the user's Query words after the intention of recognition, a call AI large model summary...