1、gbdt是不是一定足够
- loss的问题
- 每个query，根据自身的样本去走一个mlp
- 内容 & 热度 & 相关性
- case query1 then W1 case query2 then W2
- 注意力，当query1时，部分内容特征的权重上去
- 每个batch的loss能够根据query维度去算ndcg or flowauc
- 每个query，根据自身的样本去走一个mlp
- ID的问题
- 部分特征主导 & hit特征无效的问题
- 正则\col sample？
- 构造负样本
- 根据query词性构造明显不相关的负样本[不同类目 不同ip 不同品牌]
- 魔力赏的问题
- batch的问题
- 分裂点受限于batch内的数据
这些问题是不是可以通过结构改变，提升多少
如果新品学习不强，主导是不是无法改变
2、头部的query词
- top的新品和老品的区别，top的魔力赏和非魔力赏的区别
- 怎么确定一些老品学的不错，怎么确定新品学的一般，怎么比较两个哪个学的更好
3、长尾query的体验&效率
- 相关性权重提升，降低效率权重
4、候选集的数据分布 & 浏览深度问题
[靠近召回问题会大，接近用户问题会小]
[粗排和精排尽量一致 - 对粗排进行finetune]
5、pair-loss or point-loss
[loss - 提升多大不一定]
6、相关性模型 bm25优化效果
- imp 算法/反馈模型 优化 idf 版本的query term weight
- bm25优化效果
- 相关性计算要不要用上 词向量距离
7、排序模型 & rerank迭代
- lambdamart
- 注意力
- qi模型增加doc term信息后是否提升、hit特征 无法学习到
- MIX?
- fine tune效果？
8、切词怎么更好
9、向量召回有必要吗
10、query改写的 生成模型
11、ner
or连接
bm25优化
长尾词相关性权重提升，降低效率权重
这些技巧，
- 自注意力
- 预训练
- 迁移对比学习
- batchnorm
- lr loss可视化
- 梯度adam
- teacher-student
- 代理任务
- 算不算技巧，有没有用，改善在哪里
1、冷门长尾
2、正样本稀疏
3、预估偏差 - 曝光/位置/选择[对差的评分]
4、转化延迟
5、链路一致性
6、多目标 - 一个上去了另一个下去了 跷跷板
7、短长期目标平衡
不足：
1、搜索应同时满足 热门泛意图搜索需求和精准长尾搜索 需求。但是我们长尾query甚至会不能满足用户”搜得到”预期。而对于意图，既要考虑通用语义，用户个性化，也需要考虑会员购特性。
2、由于对内容、价格、新品等特性偏好不同，需要在精排利用用户个性化来学习。
3、Query是用户兴趣需求的显性表达，搜索最终结果的呈现必须保证其与query语义的基础相关。不同query的相关性约束也不同。这个基础相关性的约束优先级高于个性化、时效性。BM25、TFIDF 、word2vec、Glove、doc2vec、NN等。各有优劣，需要根据我们自身场景选择。
4、对新客以及新品的冷启动，和1中的长尾query类似。
5、鉴于我们商品不多，链路耗时不在召回，倒排索引足够满足性能。但全链路耗时99在240ms，90在150ms，还是略高，主要在预估服务，而预估服务有优化空间。
本文作者：
yuqing wang
本文链接： https://satyrswang.github.io/2022/10/13/搜索想法/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
本文链接： https://satyrswang.github.io/2022/10/13/搜索想法/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
