大家在网络上搜索中兴2021 tokenpocket算法这个关键词的时候, 能够搜到好几个发在CSDN平台上的帖子。可是当大家把这些帖子翻下来仔细查看之后会发现, 真正能把思路讲得非常透彻的文章并没有几篇。大部分这些文章都只是停留在粘贴代码这一层面上的内容而已。
这个算法的核心思路, 说白了就是把token按口袋分组, 然后每组内部做局部匹配, 最后再汇总起来。这种做法看起来挺简单, 但是你要是把分组的粒度选错了, 整个系统的召回率就会直接大幅下降。帖子里面有人拿2021年中兴的内部数据做过测试, 他发现当粒度取值为7的时候, 效果是最稳定的。
在实际操作的环节里面, 大家最容易出现错误情况的地方是关于边界词元的相关处理工作, 有不少帖子是直接把这部分内容给略过去没有去说的, 导致自己在进行复现操作的时候, 结尾部分的词元全部丢失了, 另外在那些帖子所涉及的内容当中, 提到的滑动窗口参数这个部分, 原文作者所写明的数值是128,但是在评论区里面有用户进行了调整改成96, 这个做法反而在短文本的使用场景里面显得更加适配。
你们在进行复现操作的过程之中, 所使用的那种分组粒度究竟是什么呢? 有遇到过什么样的困难或者陷阱吗。