把每一次人工纠正,变成系统下次能复用的经验。
机制一
样本沉淀
每一次人工纠正,都会被记成一张样本卡存进库。比如模型把「带看转化佣金」按错口径算了,业务老师改回正确算法,这条问法到正确结果就落成一张卡。卡里不只存答案,还存意图标签和口径说明,后面召回就靠这些信息。
机制二
相似召回
新问题进来,系统不急着直接丢给模型。它先在样本库里翻,找出几张问法相近、口径相近的卡,当作 few-shot 例子一起喂进去。模型看到前面这几张卡都是这么处理的,就会顺着同样的口径走,而不是凭空编一个。召回靠语义层面的近似,不靠关键词硬匹配,所以「业绩分成」能召回「提成」那张卡。
机制三
回归校验
样本库不是加了就完事。每动一次,都要跑一遍回归基准,把历史问过的问题重新问一遍,确认老答案没被新样本带偏。这一步很像写代码要跑测试。没有回归,样本越加越乱,今天修好一个,明天带崩三个。回归基准就是那道护栏。
机制四
越用越准的飞轮
把前面三件事串起来,就转成一个飞轮,用得越多,沉淀的样本越多;样本越多,相似召回越准;召回越准,答得越准;答得越准,业务老师越愿意用、越愿意纠。园区的数据口径是长出来的,得一点点养出来。样本库让系统跟着园区一起长,把经验留下来。
说点实在的
回到两套系统的说法。管数据的那套,负责把房源、租客、合同、账单收进一个干净底子,口径先统一。问数据的那套,靠的就是这套 FewShot 样本库,让问数越问越准。问数平台不是甩一个大模型就完事,得把业务经验一点点攒进样本库,让系统跟着园区一起长。模型会换代会升级,样本库里的业务经验,才是这个园区真正留下的东西。