模型上线后的反馈回路是什么？如何控制？

简化版

模型输出会影响曝光、审核、授信或采样，随后收集到的标签来自被模型干预后的世界；若直接用这些数据再训练，偏差可能被自我强化。

回答时应把“模型决策改变未来数据分布的闭环效应”讲清，再说明如何验证和落地；关键边界是：反馈回路不是普通分布漂移，因为漂移由模型自身策略造成；全量贪心上线会失去识别因果效果所需的数据。

详细版

部署后的模型会改变曝光、审核和授信，随后采集到的数据已经被旧策略筛选。若直接用这些反馈重训，模型会把自身偏好当成现实规律；典型例子是只有获批贷款才有还款标签，未获批人群的结果不可见。

要记录每次动作的 propensity、保留受控随机桶或探索流量，并区分自然分布变化与模型造成的选择偏差。高风险场景采用有边界的探索和人工审核，出现自我强化时可回滚策略，但无法在缺失日志后凭空恢复反事实。

完整版教学

一、问题本质与使用动机

反馈回路的特殊性在于模型不只是观察世界，还通过曝光、审批或拦截改变后续可观测数据。

选择性标签是典型机制：只有获批贷款才观察还款，拒绝者标签缺失。推荐曝光也让被展示物品获得更多正反馈，形成富者愈富。

探索可用 ε-greedy、Thompson sampling 或小流量随机化；高风险场景更适合受约束探索和人工审核，而不是开放试错。

二、机制与数学表达

若满足相应可识别条件，可用逆倾向加权估计目标策略价值：

IPS estimate = (1/n)Σ reward_i * target_prob_i / logging_prob_i

反馈回路不是普通分布漂移，因为漂移由模型自身策略造成；

三、带数字的推演

例如推荐系统只展示 Top-10，未展示物品没有点击标签；连续 4 周只学习已曝光数据，会让长尾内容持续缺少被验证的机会。

应比较策略前后的曝光覆盖、propensity、标签可观察率和人群变化，并利用随机桶或实验数据区分环境变化与策略造成的选择。

四、从数据到上线的执行流程

反馈治理链路至少包括：

模型决策 → 记录 propensity → 受控探索 → 观察延迟结果 → 去偏训练与策略审计

记录 propensity 和完整决策日志，保留受控探索或对照桶，用反事实评估比较策略，并设置公平、风险和探索预算。

决策日志要保存候选集、分数、实际动作、动作概率与后续奖励。缺少 logging propensity 时，许多离线策略估计无法可靠校正选择偏差。

五、方案对比与选择边界

机制	造成的缺失	控制方法
推荐曝光	未展示内容无反馈	随机桶/探索流量
授信审批	拒绝者无还款标签	受控审核与因果设计
审核拦截	被拦内容无后果	影子策略与人工抽样

三类机制都说明“没有观察到结果”不等于负例，处置必须尊重业务风险。

六、反事实估计有哪些前提

逆倾向加权用 π_target(a|x)/π_logging(a|x) 纠正曝光差异，但要求日志策略对目标动作有正概率（positivity）、propensity 记录正确，并控制影响动作与结果的混杂。极小 logging probability 会产生巨大权重和高方差，常需裁剪并报告有效样本量。

若旧策略从未向某人群展示某类内容，就不能仅靠日志估计目标策略在该区域的效果。此时需要安全探索、新实验或更强的因果假设；离线回放得分不是万能替代品。高风险动作还要遵守伦理与业务约束，不能为了统计识别随意随机化。

七、怎样监控自我强化

同时看曝光覆盖、候选多样性、propensity 分布、标签可观察率、不同群体的动作率和延迟结果。对照随机桶或稳定基线能帮助判断变化来自环境还是新策略。训练数据中要保留“未展示所以无标签”与“展示后负反馈”的区别。

例如 Top-10 策略让头部内容曝光占比从 60% 升到 90%，点击率上升但长尾覆盖减半。不能仅凭点击率宣布成功：可能是短期位置偏差换来的，还需看长期留存、多样性和创作者生态，并在护栏越界时回滚。

上线模型会改变曝光与标签产生机制，因此新日志不是被动观察数据，而是旧策略干预后的结果。

八、常见误区与追问

• 误区：线上反馈就是自然标签。 它经过旧策略筛选，未观察人群不能被当成负例。
• 误区：记录最终动作就能做反事实评估。 还需候选集、上下文和动作概率等 logging policy 信息。
• 误区：IPS 一定能消除偏差。 支持集不重叠、倾向估计错误或有未观测混杂时仍会失效。
• 追问：为什么保留随机桶？ 它提供较少受当前模型选择影响的对照与探索数据。
• 追问：高风险场景能否探索？ 只能在合法、伦理且有风险上限的范围内设计，常需人工审核或自然实验。
• 追问：反馈回路与普通漂移区别？ 前者由模型动作改变曝光和标签生成机制，是内生变化。

九、加强记忆

模型既预测世界，也会改变下一批训练数据。记录“谁被展示、概率多少、结果为何可见”，用随机桶或受约束探索保留反事实；没有 propensity 的历史日志不能可靠纠偏。