AiDOPWarehouse/server/Admin.NET.Web.Entry/UpdateScripts/1.0.521.sql

-- =====================================================================================
-- 1.0.521 · S1 · 让 mdp_std_so 成为销售订单行的真实镜像（淘汰源侧已删除的孤儿）
--
-- ── 缺陷 ────────────────────────────────────────────────────────────────────────────
-- 贴源层 mdp_stg_so 是纯 upsert、从不淘汰行；标准层 mdp_std_so 的 INSERT 又不带任何
-- 批次条件、每轮重读整张贴源表。于是源侧被硬删除的订单行会：
--   ① 永远留在 mdp_stg_so；
--   ② 每轮被重新物化进 mdp_std_so，并且 sync_batch_id / sync_time 被刷成最新
--      —— 所以「看时间戳」根本认不出它们是陈旧数据。
--
-- 实测（aidopdev，2026-09-08）租户 797403760988229：
--   mdp_std_so 414 行 = 28 行真实存活 + 25 行 biz_key 旧分隔符(':')的重复行
--                      + 361 行源侧已删除的孤儿
--   其余三个租户 339/14/9 行，与源侧逐行一致，孤儿为 0。
--
-- ── 影响面不止 S8 ───────────────────────────────────────────────────────────────────
-- mdp_std_so 有 16 个读取点，且没有任何一个带「当前行」判据：
--   · dwd_ship_trans 以它为驱动表 —— 每条孤儿凭空造出一条发运行，日期早已过期，
--     必然被判 DELAYED / 高风险；
--   · S1_L1_001/002/003、S1_L2_010/011/012、S7_L1_001/002/003、S9_L1_003 等 KPI
--     的分子分母都被孤儿污染；
--   · S8 Rule02（订单交付延期预警）若改读中台，孤儿会直接变成凭空的异常单。
--
-- ── 修法 ────────────────────────────────────────────────────────────────────────────
-- 不新增「当前标记」列，而是让标准层恢复「镜像」语义，这样 16 个消费者一个都不用改：
--   ① 本脚本把 S1_SEORDER / S1_SEORDER_ENTRY 的 sync_mode 由 INCR 改为 FULL；
--   ② 代码侧（S1MdpSyncTransformService 的 mdp_std_so 构建）只取每个租户的
--      最新一次 sync_batch_id；
--   ③ 本脚本一次性清掉标准层里已经沉淀的孤儿。
--
-- 为什么 ① 是 ② 成立的前提：MdpSyncWindowResolver.Apply 对 sync_mode='FULL' 的实体
-- 会强制 ctx.FullRefresh=true（:34-35），因而在**任何**调用路径上都跳过增量水位——
-- 包括 RunInboundAsync 与 MdpHotWatchService 这两条 fullRefresh=false 的路径。
-- 若维持 INCR，那两条路径会产出「只含变更行」的部分批次，② 会把未变更的存量行
-- 当成孤儿删掉，后果比现在的缺陷更严重。
--
-- 代价可忽略：这两个实体实测分别只有 ~390 / ~81 行，且 S1 全量作业本来就每轮
-- 以 fullRefresh:true 全量重读它们 —— 本次只是让「声明」与「实际行为」一致。
-- =====================================================================================

-- ── ① 让声明与实际行为一致：这两个实体每轮都是全量重读 ─────────────────────────────
UPDATE `mdp_entity`
   SET `sync_mode` = 'FULL',
       `incr_column` = NULL,
       `update_time` = NOW()
 WHERE `entity_code` IN ('S1_SEORDER', 'S1_SEORDER_ENTRY')
   AND `sync_mode` <> 'FULL';

-- ── ② 一次性清除标准层已沉淀的孤儿 ──────────────────────────────────────────────────
-- 判据：该 (tenant_id, source_biz_key) 不在贴源层「该租户最新一次 sync_batch_id」里。
--
-- ⚠️ 安全闸门 —— 「该租户在贴源层确实有数据」：
--    若某租户在 mdp_stg_so 里一行都没有（从未同步 / 贴源被清过），
--    它在下面的 lb2 里不会产生分组行，JOIN 直接把该租户的标准层整体排除在删除范围外。
--    这与旧写法的 `EXISTS (...)` 闸门等价，但由 JOIN 天然承担，不必单列一个子查询。
--    这里宁可不删，也不冒清空的风险。
--
-- ── 为什么用派生表而不是逐行相关子查询（2026-09-08 性能修复）─────────────────────────
-- 原写法把「取该租户最新批次」写成**每一行都重算一次**的相关子查询：
--   NOT EXISTS(... lb.sync_batch_id = (SELECT ... ORDER BY sync_time DESC, id DESC LIMIT 1))
-- EXPLAIN 实测（共享库）：g 全表扫 38722 行、lb 全表扫 38722 行，
-- 最内层 x 是 DEPENDENT SUBQUERY + Using filesort —— 即「每条 std 行都对贴源做一次排序」。
-- 只读实测该判据取数 51.8s / 386 行；一旦贴源继续增长就会撞上
-- AutoVersionUpdate.MigrationCommandTimeoutSeconds = 600s，重演 1.0.517 的启动死循环。
--
-- 改法只动查询形状，不动业务语义：把贴源侧「订单行」这一段提成 CTE `stg` 物化一次，
-- 「每租户最新批次」与「最新批次里有哪些 biz_key」都从这一份物化结果里取。
-- EXPLAIN 实测（共享库 8.0.31 与本地 8.0.44 计划一致）：mdp_stg_so 只被扫一次，
-- CTE 被两处以 ref + auto_key 复用，DEPENDENT SUBQUERY 与逐行 filesort 全部消失。
--
-- 取「最新批次」用 ROW_NUMBER() 而不是 GROUP_CONCAT + SUBSTRING_INDEX：
-- 后者要求整个拼接串不超过 group_concat_max_len（实测该值 1024，
-- 而单租户最多 414 行 × 45 字符 ≈ 18630 字符，必然触发尾部截断并产生 warning 1260）。
-- 虽然我们只取第一个元素、截断发生在尾部因而结果仍正确，
-- 但让一条删除语句的正确性依赖「截断位置」太脆弱。ROW_NUMBER 是精确的，没有这个前提。
-- 等价性已实测：新旧两种写法在共享库与本地库上逐租户取到的 sync_batch_id 完全一致
-- （mismatch = 0），且待删行集合逐行相同（386 / 386，only_old = 0，only_new = 0）。
WITH stg AS (
  SELECT `tenant_id`, `source_biz_key`, `sync_batch_id`,
         ROW_NUMBER() OVER (PARTITION BY `tenant_id`
                            ORDER BY `sync_time` DESC, `id` DESC) AS `rn`
    FROM `mdp_stg_so`
   WHERE `source_table` = 'crm_seorderentry'
)
DELETE s FROM `mdp_std_so` s
  JOIN (SELECT `tenant_id`, `sync_batch_id` AS `latest_batch`
          FROM stg WHERE `rn` = 1) lb2
    ON lb2.`tenant_id` = s.`tenant_id`
 WHERE s.`source_table` = 'crm_seorderentry'
   AND NOT EXISTS (
        SELECT 1 FROM stg lb
         WHERE lb.`tenant_id` = s.`tenant_id`
           AND lb.`source_biz_key` = s.`source_biz_key`
           AND lb.`sync_batch_id` = lb2.`latest_batch`);