using Admin.NET.Plugin.AiDOP.DataPlatform.S0Dim; using Furion.Schedule; using Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.Logging; using System.Text.Json; namespace Admin.NET.Plugin.AiDOP.Job; /// /// S0 主数据标准层自动刷新:逐租户跑一轮全量 FULL REPLACE(source → mdp_stg_s0_* → dim_*/ref_*/bridge_*)。 /// /// 为什么必须有它:在此之前 S0DimRefreshService 全仓唯一调用方是 /// AdoS0DimRefreshController,零 Cron、零 Job、零 Scheduler; /// mdp_transform_run_log 156 条记录的 trigger_type 100% 是 MANUAL。 /// 后果是标准层的覆盖面完全取决于有没有人手工点过 —— /// 实测 92 个「源有数据」的 (对象 × 租户) 组合里 28 个目标表为 0 行, /// 默认租户 1300000000001 的 7 个对象**从未刷过一次**。 /// 消费者一旦迁到标准层,这些租户会直接看到空列表。 /// /// 租户与维度都是动态枚举,不维护第二份清单:见 —— /// 租户取 SysTenant.Status = Enable(**含默认租户**,理由见该类注释), /// 维度取 减去 mdp_entity.status != 1 的已停用对象。 /// /// 逐 (租户 × 维度) 组合调用,而不是整租户一次 key=null: /// ① mdp_transform_run_log 没有 entity_key 独立列,维度 key 只存在于 /// summary_json 里;一组合一行 run log 才能让 summary_json->>'$[0].Key' 可查、可索引; /// ② 单个维度失败不会把整租户的 run log status 拖成 FAILED; /// ③ 与现状天然一致 —— 既有 156 条 run log 里 155 条本来就是单 key。 /// /// 失败隔离分两层,都已存在、本类只是不破坏它们: /// ① 维度级 —— S0DimMaterializer.RunAsync 内部捕获异常并把该维度置 FAILED; /// ② 组合级 —— 本类逐 (租户,维度) try/catch,一个组合炸掉不阻断其余组合。 /// 两层都不静默:维度级进 mdp_transform_run_log.summary_json,组合级进日志。 /// /// 失败快照语义保持不变:刷新失败 → 事务回滚 → 目标表停在上一轮完整快照, /// **绝不清空**(见 S0DimMaterializer 的阶段 III 注释)。 /// /// 并发Concurrent = false 由 Furion 保证同一作业不并行; /// 本类内部对 (租户 × 维度) 组合**严格串行**,不叠加任何并行度。 /// 这不是保守,是有实证约束的:ISqlSugarClient 是单例 /// (SqlSugarSetup.cs:74),而 dim 写入走显式事务 /// (MdpStdFullReplace 的 BeginTran/Commit),在同一 scope 上并行开事务是明确的踩雷点; /// 且主库连接池上限只有 20。—— 单租户全量最慢约 90s /// (ITEM_BOM 57199 行 27s + ITEM 21s + ITEM_ROUTING_OP 15s + 其余), /// 全租户一轮约数分钟,远小于调度间隔,无需并行。 /// 并行反而会让多个租户同时对同一张目标表做 DELETE ... WHERE tenant_id + INSERT, /// 徒增锁竞争。 /// /// 频率:默认每小时一次(错开整点,避开 job_s5_t8_kpi_refresh 的 :00)。 /// 该值只是**默认值** —— Furion 的 [JobDetail]/[Cron] 会自动持久化到 /// sys_job_detail / sys_job_trigger,运行期可在作业管理页直接改 Cron 表达式, /// **无需改代码、无需发版**。故这里不再另建配置文件。 /// 主数据变更频率低,且写路径校验类消费者已判定继续直读源表(不依赖标准层的 read-after-write), /// 小时级新鲜度对「看板筛选下拉」这类消费场景是够的。 /// [JobDetail("job_s0_dim_auto_refresh", Description = "S0 主数据标准层自动刷新(逐租户 FULL:source → mdp_stg_s0_* → dim_*/ref_*/bridge_*)", GroupName = "default", Concurrent = false)] [Cron("15 * * * *", TriggerId = "trigger_s0_dim_auto_refresh", Description = "每小时第 15 分触发(5 字段:分 时 日 月 周)。错开整点以避开 S5/T8 作业。")] public class S0DimAutoRefreshJob : IJob { private readonly IServiceScopeFactory _scopeFactory; private readonly ILogger _logger; /// 构造。 public S0DimAutoRefreshJob(IServiceScopeFactory scopeFactory, ILoggerFactory loggerFactory) { _scopeFactory = scopeFactory; _logger = loggerFactory.CreateLogger(nameof(S0DimAutoRefreshJob)); } /// public async Task ExecuteAsync(JobExecutingContext context, CancellationToken stoppingToken) { using var scope = _scopeFactory.CreateScope(); var catalog = scope.ServiceProvider.GetRequiredService(); var refresh = scope.ServiceProvider.GetRequiredService(); var sc = await catalog.ResolveAsync(stoppingToken); if (sc.DisabledKeys.Count > 0) _logger.LogInformation("S0DimAutoRefreshJob 跳过已停用维度 {Keys}(mdp_entity.status != 1)", string.Join(",", sc.DisabledKeys)); int ok = 0, warned = 0, failed = 0; foreach (var tenantId in sc.Tenants) { foreach (var def in sc.Definitions) { stoppingToken.ThrowIfCancellationRequested(); try { // triggerType=AUTO:与手工触发在 run log 里可区分, // 便于回答「这次陈旧是没人点,还是自动刷挂了」。 var result = await refresh.RefreshAsync( tenantId, key: def.Key, triggerType: "AUTO", ct: stoppingToken); if (result.Status == "FAILED") failed++; else if (result.Status == "SUCCESS_WITH_WARNING") warned++; else ok++; } catch (OperationCanceledException) { // 应用停机 / 作业被取消:直接向上抛,让 Furion 记为取消,不吞。 throw; } catch (Exception ex) { // 组合级隔离:一个 (租户,维度) 炸掉不阻断其余组合,但必须留痕。 failed++; _logger.LogError(ex, "S0DimAutoRefreshJob 组合失败 tenant={Tenant} key={Key}", tenantId, def.Key); } } } _logger.LogInformation("S0DimAutoRefreshJob 完成 {Payload}", JsonSerializer.Serialize(new { tenants = sc.Tenants.Count, definitions = sc.Definitions.Count, combinations = sc.Tenants.Count * sc.Definitions.Count, ok, warned, failed, skippedDisabled = sc.DisabledKeys.Count })); } }