cdia/msgexchange-v2
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
47 Commits 1 Branch 0 Tags
6af292d103fb3e15451dd3fced63ddc310ea064d
Commit Graph
14 Commits
Author SHA1 Message Date
windyboy 2b112f527c docs: consolidate flight state design 2026-09-09 11:43:34 +08:00
windyboy 7c2d22e8f1 feat(persistence)!: V1.4.0 退场 legacy 槽位存储，persistNextStates 成为唯一写路径 (ACM2-29 P4) 
- V1.4.0 迁移：DROP FLIGHT_SCHD 全部 77 个槽位/里程碑/紧凑航路列（V1.3.0 起
  零写入、P2-2 起零读取）+ 三个与 PK 前缀冗余的 (flid) 单列索引；回退窗口关闭
  （对拍留档：P2-1 FS7 v2 双读差异记录）
- 接口收敛：FlightSchdRepository 删除 upsertSnapshotBatch/upsertIncremental，
  删除废弃 FlightStateRepository 及 Jdbc/Stub 适配器；仓储与装配器删除全部
  legacy flatten/slot/milestone/route 视图代码，ALL_COLUMNS 收敛为无损承载列
- FS7 对拍工具移除 diffDualRead（legacy 槽位基准退场）；diff() 对 legacy
  FLTR JSON 比对保留；FlightStoreDualReadTest 随工具移除
- 测试种子统一走 v2 写路径（support/SeedHelpers），GuardedFlightSchd 简化
- docs/decision-flight-state.md：头部复核入口更新 + 新增 §10 v2 落地终态索引，
  §1–§9 保留为历史记录

验证：MSGX_PG_PORT=5433 真实 PG 全量 100 用例 0 失败 0 跳过；无环境变量
Testcontainers 全新容器 V1.0.0→V1.4.0 迁移链 18/18 全绿
 2026-09-08 17:44:20 +08:00
windyboy 107be5d74a feat(infra): 数据库方言接缝 SqlDialect（PG 实装 + 11g MERGE 编译级交付）(ACM2-29 P3-B) 
- SqlDialect 接口：快照 upsert / 主行存在性保障两类方言敏感 SQL；
  PostgreSqlDialect 承接现有 ON CONFLICT 路径，JdbcFlightSchdRepository 已接入
- Oracle11gDialect：MERGE INTO 模板（编译级交付，未经目标库验证）——激活门控
  写入 KDoc：11.2 补丁 × JDK25 × ojdbc × Flyway(oracle11g location) × 连接池
  组合现场实测通过才允许切换，MERGE 绑定顺序适配随激活完成
- db/migration/oracle11g/README.md：11g 迁移位置占位与前置条件清单（CLOB 映射、
  空串=NULL 语义回归、display 视图 11g 版）

验证：MSGX_PG_PORT=5433 真实 PG 全量 108 用例 0 失败 0 跳过
 2026-09-08 17:10:40 +08:00
windyboy 48a27b26dd feat(jobs): 提交后回填补偿落库 backfill_todo 并到期重试 (ACM2-29 P2-3) 
- V1.3.2 迁移：backfill_todo 持久补偿表（attempts/next_attempt_at/last_error）
- BackfillTodoRepository 接口 + PG 实现与 stub；record 幂等 upsert
- BackfillSweepJob：到期重试，成功即删，失败指数退避（30s 起步封顶 15 分钟）；
  触发点 = InboxPoller 每轮心跳（重启即对账）+ JobExecutor BACKFILL_SWEEP 类型
- MessageProcessor/SnapshotFlow 回填失败落待办（成功终态不降级，业务不重放）；
  SKIPPED 重复报文同样补偿共享信箱回填，防止重复信件被反复轮询
- 新测试：扫描重试/退避/恢复对账 4 用例；快照回填失败落库断言；
  跳过路径补偿落库断言

验证：MSGX_PG_PORT=5433 真实 PG 全量 102 用例 0 失败 0 跳过 (ACM2-29)
 2026-09-08 13:04:43 +08:00
windyboy 44fbac0d8b feat(persistence): FLIGHT_SCHD_DISPLAY 兼容视图 + 生产读切明细权威 (ACM2-29 P2-2) 
- V1.3.1 迁移：flight_schd_display 视图投影首个/第二个资源与总数（gate1/gate2/
  gate_total、chkc1/chkc2/checkin_total、belt1/belt_total、dely_code/strt），
  完整明细仍在各明细表可查；PG LATERAL 方言，11g 随 P3-B 单独提供
- 生产读路径 mapFlightRow 切 assembleDetailOnly：集合键仅由明细表重建，
  不再回退 V1.2.0 槽位/里程碑列（过渡双读仅保留在 FS7 对拍工具内）
- FlightStateEngine 正确性修复：序号属性 "0" 条目现在正确翻译为显式 Clear
  （原实现 items 非空走 Replace，会存出 GTNO=0 脏明细行）；混入常规条目的
  0 标记 fail fast 拒绝猜测（v2 §4 非法结构显式失败）
- JDBC 用例全部切 v2 写路径（persistNextStates），删除 legacy 写路径断言；
  新增：显示视图投影/替换同步用例、明细级联删除断言、引擎 0 标记语义单测

验证：MSGX_PG_PORT=5433 真实 PG ./gradlew test --rerun-tasks
97 用例 0 失败 0 跳过
 2026-09-08 12:11:57 +08:00
windyboy 57bb5ea233 feat(flight-state): add V1.3.0 detail tables and domain command engine 
Introduce lossless detail-table schema and FlightStateEngine command model
per flight-state-design-v2 (FieldCommand, FlightNextState, collection semantics).
 2026-09-08 11:26:16 +08:00
windyboy cd5de56937 refactor(flight-schd): 全宽表零子表收敛 16 个集合并定案 PIPELINE_LOCK 行锁 (ACM2-29) 
依据 ACM2-29 新定案【全宽表·零子表】，废除「*_TXT 过渡 + 按需升独立子表」
原规划（对 XSD maxOccurs=99 的过度设计），结合报文样例与成都现场地服实际
规律（登机门 1~2、值机柜台 1~3、转盘 1~2、延误单有效、靠撤桥/轮挡各 1 次）
将 16 个明细集合全部收敛为 FLIGHT_SCHD 宽表标量列或紧凑 VARCHAR 字串。

行为变更：
- V1.2.0 迁移：新增集合平铺槽位列（GTDT×2/CKDT×3/CLDT×2/PSDT×2/CHDT×2，
  跨集合同名属性按 B 前缀/CH 前缀消解）、里程碑标量列（DELY_*、ABTM_A/D、
  CHOT_ON/OFF）、异常前缀标量列（FDIV/FRET/FLAB）、紧凑航路字串
  （ROUT_PATH/ERUT_PATH）与无界集合 JSON 字串列（SRVT/VIPF/MAFL_TEXT）；
  删除全部 16 个 *_TXT 文本列；不建任何子表、零 CLOB；
- 仓储层：删除子表替换/回查机制，写侧集合键平铺为列（序号属性 0 = 显式
  删除标记，分舱复用条目抹平去重，超界按定案丢弃），读侧由平铺列重建
  16 个集合键，视图与 legacy flightInfo hash 保持同构（KAFKA_SCHD 线格式
  与 FS7 Diff 逐字段比对不受存储形态影响）；
- I5 单写者锁修正：PIPELINE_LOCK 单行 SELECT ... FOR UPDATE 取代
  PG advisory lock，PG/Oracle 11g 同构，无 DBMS_LOCK DBA 特权依赖；
- FlightFieldsJson 对契约结构字段解析 JSON tree 输出原生数组/对象，
  杜绝集合被再次编码成字符串的双重转义。

不变量：消息严格 FIFO、单写者互斥、增量=字段级合并（集合键出现=单资源
集合级全量快照替换）、快照=整体替换、按代域化差删均不变。

迁移影响：本地开发库为一次性测试数据，已重置并由 Flyway 全新应用
V1.0.0→V1.2.0（同文件名内容变更，沿用旧库会触发校验和不匹配）。

验证：./gradlew test 全绿（66 个用例，含本地 PG 真实方言集成：集合槽位
替换/清除、里程碑与航路平铺回读、PIPELINE_LOCK NOWAIT 互斥与提交释放）。
 2026-09-08 08:48:24 +08:00
windyboy ff6cec08c8 refactor(flight-schd): 按现场 11g 约束将运营航班存储改为宽表 (ACM2-28 修订) 
现场环境仅提供 Oracle 11g（无任何 JSON 能力），废除 FLTR_JSON JSONB 整文档存储：

- V1.1.0 迁移重写：FLIGHT_SCHD 改为一行一航班宽表（SCHD.FLTR 标量字段列 +
  1:N 明细集合序列化文本列），SCHD_GEN.FLIDS_JSON 展开为 SCHD_GEN_FLID(FDAY, FLID)；
  已应用过旧版迁移的环境需重建 schema 重放
- 契约层：FlightChange/Handler 在线视图改为字段集映射（与 legacy flightInfo
  hash 同构），仓储白名单拒绝未知字段；增量写=字段级合并（hmset 同语义），
  快照=整体替换
- 事件载荷：快照投递与投影重建经 FlightFieldsJson 确定性序列化（键序稳定）
- 影子对拍：FlightStoreDiffTool 改为 PG 宽表列值 vs legacy FLTR JSON 逐字段
  归一化比对，新增嵌套集合比对用例
- 测试：61 用例全绿（不变量门槛 1/2/3、UTC 方言、真实 PG 方言集成、清场五场景）
- 文档：decision-flight-state.md 追加 §8 修订记录（不改写定案历史），design.md 表说明同步

11g 方言移植（ON CONFLICT→MERGE、advisory lock 替代、Flyway/驱动矩阵）、
集合列升子表、类型化列提升等未尽事项另立 Plane issue 跟踪。
 2026-09-07 17:04:57 +08:00
windyboy 7b7b61f100 feat(processing): 实现自有 PostgreSQL 运营航班权威存储与单事务闭环 (ACM2-28) 
- FS1: 增加 Flyway 迁移 V1.1.0__flight_schd.sql，创建 FLIGHT_SCHD 与 SCHD_GEN
- FS2: 实现 FlightSchdRepository 接口及 JdbcFlightSchdRepository 与 StubFlightSchd，增强 JdbcOps 事务管理
- FS3: 扩展 MessageProcessor 事务 2 与按 FLID 点查视图，合并变更、事件与终态入单事务提交
- FS4: SnapshotFlow SQL 化（批处理 upsert、域内差删、SQL CAS 推进与熔断保护），JobExecutor 接入 PG 清场删除
- FS5: 彻底退役 Redis 权威与写路径，移除 FlightRedisClient、Lua 脚本、健康指示器与配置残留
- FS6: 补齐 U09/U29 不变量门禁（崩溃幂等、CAS 防并发、ADFT 存活保障、非 UTC JVM/会话时区无漂移）与 FlywayMigrationTest
- FS7: 交付影子对拍比较内核 FlightStoreDiffTool 与单元测试
- FS8: 全面回改 decision-flight-state、architecture、design、user-stories 权威文档与规范
 2026-09-07 16:12:00 +08:00
windyboyandCursor 7ccdd00a31 docs: 统一中间件定位与 JDBC 轮询主路径口径 
Align README, architecture, design, config comments, and ingress docs
with the upstream message-processing middleware model: external CIIMS write
to CMINMSGS, JDBC poll as production ingress, HTTP /cminmsgs/send as compat.

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-07 10:27:44 +08:00
windyboy e0ce863905 refactor(storage): ACM2-12 落地——自有 PostgreSQL 全内部状态，共享 MySQL 仅信箱 
按 ACM2-12 定案把仓库存储口径从"MySQL 六辅助表"推进到最终形态：
- 迁移：删除 MySQL V2.0.0 六表脚本，新增自有 PG V1.0.0
  （PROC_STATE/MSG_EVENT/PUMP_JOB/REQ_TRACK/REF_MASTER，PG 方言，REQ_TRACK.COUTMSGS_ID
  按 U18 修为 BIGINT；FLIGHT_STATE 阶段 B 缓做不建表）。
- 配置：datasources.default = 自有 PostgreSQL（enabled=false 待 U05）；
  移除 datasources.reference/flyway.reference；新增 mailbox.shared-mysql（共享信箱，
  仅 DML，不建表）；test profile 显式启用 H2 内存 datasource。
- 接口/注释：Repositories KDoc 按 ACM2-12 归属（自有 PG / 信箱封装 / gen→Redis 占位 /
  FLIGHT_STATE 缓做）；InboxService、Pump 事务模型注释对正
  （信箱外部副作用 + PG 本地事务 + 回填最终一致）。
- 文档：architecture §1/§2/§3/§4/§5(D1/D2)/§6/§7/§8、design §1/§2/§3.1/§3.4/§3.5/§6/§9、
  README 全部按 ACM2-12 收口（自有 PG + 共享信箱 + Redis 动态/gen + 阶段 B 缓做）。

验证：37 测试全绿；dev stub 冒烟仍可启动、/health UP、收报 200。
信箱适配层（CminmsgMailbox/OutboxMailbox）、gen→Redis Lua、作业窗口语义、影子重设计
属 ACM2-12 Checks ②③④⑤（U05/U09 批次）。
 2026-09-07 08:21:11 +08:00
windyboy 2175c352f6 fix(processing): WP1 核心语义（ACM2-10 U06/U08/U10/U11） 
- U06/N03：Dispatcher 逐条循环显式排除 KAFKA_SCHD（唯一出口 flushSchd 批量聚合），
  修复 schd 事件被无条件 markSent 吞掉、flush 永远 claim 不到的整链死路；flush 失败整批
  保持 PENDING、lastFlush 仅成功后推进（N24）
- U08 部分：Pump/Dispatcher loop 异常隔离（单次异常不静默死亡，U12 补告警日志）；
  processOne FAILED 入口 attempts 毒丸升级 DEAD（防退避到期后无限重试）；
  N28：backoffFor(attempt≤0) 下界保护不再抛异常
- U10/N21：未注册 handler → FAILED(UNSUPPORTED)+退避（绝不写终态）；占位安全化——
  HistorySweep.pickHistory 占位改空集（T07 修订）、SnapshotFlow staging 未实装改
  FAILED(UNSUPPORTED)+退避而非 DEAD（N05），CAS 冲突 FAILED(INFRA)+退避（N06 紧循环修复）
- U11/T06：decode 失败差异化——MALFORMED→DEAD 不重试；CODEC_ERROR→FAILED 可重放
- 新增 ErrorClass.UNSUPPORTED；单测：DispatcherTickTest(3)/MessageProcessorTest(6)/
  PipelinePropsTest(2)，19 个测试全绿
 2026-09-06 18:19:04 +08:00
windyboy 821da1334c feat(build): 阶段0 冒烟底座（ACM2-10 U01–U04） 
- U01：接入 KSP(kotlin-ksp 2.3.0)+micronaut-inject-kotlin，Micronaut BeanDefinition 由 0→94 个生成；
  移除 processing.annotations 业务包过滤（N23）
- U02：补 Gradle wrapper(9.6.1)；版本矩阵单一来源——micronaut 固定 5.1.3(gradle.properties
  micronaut.version，平台 BOM 最高发布版)、JDK25 口径统一、snakeyaml 版本入 catalog；
  新增 .github/workflows/ci.yml 与 Dockerfile；.gitignore 补 .kotlin/.opencode/.zcode/.gradle-*
- U03：application.yml 键位修正(datasources.default/flyway.datasources.default/kafka.producers.default)，
  移除 logstash 死配置块、logback env 统一 MSGX_LOGSTASH_*；新增 application-dev.yml(/env、/beans
  仅开发放开)；PipelineProps 四嵌套类补 @ConfigurationProperties；新增 PipelinePropsBindingTest
  （改值—回读离线验收，Micronaut Test 5.x 用 TestPropertyProvider）
- U04：README「数据库初始化」与 V2.0.0 脚本头声明 CMINMSGS legacy 前置（全新库需先建旧表）
 2026-09-06 17:59:07 +08:00
windyboy b2f3b896cc feat: scaffold Micronaut+Kotlin service per ACMA-8 v4 architecture 
- 4 modules (ingress/processing/delivery/reference) + codec + infra + jobs
- Flyway V2.0.0: six aux tables (PROC_STATE/MSG_EVENT/REF_DATA/REQ_TRACK/PUMP_JOB/FLIGHT_STATE)
- Lua: snapshot_replace (atomic cover+gen-diff-delete), batch_delete (3:30 sweep)
- config: env-externalized secrets, phase A/B switch, ACMA-8 param-table defaults
- logback: logstash TCP JSON + traceId MDC
- pure-logic tests: identity (I3), schd aggregation max-by-EVENT_ID (FIX #7)
- build verified: gradle compile+test green on JDK 25 (Micronaut 5.1 requires JVM 25+)

Migrated from legacy repo subdirectory per repo-strategy decision (separate repo
per service, org convention). Refs: ACMA-9, ACMA-8 v4, ACMA-6
 2026-09-06 16:13:50 +08:00