windy/msgexchange-v2
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
96 Commits 1 Branch 0 Tags
8631ec0b203f290d9dfc47367c456da4a29d28cf
Commit Graph
10 Commits
Author SHA1 Message Date
windyboy 1e75a81107 fix(pipeline): 修复取报-处理-回填链路的超时、吞吐、回填与 FIFO 问题 
外部调用（ACM2-33）
- 共享 MySQL 与自有 PG 全部补有界超时：驱动 connect/socket 超时 + Hikari 池超时
  （注意 Micronaut 的 Hikari 项是毫秒数，不是 Duration 字面量）
- 删除主泵/毒丸路径的 inline 回填：跨库写不再占用 FIFO 关键路径，回填统一由扫描驱动
- 游标自愈：save() 改为「先 UPDATE、缺行 INSERT」，缺行只记一次 ERROR
- Pump/Dispatcher 外层 catch 补 error 日志与失败计数

投递吞吐（ACM2-34）
- Dispatcher 改批量领取；队头退避未到期或首条发送失败即停止本轮（保持目标内保序）
- 有活不再 sleep；删除不可达的 state==SENT 死条件；markSent 移入分支；
  superseded 清理加轮数上限与空 eventId 保护

回填闭环（ACM2-36，V4）
- MISSING（运行时确认行不存在）立即放弃自动重试并告警；暂时性故障达上限后停止自动重试
- 新增 reopen 人工恢复入口；放弃 ≠ 标记已确认（BACKFILL_AT 仍为空，清除前提不成立）
- 扫描改 (BACKFILL_ATTEMPTS, MSG_ID) 公平轮转并排除放弃行，消除全局回填饥饿
- V4 只加字段与必要索引，不按年龄做任何存量推断

切流播种（ACM2-35，V5）
- cutover-watermark 四模式（min/zero/max/显式 ID），默认不播种、代码不做默认选择
- 升级实例拒绝重新播种（SEEDED_AT 为 NULL ≠ 从未消费）；播种与水位同语句落库
- 非法取值由启动自检挡下

错误分类与入口契约（ACM2-37）
- 未知 SCHD 子类型改为 UNSUPPORTED，不再静默当全量日计划合并
- ADFT 运营日冲突改走 ProtocolViolation → DEAD(PROTOCOL)
- 兼容入口 receivedAt 缺失回退到注入 Clock；MessageLifecycleGate 强制注入 + 装配断言
- FIFO：主泵只领取 msgId ≤ W，兼容入口登记的行在水位追平前不被领取

时间源与可观测（ACM2-38 / ACM2-41 阶段 0）
- 仓储/处理器/作业全部经注入 Clock；移除 markTerminal/markBackfilled 的 Instant.now() 默认值
- 退避表档位与 max-attempts 对齐并加启动自检
- Micrometer 7 个 gauge（@Context 急切注册）+ /health 与 /metrics 共用积压快照缓存
- 只读迟到检测：监视被放行的空洞 ID 是否后来真的出现，只计数告警、不补入队

Plane: ACM2-33 ACM2-34 ACM2-35 ACM2-36 ACM2-37 ACM2-38 ACM2-41
Tests: 88 → 120（1 skipped 需真实 PG）
 2026-09-11 08:08:35 +08:00
windyboy 09b53c77bb refactor(ingress): 信箱边界层契约重构——发现与处理标记解耦、回填事实并入 PROC_STATE 
收报扫描不再以 DATE_PROCESSED 为谓词：终态而未回填的行（解码失败死信等）会永久占据
有限批次，累积到 claim-batch 后收报整体停摆（US-01 条目 3 / message-lifecycle §5.3）。

ingress/InboxPoller.kt：按 ID 区间升序有界读取（ID > W），水位落 INBOX_CURSOR 并与入队
同一 PG 事务推进（中断后重扫补建）；遇空洞即停，空洞超过 pipeline.max-commit-delay 判定
为永久并放行——否则水位永久停摆于一次自增回滚留下的空位。删除 InboxEnqueue（改由
insertIfAbsent 幂等入队）与 poller 内的回填扫描（消除 ingress→jobs 反向依赖）。

infra/persistence：端口按事实重画为 readRange/maxId/markProcessedIfUnmarked，标记 UPDATE
带 DATE_PROCESSED IS NULL 守卫，只把空标写为已处理（§11 单调，重复执行无副作用）。
回填事实并入 PROC_STATE（RECEIVED_AT/BACKFILL_AT/NEXT_AT/ATTEMPTS/ERROR），BACKFILL_TODO
随 V2 迁移下线；终态与回填意图是同一条 UPDATE，由处理器在自己的业务事务内落库，
message-lifecycle §4 登记的两个崩溃窗口（提交后回填前崩溃、待办二次落账失败）不再是缺口。

processing/BackfillService.kt（取代 BackfillSweepJob）：终态提交后立即尝试一次，失败按
30s→15min 指数退避重试；扫描条件「终态 + 未确认标记 +（已到期 或 接收时间早于 NOW − R）」
使 §5.2 的超期期限 R 覆盖退避，中间态永不补写。死信同样可补写——回填只需消息 ID，
不再依赖 META。Pump 改用可注入 Clock。

infra/health：InboxLifecycleHealthIndicator 输出积压条数、最老未处理信龄、未回填终态数与
水位滞后（OPS-2 / §5.3 验收）。预计消化时长需吞吐采样，留待接入指标注册表时补。

配置：pipeline.max-commit-delay / overdue-backfill / backfill-batch、mailbox.processed-value
（Q2/Q6/Q7 未书面确认前取保守初值，不得为提速下调）。

不变量回归测试：死信不阻断后续发现、水位遇空洞即停与老化放行、终态+意图同事务、
超期 R 覆盖退避、中间态不补写、标记单调；InboxLifecycleJdbcSqlTest 以 H2 的 PostgreSQL
兼容模式直连验证上述 SQL 语义（不依赖 docker）。libs.h2 由 testRuntimeOnly 提为
testImplementation 以支持该用例。

验证：gradle clean test --offline → 78 tests / 0 failures / 1 skipped
（PG Testcontainers 集成用例在本机无 docker 时按既有约定 assumeTrue 跳过）。
 2026-09-10 10:59:58 +08:00
windyboy c688f08337 build(kotlin): stabilize annotation targets 2026-09-09 19:50:33 +08:00
windyboy 35c91c67b9 test(integration): JDBC 集成测试 Testcontainers 兜底 + 全结构回环矩阵 (ACM2-29 P3-A) 
- PgTestSupport 三级解析：MSGX_PG_* 显式环境变量 → Testcontainers 自动起
  postgres:17-alpine 隔离容器（JVM 单例复用，docker 不可用才跳过）→ assumeTrue
  绝不误报通过；解决了「本机端口被占/无库则集成测试静默跳过」的验收假绿问题
- loadCollections 只输出非空属性（缺失键语义），write→read 线格式一致
- 新增 readAfterWrite 矩阵用例：16 类结构（多行/重复资源号/非连续源序号/异常
  前缀列/文本旁列）persist → findNextStateByFlid 深度等值 + wire(nextState) ==
  wire(readAfterWrite) 双断言（评审 F5 持久化侧+线格式侧闭环）

验证：MSGX_PG_PORT=5433 外接库 108 用例全绿；无环境变量 Testcontainers
自动容器路径 18/18 全绿
 2026-09-08 16:00:26 +08:00
windyboy 7b7b61f100 feat(processing): 实现自有 PostgreSQL 运营航班权威存储与单事务闭环 (ACM2-28) 
- FS1: 增加 Flyway 迁移 V1.1.0__flight_schd.sql，创建 FLIGHT_SCHD 与 SCHD_GEN
- FS2: 实现 FlightSchdRepository 接口及 JdbcFlightSchdRepository 与 StubFlightSchd，增强 JdbcOps 事务管理
- FS3: 扩展 MessageProcessor 事务 2 与按 FLID 点查视图，合并变更、事件与终态入单事务提交
- FS4: SnapshotFlow SQL 化（批处理 upsert、域内差删、SQL CAS 推进与熔断保护），JobExecutor 接入 PG 清场删除
- FS5: 彻底退役 Redis 权威与写路径，移除 FlightRedisClient、Lua 脚本、健康指示器与配置残留
- FS6: 补齐 U09/U29 不变量门禁（崩溃幂等、CAS 防并发、ADFT 存活保障、非 UTC JVM/会话时区无漂移）与 FlywayMigrationTest
- FS7: 交付影子对拍比较内核 FlightStoreDiffTool 与单元测试
- FS8: 全面回改 decision-flight-state、architecture、design、user-stories 权威文档与规范
 2026-09-07 16:12:00 +08:00
windyboy c7b4b527ef feat(ingress): 实现 JDBC 信箱轮询、入站持久化与对拍测试 (U05) 2026-09-07 15:11:33 +08:00
windyboy a3f1da4bcc feat(ref): 21 类静态主数据独立 PostgreSQL 参考库边界就位（ACM2-11 落地） 
按 ACM2-11 定案调整（业务事务库 MySQL + 航班动态 Redis 不变）：
- 接口拆分：RefDataRepository 收为 gen-only（SCHD_GEN/流程 4 CAS，留守业务库）；
  新增 StaticRefRepository + RefUpsert 对齐 SOURCE 审计（N19）。
- 调用点：RequestCoordinator 应答落库、ReferenceService(21 类同步 TODO) 指向
  StaticRefRepository；Decision.refUpserts 与 Pump 事务 2 注释同步
  （静态写为弱事务，不入主泵事务 2）。
- Stub：StubRefData 仅 gen；新增 StubStaticRef（内存，保留 source）。
- 配置：datasources.reference / flyway.datasources.reference 占位
  （PostgreSQL，enabled=false 不建连；驱动 org.postgresql 随阶段 6 实装引入，
  版本由 platform BOM 约束 ~42.7）；catalog 补 postgresql。
- 文档：README / docs/architecture.md §2/§6 / docs/design.md §2/§6/§9 数据边界
  全部按"21 类 → PG 参考库、gen 留守 MySQL、Redis 动态不变"更新。

验证：37 测试全绿（./gradlew test，接口拆分后无破坏）。
表结构/迁移/ReferenceService 实装/应答接线属阶段 6（U05 批次后）。
 2026-09-07 07:56:54 +08:00
windyboy 7e3bf383a5 docs+fix: 文档回到代码事实；修复 dev 冒烟使其真正可跑（ACM2-10 复核意见落地） 
实测过程发现并修复四层问题，随后全部按实测结果校订文档：

- build.gradle.kts：补 application.mainClass（Kotlin 顶层 main → ApplicationKt）。
  此前 ./gradlew run 报 "No main class specified"，installDist 启动脚本主类为空（Dockerfile 不可运行）。
- application-dev.yml：stub 模式真正免基础设施——
  * datasources.default.enabled=false（micronaut-jdbc JdbcDataSourceEnabled 条件排除 DataSource，
    原注释"stub 不建连"意图未实现，DataSource eager 强制连 MySQL 导致启动失败）；
  * 关闭 micronaut 自带 Redis/Kafka 健康指示器（无 broker 时装配即把 /health 打成 500）；
  * 端点配置前缀修正：micronaut.endpoints.* 是死配置（/env 404、/beans 401 实测），
    正确为顶层 endpoints.*（env 默认禁用 / beans 默认 enabled+sensitive 一并注明）；
  * 关闭 eureka discovery，避免无注册中心时 /health 变 DOWN。
  验证：MICRONAUT_ENVIRONMENTS=dev ./gradlew run 无任何 env/外部依赖启动 → POST /cminmsgs/send
  200 返回 ID → /health UP；text/plain 415（U16 缺口实证）。37 测试全绿未受影响。
- README/docs/architecture.md/docs/design.md：按实测与复核意见校订——
  * README：dev 冒烟命令恢复为"无需 DB/Redis/Kafka"，记录修复缘由；
  * architecture：U17 服务名未落地（注册名仍取 micronaut.application.name=msgexchange-nextgen，
    msgx.service-name 无消费方）、三层隔离为目标态（仅 register-eureka=false 生效）、
    管理端点 5.1 实际口径（/env 默认禁用、/beans 默认 enabled+sensitive）、就绪度口径更新；
  * design：§9 补 U17 行；smoke 路径 UNSUPPORTED→CODEC_ERROR 修正；毒丸 head-deadline 判据不可达、
    快照 CAS 崩溃重放二次自增版本等"代码行为≠文档声明"处加实现注；I1 状态行同步。
- gradle/libs.versions.toml + gradle.properties：版本矩阵注释按依赖解析实测修正
  （platform 5.1.3 生效但 core 系解析 5.1.13，classpath 混用；原"5.1.10 无平台 BOM"说法与观测不符）。

未提交内容：无。代码级缺陷（毒丸判据、CAS 重放、DNLD 路由顺序、identity 键释放等）仍属
ACM2-10 排期，本次仅按文档职责如实标注，未改动实现。
 2026-09-07 07:39:57 +08:00
windyboy 821da1334c feat(build): 阶段0 冒烟底座（ACM2-10 U01–U04） 
- U01：接入 KSP(kotlin-ksp 2.3.0)+micronaut-inject-kotlin，Micronaut BeanDefinition 由 0→94 个生成；
  移除 processing.annotations 业务包过滤（N23）
- U02：补 Gradle wrapper(9.6.1)；版本矩阵单一来源——micronaut 固定 5.1.3(gradle.properties
  micronaut.version，平台 BOM 最高发布版)、JDK25 口径统一、snakeyaml 版本入 catalog；
  新增 .github/workflows/ci.yml 与 Dockerfile；.gitignore 补 .kotlin/.opencode/.zcode/.gradle-*
- U03：application.yml 键位修正(datasources.default/flyway.datasources.default/kafka.producers.default)，
  移除 logstash 死配置块、logback env 统一 MSGX_LOGSTASH_*；新增 application-dev.yml(/env、/beans
  仅开发放开)；PipelineProps 四嵌套类补 @ConfigurationProperties；新增 PipelinePropsBindingTest
  （改值—回读离线验收，Micronaut Test 5.x 用 TestPropertyProvider）
- U04：README「数据库初始化」与 V2.0.0 脚本头声明 CMINMSGS legacy 前置（全新库需先建旧表）
 2026-09-06 17:59:07 +08:00
windyboy b2f3b896cc feat: scaffold Micronaut+Kotlin service per ACMA-8 v4 architecture 
- 4 modules (ingress/processing/delivery/reference) + codec + infra + jobs
- Flyway V2.0.0: six aux tables (PROC_STATE/MSG_EVENT/REF_DATA/REQ_TRACK/PUMP_JOB/FLIGHT_STATE)
- Lua: snapshot_replace (atomic cover+gen-diff-delete), batch_delete (3:30 sweep)
- config: env-externalized secrets, phase A/B switch, ACMA-8 param-table defaults
- logback: logstash TCP JSON + traceId MDC
- pure-logic tests: identity (I3), schd aggregation max-by-EVENT_ID (FIX #7)
- build verified: gradle compile+test green on JDK 25 (Micronaut 5.1 requires JVM 25+)

Migrated from legacy repo subdirectory per repo-strategy decision (separate repo
per service, org convention). Refs: ACMA-9, ACMA-8 v4, ACMA-6
 2026-09-06 16:13:50 +08:00