windy/msgexchange-v2
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
142 Commits 1 Branch 0 Tags
main
Commit Graph
6 Commits
Author SHA1 Message Date
windyboy 62f61ad9e4 feat(delivery): 真实 Kafka 投递端口 + 闭合 G-BACKFILL-BACKOFF 配置缺口 
- 新增 KafkaDeliveryPort：ProducerRegistry + 同步 Future.get() 至少一次投递，
  闭合 OPS-1 真实适配器要求与 US-07 INV-10/C-29
- 回填退避从硬编码 30s/15min 提升为 backfill-backoff-ms / backfill-backoff-cap-ms
  配置绑定，闭合 [G-BACKFILL-BACKOFF]
- 删除死依赖 micronaut-redis-lettuce（代码零引用，ACM2-28 Redis 已退出阶段 A）
 2026-09-13 16:26:03 +08:00
windyboy 1e75a81107 fix(pipeline): 修复取报-处理-回填链路的超时、吞吐、回填与 FIFO 问题 
外部调用（ACM2-33）
- 共享 MySQL 与自有 PG 全部补有界超时：驱动 connect/socket 超时 + Hikari 池超时
  （注意 Micronaut 的 Hikari 项是毫秒数，不是 Duration 字面量）
- 删除主泵/毒丸路径的 inline 回填：跨库写不再占用 FIFO 关键路径，回填统一由扫描驱动
- 游标自愈：save() 改为「先 UPDATE、缺行 INSERT」，缺行只记一次 ERROR
- Pump/Dispatcher 外层 catch 补 error 日志与失败计数

投递吞吐（ACM2-34）
- Dispatcher 改批量领取；队头退避未到期或首条发送失败即停止本轮（保持目标内保序）
- 有活不再 sleep；删除不可达的 state==SENT 死条件；markSent 移入分支；
  superseded 清理加轮数上限与空 eventId 保护

回填闭环（ACM2-36，V4）
- MISSING（运行时确认行不存在）立即放弃自动重试并告警；暂时性故障达上限后停止自动重试
- 新增 reopen 人工恢复入口；放弃 ≠ 标记已确认（BACKFILL_AT 仍为空，清除前提不成立）
- 扫描改 (BACKFILL_ATTEMPTS, MSG_ID) 公平轮转并排除放弃行，消除全局回填饥饿
- V4 只加字段与必要索引，不按年龄做任何存量推断

切流播种（ACM2-35，V5）
- cutover-watermark 四模式（min/zero/max/显式 ID），默认不播种、代码不做默认选择
- 升级实例拒绝重新播种（SEEDED_AT 为 NULL ≠ 从未消费）；播种与水位同语句落库
- 非法取值由启动自检挡下

错误分类与入口契约（ACM2-37）
- 未知 SCHD 子类型改为 UNSUPPORTED，不再静默当全量日计划合并
- ADFT 运营日冲突改走 ProtocolViolation → DEAD(PROTOCOL)
- 兼容入口 receivedAt 缺失回退到注入 Clock；MessageLifecycleGate 强制注入 + 装配断言
- FIFO：主泵只领取 msgId ≤ W，兼容入口登记的行在水位追平前不被领取

时间源与可观测（ACM2-38 / ACM2-41 阶段 0）
- 仓储/处理器/作业全部经注入 Clock；移除 markTerminal/markBackfilled 的 Instant.now() 默认值
- 退避表档位与 max-attempts 对齐并加启动自检
- Micrometer 7 个 gauge（@Context 急切注册）+ /health 与 /metrics 共用积压快照缓存
- 只读迟到检测：监视被放行的空洞 ID 是否后来真的出现，只计数告警、不补入队

Plane: ACM2-33 ACM2-34 ACM2-35 ACM2-36 ACM2-37 ACM2-38 ACM2-41
Tests: 88 → 120（1 skipped 需真实 PG）
 2026-09-11 08:08:35 +08:00
windyboy a3f1da4bcc feat(ref): 21 类静态主数据独立 PostgreSQL 参考库边界就位（ACM2-11 落地） 
按 ACM2-11 定案调整（业务事务库 MySQL + 航班动态 Redis 不变）：
- 接口拆分：RefDataRepository 收为 gen-only（SCHD_GEN/流程 4 CAS，留守业务库）；
  新增 StaticRefRepository + RefUpsert 对齐 SOURCE 审计（N19）。
- 调用点：RequestCoordinator 应答落库、ReferenceService(21 类同步 TODO) 指向
  StaticRefRepository；Decision.refUpserts 与 Pump 事务 2 注释同步
  （静态写为弱事务，不入主泵事务 2）。
- Stub：StubRefData 仅 gen；新增 StubStaticRef（内存，保留 source）。
- 配置：datasources.reference / flyway.datasources.reference 占位
  （PostgreSQL，enabled=false 不建连；驱动 org.postgresql 随阶段 6 实装引入，
  版本由 platform BOM 约束 ~42.7）；catalog 补 postgresql。
- 文档：README / docs/architecture.md §2/§6 / docs/design.md §2/§6/§9 数据边界
  全部按"21 类 → PG 参考库、gen 留守 MySQL、Redis 动态不变"更新。

验证：37 测试全绿（./gradlew test，接口拆分后无破坏）。
表结构/迁移/ReferenceService 实装/应答接线属阶段 6（U05 批次后）。
 2026-09-07 07:56:54 +08:00
windyboy 7e3bf383a5 docs+fix: 文档回到代码事实；修复 dev 冒烟使其真正可跑（ACM2-10 复核意见落地） 
实测过程发现并修复四层问题，随后全部按实测结果校订文档：

- build.gradle.kts：补 application.mainClass（Kotlin 顶层 main → ApplicationKt）。
  此前 ./gradlew run 报 "No main class specified"，installDist 启动脚本主类为空（Dockerfile 不可运行）。
- application-dev.yml：stub 模式真正免基础设施——
  * datasources.default.enabled=false（micronaut-jdbc JdbcDataSourceEnabled 条件排除 DataSource，
    原注释"stub 不建连"意图未实现，DataSource eager 强制连 MySQL 导致启动失败）；
  * 关闭 micronaut 自带 Redis/Kafka 健康指示器（无 broker 时装配即把 /health 打成 500）；
  * 端点配置前缀修正：micronaut.endpoints.* 是死配置（/env 404、/beans 401 实测），
    正确为顶层 endpoints.*（env 默认禁用 / beans 默认 enabled+sensitive 一并注明）；
  * 关闭 eureka discovery，避免无注册中心时 /health 变 DOWN。
  验证：MICRONAUT_ENVIRONMENTS=dev ./gradlew run 无任何 env/外部依赖启动 → POST /cminmsgs/send
  200 返回 ID → /health UP；text/plain 415（U16 缺口实证）。37 测试全绿未受影响。
- README/docs/architecture.md/docs/design.md：按实测与复核意见校订——
  * README：dev 冒烟命令恢复为"无需 DB/Redis/Kafka"，记录修复缘由；
  * architecture：U17 服务名未落地（注册名仍取 micronaut.application.name=msgexchange-nextgen，
    msgx.service-name 无消费方）、三层隔离为目标态（仅 register-eureka=false 生效）、
    管理端点 5.1 实际口径（/env 默认禁用、/beans 默认 enabled+sensitive）、就绪度口径更新；
  * design：§9 补 U17 行；smoke 路径 UNSUPPORTED→CODEC_ERROR 修正；毒丸 head-deadline 判据不可达、
    快照 CAS 崩溃重放二次自增版本等"代码行为≠文档声明"处加实现注；I1 状态行同步。
- gradle/libs.versions.toml + gradle.properties：版本矩阵注释按依赖解析实测修正
  （platform 5.1.3 生效但 core 系解析 5.1.13，classpath 混用；原"5.1.10 无平台 BOM"说法与观测不符）。

未提交内容：无。代码级缺陷（毒丸判据、CAS 重放、DNLD 路由顺序、identity 键释放等）仍属
ACM2-10 排期，本次仅按文档职责如实标注，未改动实现。
 2026-09-07 07:39:57 +08:00
windyboy 821da1334c feat(build): 阶段0 冒烟底座（ACM2-10 U01–U04） 
- U01：接入 KSP(kotlin-ksp 2.3.0)+micronaut-inject-kotlin，Micronaut BeanDefinition 由 0→94 个生成；
  移除 processing.annotations 业务包过滤（N23）
- U02：补 Gradle wrapper(9.6.1)；版本矩阵单一来源——micronaut 固定 5.1.3(gradle.properties
  micronaut.version，平台 BOM 最高发布版)、JDK25 口径统一、snakeyaml 版本入 catalog；
  新增 .github/workflows/ci.yml 与 Dockerfile；.gitignore 补 .kotlin/.opencode/.zcode/.gradle-*
- U03：application.yml 键位修正(datasources.default/flyway.datasources.default/kafka.producers.default)，
  移除 logstash 死配置块、logback env 统一 MSGX_LOGSTASH_*；新增 application-dev.yml(/env、/beans
  仅开发放开)；PipelineProps 四嵌套类补 @ConfigurationProperties；新增 PipelinePropsBindingTest
  （改值—回读离线验收，Micronaut Test 5.x 用 TestPropertyProvider）
- U04：README「数据库初始化」与 V2.0.0 脚本头声明 CMINMSGS legacy 前置（全新库需先建旧表）
 2026-09-06 17:59:07 +08:00
windyboy b2f3b896cc feat: scaffold Micronaut+Kotlin service per ACMA-8 v4 architecture 
- 4 modules (ingress/processing/delivery/reference) + codec + infra + jobs
- Flyway V2.0.0: six aux tables (PROC_STATE/MSG_EVENT/REF_DATA/REQ_TRACK/PUMP_JOB/FLIGHT_STATE)
- Lua: snapshot_replace (atomic cover+gen-diff-delete), batch_delete (3:30 sweep)
- config: env-externalized secrets, phase A/B switch, ACMA-8 param-table defaults
- logback: logstash TCP JSON + traceId MDC
- pure-logic tests: identity (I3), schd aggregation max-by-EVENT_ID (FIX #7)
- build verified: gradle compile+test green on JDK 25 (Micronaut 5.1 requires JVM 25+)

Migrated from legacy repo subdirectory per repo-strategy decision (separate repo
per service, org convention). Refs: ACMA-9, ACMA-8 v4, ACMA-6
 2026-09-06 16:13:50 +08:00