feat(acm2-76): 联调栈数据库自动初始化——基础数据/字典/信箱报文/历史索引
- postgres-init：02 建 basicdata schema 与 25 张基础数据表（表列对齐 admin-api secondary 实体注解），03 灌双流 T2 种子（fims_* 待 Q25 不造数）； 独立 schema 避免 public 非空导致 Flyway 首次 migrate 失败 - admin-mysql-init：原样引入 admin-api 仓库 adminapi_* 建表与字典/UI 种子， v0.0.2 补 FLIGHT_TASK/FLIGHT_TYPE 条目；compose 强制 utf8mb4 并设 LANG， 防 initdb 客户端落 latin1 造成中文双重编码 - es-init 一次性服务：按 admin-api mapping 建 flight_hts2（别名 flight_hts）， 副本置 0 保持单节点 green - dev/mysql-init：CMINMSGS 5 条样例报文（SCHD/FLOP×2/REGN/ARPT）， REGN/ARPT 标注现状预期（SKIPPED / DEAD(EXHAUSTED)） - seed-flight.sql：Flyway 建表后手动执行，8 条航班 6 场景 + 资源明细 - admin-api.yml secondary 加 currentSchema=basicdata,public - README：初始化/种子/重建卷/验收边界说明 已用 podman compose 重建数据卷全链实测；ACM2-76 有评审与验收全记录。
This commit is contained in:
windyboy
@@ -8,12 +8,12 @@
|
||||
|
||||
| 服务 | 用途 |
|
||||
| --- | --- |
|
||||
| postgres | msgexchange-v2 自有业务数据库；admin-api 使用只读账号 |
|
||||
| postgres | msgexchange-v2 自有业务数据库；admin-api 使用只读账号；基础数据表见 `basicdata` schema |
|
||||
| mysql | 本地共享信箱模拟，复用 `deploy/dev/mysql-init`，不修改外部邮箱结构 |
|
||||
| admin-mysql | admin-api Primary 数据源，独立空库，不与共享信箱混用 |
|
||||
| admin-mysql | admin-api Primary 数据源，首启自动建 `adminapi_*` 表与字典/UI 种子，不与共享信箱混用 |
|
||||
| redis | 保留开发栈的 Valkey 服务，不改变当前应用的数据归属 |
|
||||
| kafka | INTERNAL 用于容器健康检查，EXTERNAL 通告服务器地址 |
|
||||
| elasticsearch | admin-api 历史查询依赖；未预建索引或导入数据 |
|
||||
| elasticsearch | admin-api 历史查询依赖；es-init 预建空索引 `flight_hts`，写入待 US-14 交付 |
|
||||
|
||||
端口和测试凭据在 `compose.integration.yaml`，应用对应值在本目录配置文件。
|
||||
Elasticsearch 旧版本仅用于兼容验证，Apple Silicon 需要 amd64 模拟支持；镜像配置参考 [Elastic Docker 文档](https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docker.html)。
|
||||
@@ -30,10 +30,47 @@ docker compose -f compose.integration.yaml ps
|
||||
```
|
||||
|
||||
该命令创建独立项目的容器、网络和数据卷，不启动两个 Java 应用。
|
||||
首次初始化时创建 PG 只读用户，并为随后由 `msgx_dev` 创建的 public 表和视图授予 SELECT；不授予写入权限。
|
||||
首次初始化时创建 PG 只读用户，为随后由 `msgx_dev` 创建的 public 表和视图授予 SELECT；`02` 脚本另建测试 schema `basicdata` 并授予同权限。均不授予写入权限。
|
||||
初始化脚本只对空数据卷执行，已有卷不会自动补执行或修改密码。
|
||||
SELinux 环境下，初始化目录挂载通过 `Z` 设置容器专用标签；与开发栈共用的信箱目录使用 `z` 共享标签，保持只读挂载。
|
||||
|
||||
## 测试数据库初始化与种子数据
|
||||
|
||||
计划与评审记录见 Plane `ACM2-76`；`basicdata` 是 admin-api 联调的基础数据承载，表列对齐其实体注解，不预设 `REF_MASTER` 物理形态。
|
||||
|
||||
**随首次初始化自动执行**（空卷时）：
|
||||
|
||||
- `postgres-init/02-basicdata-schema.sql`：建 schema `basicdata` 与 25 张基础数据表；表与列取自 admin-api `domain/secondary/entity` 的 `@Table`/`@Column` 注解（`C-10`）。独立 schema 而非 `public`，否则首次 Flyway migrate 因 public 非空且无 history 表失败。
|
||||
- `postgres-init/03-basicdata-seed.sql`：`basicdata` 的双流 T2 语境种子，编码与信箱报文一致；季度计划表不造数（`Q25`）。
|
||||
- `../dev/mysql-init/02-mailbox-messages.sql`：向共享信箱 `cdairport.CMINMSGS` 插 5 条样例报文（SCHD/FLOP×2/REGN/ARPT）。该目录与开发栈共用，dev 侧已有卷同样不会自动补种。
|
||||
- `admin-mysql-init/v0.0.1.20190110_adminapi_ddl.sql` 与 `..._initdata.sql`：原样执行 admin-api 仓库迁移脚本，建 4 张 `adminapi_*` 表并灌字典分组/条目（含 `ROUTE_TYPE`）与 UI 默认设置，覆盖 `/dictionary/*`、`/settings/*`。
|
||||
- `admin-mysql-init/v0.0.2_adminapi_dict_extra.sql`：自造字典补充种子，补齐 `FLIGHT_TYPE`（对齐 `sys_flight_type` 的 S/N/C/F）与 `FLIGHT_TASK` 四条；服务端以 compose 强制 utf8mb4、容器设 `LANG=C.UTF-8` 防 initdb 客户端落 latin1 造成中文双重编码。
|
||||
- `es-init`（compose 一次性服务）：按 admin-api 仓库的 `v1.2.0_20190428_flightHstMapping.json` 建索引 `flight_hts2`（别名 `flight_hts`）并把副本置 0（单节点保持 green）；索引为空，写入待 US-14，已存在则跳过。
|
||||
|
||||
**应用首启后手动执行**（Flyway 建完 16 张业务表之后）：
|
||||
|
||||
```sh
|
||||
psql -h 127.0.0.1 -p 15432 -U msgx_dev -d msgx -f deploy/integration/seed-flight.sql
|
||||
```
|
||||
|
||||
`seed-flight.sql` 在事务内写入 6 个场景共 8 条航班（进港/离港/主共享对/延误/取消/过站）及资源明细，可重复执行。
|
||||
|
||||
**重建数据卷**（破坏性操作，仅限测试环境；初始化与种子脚本只在空卷时生效）：
|
||||
|
||||
```sh
|
||||
docker compose -f compose.integration.yaml down
|
||||
docker volume rm msgx-integration_pg_data # 基础数据表与种子需重建 PG 卷
|
||||
docker volume rm msgx-integration_mysql_data # 信箱报文种子另需重建 MySQL 卷
|
||||
docker volume rm msgx-integration_admin_mysql_data # 字典/UI 种子另需重建 admin MySQL 卷
|
||||
docker volume rm msgx-integration_es_data # flight_hts 索引另需重建 ES 卷
|
||||
docker compose -f compose.integration.yaml up -d
|
||||
```
|
||||
|
||||
开发栈要补信箱报文，同样删除其 mysql 卷后重启（卷名见 `compose.yaml`）。
|
||||
本文 `docker compose` 命令对 `podman compose` 同样适用；podman 需先启动用户级 API socket（`systemctl --user start podman.socket`）。
|
||||
|
||||
**预期行为**（现状口径，US-13 落地后需更新）：应用消费信箱后，SCHD/FLOP 落 `FLIGHT_SCHD` 与明细；REGN 命中忽略清单 `SKIPPED` 并回填；ARPT 按合法但不支持处理，`FAILED(UNSUPPORTED)` 退避约 15 秒后 `DEAD(EXHAUSTED)` 再回填。admin-api 读 `basicdata`，`REF_MASTER` 读取契约待 `Q22`/`C-10` 定稿（参考数据的 SIS 落库本身也是 `G-REF-DATA` 缺口）。
|
||||
|
||||
## 运行 msgexchange-v2
|
||||
|
||||
在应用机器的仓库根目录，用项目要求的 JDK 执行：
|
||||
@@ -62,17 +99,18 @@ java -jar /home/fengzhiqiang/project/airport/chengdu/admin-api/target/admin-api-
|
||||
|
||||
独立 profile 避免加载内置 dev/test/pro 地址，关闭 Eureka 和自动建表，日志只输出控制台。
|
||||
两个 JPA 数据源不能全局强设 PG 方言；启动日志需确认 Primary 为 MySQL、Secondary 为 PostgreSQL。
|
||||
Secondary URL 带 `currentSchema=basicdata,public`，`/basicdata/*` 解析到 `basicdata` 的基础数据表。
|
||||
sys-api 不在本栈，依赖它的操作日志开关接口不可用，不以假响应掩盖缺失依赖。
|
||||
|
||||
## 数据准备与验收边界
|
||||
|
||||
本栈提供数据库连接环境，不等于完整业务联调环境；空库上的基础数据、季度计划、字典和历史查询可能报缺表或缺索引。
|
||||
admin-api Primary 需导入经确认的测试结构与脱敏数据，仅导入 `admin-mysql`，不得导入信箱实例。
|
||||
Secondary 的表与列需匹配 admin-api 实体；参考数据读取契约尚待 `Q22` 定稿，季度计划来源尚待 `Q25` 确认，不根据实体臆造生产迁移或测试数据。
|
||||
本栈提供数据库连接环境，不等于完整业务联调环境。首启已自动覆盖：字典与 UI 设置（admin-mysql 种子）、历史索引 `flight_hts`（空，返回空列表而非 500）、基础数据表与种子（`basicdata`）。
|
||||
剩余边界：季度计划 `fims_*` 只建空表不造数（供数方待 `Q25`），查询返回空；历史数据写入待 US-14 交付。
|
||||
`basicdata` 只对齐 admin-api `domain/secondary/entity` 的表列，不预设 `REF_MASTER` 物理形态（`Q22` 未定稿）。
|
||||
`G-REF-DATA` 标记的静态数据处理缺口不由 Compose 解决。
|
||||
|
||||
验收顺序：服务健康 → 应用驱动和方言 → 确认的表结构及数据 → 基础数据查询 → 季度计划日期与经停关联 → 接口返回对比。
|
||||
PG 只读账号可以查询当前 public 内部表；这是联调权限范围，不是生产最小权限方案。
|
||||
PG 只读账号可以查询 public 内部表与 `basicdata` 测试表（权限范围，不代表 admin-api 已接入 `REF_MASTER`；见上一节）。
|
||||
|
||||
## 停止与排查
|
||||
|
||||
|
||||
Reference in New Issue
Block a user