181 lines
9.8 KiB
Markdown
181 lines
9.8 KiB
Markdown
# Go 文件功能说明
|
||
|
||
## 项目概述
|
||
|
||
该项目是一个 **Go 批处理工具集**，主要用于数据同步和迁移任务，涉及 **MySQL**、**Elasticsearch** 和 **Redis** 之间的数据传输。
|
||
|
||
---
|
||
|
||
## 文件列表与功能
|
||
|
||
### 1. `main.go` — 项目入口（占位模板）
|
||
|
||
- **位置**：根目录
|
||
- **作用**：GoLand 自动生成的默认入口文件，仅包含一个 `Hello, world` 打印程序。
|
||
- **说明**：不属于实际的批处理系统，可忽略或用作文档占位。
|
||
|
||
---
|
||
|
||
### 2. `util/dbConnectUtil/dbConnectUtil.go` — 数据库连接工具包
|
||
|
||
- **位置**：`util/dbConnectUtil/`
|
||
- **包名**：`dbConnectUtil`
|
||
- **作用**：提供可复用的 MySQL 数据库连接初始化函数。
|
||
- **核心功能**：
|
||
- `InitDB(username, password, host, port)` — 创建并测试 MySQL 连接
|
||
- 配置连接池参数（最大打开 20 个、最大空闲 10 个）
|
||
- 返回全局变量 `DB`（`*sql.DB`）
|
||
- **被依赖**：`shop_mysql_to_redis/` 下的两个子项目都导入此包。
|
||
|
||
---
|
||
|
||
### 3. `addSyncSuitBook/main.go` — 图书数据同步工具
|
||
|
||
- **位置**：`addSyncSuitBook/`
|
||
- **包名**：`main`（独立可执行程序）
|
||
- **作用**：将源 MySQL 中的图书数据同步到目标 MySQL 和 Elasticsearch。
|
||
- **核心功能**：
|
||
- **数据源**：源库 `book_lib` JOIN `book_lib_details`（IP: `36.134.185.139:6603`）
|
||
- **目标 MySQL**：写入 `suit_book_lib_merged` 表（IP: `175.27.224.66:3306`）
|
||
- **目标 ES**：写入 `books-from-mysql-v3` 索引（IP: `36.212.12.92:9527`）
|
||
- **同步模式**：全量同步 / 增量同步（基于 `update_time` 记录上次同步时间到 `sync_state.json`）
|
||
- **套装书标记**：查询 v2 索引中已存在的 ISBN，在 v3 索引中通过 script 更新 `is_suit = 1`
|
||
- **执行计划**：程序启动时立即执行一次，之后每天凌晨 01:00 自动执行
|
||
- **批量操作**：MySQL 使用 `REPLACE INTO`；ES 使用 `_bulk` API
|
||
|
||
---
|
||
|
||
### 4. `addSyncPddReject/main.go` — 拼多多违规商品迁移工具
|
||
|
||
- **位置**：`addSyncPddReject/`
|
||
- **包名**：`main`（独立可执行程序）
|
||
- **作用**：将主库中因"涉嫌违规"被驳回的商品 ISBN 迁移到从库的过滤表中。
|
||
- **核心功能**：
|
||
- **源库**：查 `shop_goods_rejection` 表（原因：`'您发布的商品涉嫌违规，请您检查相关商品并立即整改'`）
|
||
- **目标库**：写入 `t_filter_set` 表（`limitation_type = '0'` 表示 ISBN 过滤）
|
||
- **去重逻辑**：先查询目标表已有 ISBN，仅插入不重复的新数据
|
||
- **ID 生成**：雪花算法（Snowflake）生成 19 位分布式 ID
|
||
- **批量插入**：每批 100 条，带进度打印
|
||
|
||
---
|
||
|
||
### 5. `goods_es_to_redis/main.go` — ES 到 Redis 全量同步工具
|
||
|
||
- **位置**：`goods_es_to_redis/`
|
||
- **包名**：`main`（独立可执行程序）
|
||
- **作用**：从 Elasticsearch `books-from-mysql-v2` 索引全量拉取图书数据，写入 Redis DB 1。
|
||
- **核心功能**：
|
||
- **数据读取**：使用 ES Scroll API 全量遍历（每批 10,000 条）
|
||
- **并发模型**：
|
||
- 8 个 ES 读取协程（m 并行处理 scroll 分页）
|
||
- 1 个批处理协程（聚合成 500 条/批）
|
||
- 32 个 Redis 写入协程（使用 Pipeline 批量 SET）
|
||
- **数据转换**：
|
||
- 自定义 `FlexInt64` JSON 反序列化（兼容数字/字符串）
|
||
- 自定义 `StringOrArray` 类型（兼容字符串/数组）
|
||
- 分类 ID 清洗：`A > B > C` → `A/B/C`
|
||
- 出版时间时间戳转换
|
||
- 图片信息聚合（轮播图、白底图、详情图、目录图等）
|
||
- **Redis 结构**：`key = ISBN`，`value = BookInfo JSON`（book_name/author/publisher/price/images/category 等）
|
||
- **数据校验**：同步完成后用 SCAN 命令校验 Redis 中的 key 数量是否与 ES 文档数一致
|
||
- **进度报告**：每 5 秒打印一次同步进度
|
||
|
||
---
|
||
|
||
### 6. `shop_mysql_to_redis/CameiCase/mysqlToRedisCameiCase.go` — 店铺数据迁移（驼峰版）
|
||
|
||
- **位置**：`shop_mysql_to_redis/CameiCase/`
|
||
- **包名**：`main`（独立可执行程序）
|
||
- **作用**：将 MySQL 中的店铺相关数据迁移到 Redis，字段名为**驼峰命名**。
|
||
- **核心功能**：
|
||
- **查询数据**：遍历 `t_shop_detail` 中的所有 `shop_id`
|
||
- **关联表**：
|
||
- `t_shop` — 店铺主表
|
||
- `t_shop_detail` — 店铺详情
|
||
- `t_shop_context` — 店铺上下文（商品描述）
|
||
- `t_spec` — 规格设置
|
||
- `t_price_template` — 价格模板（根据 `sale_template_id` 关联）
|
||
- **数据格式**：
|
||
- 每条记录以 `{"source_table": "表名", "data": {字段: 值...}}` 格式存入 Redis
|
||
- 字段名通过 `snakeToCamel()` 转为驼峰（如 `shop_id` → `shopId`）
|
||
- 价格模板的 `rangePrice` 字段做浮点精度修复
|
||
- **Redis 结构**：`key = shopID`，`value = List`，每元素为一条 JSON 记录
|
||
- **数据库连接**：使用 `dbConnectUtil` 工具包
|
||
|
||
---
|
||
|
||
### 7. `shop_mysql_to_redis/SanckCase/mysqlToRedis.go` — 店铺数据迁移（下划线版，优化版）
|
||
|
||
- **位置**：`shop_mysql_to_redis/SanckCase/`
|
||
- **包名**：`main`（独立可执行程序）
|
||
- **作用**：与驼峰版类似，但字段名为**下划线命名**，且架构更完善。
|
||
- **增强功能**：
|
||
- **并发处理**：3 个 Worker 并发处理店铺，每个店铺间 sleep 100ms 限流
|
||
- **循环执行**：每 5~10 分钟自动重跑（根据耗时动态调整间隔）
|
||
- **优雅退出**：监听 `SIGINT`/`SIGTERM` 信号，打印运行次数后退出
|
||
- **字段标准化**（`normalizeFieldValue`）：
|
||
- ID 类字段（`id`, `*_id`, `create_by`, `update_by`）→ 字符串
|
||
- 时间字段（`create_time`, `update_time`, `add_time`, `expiration_time`）→ `"2006-01-02 15:04:05"` 格式
|
||
- `mall_id`、`district_id` 保持 `int64` 数字
|
||
- **图片处理**：从 `t_shop_img` 表查询图片，按 type 分类：
|
||
- `type=1` → 水印图
|
||
- `type=3/4` → 详情首/尾图
|
||
- `type=5` → 末尾轮播图
|
||
- `type=7` → SKU 水印图
|
||
- **价格处理**：
|
||
- `range_price` 字段做浮点精度修复
|
||
- `add_amount` 字段 `×100` 转为 `int64`（分单位）
|
||
- **Redis 写入**：使用 Pipeline 批量操作（先 DEL 旧 key，再 RPUSH 所有记录）
|
||
- **数据库连接**：使用 `dbConnectUtil` 工具包
|
||
|
||
---
|
||
|
||
## 数据流向总图
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ addSyncSuitBook │
|
||
│ MySQL (36.134.185.139:6603) │
|
||
│ book_lib + book_lib_details │
|
||
│ ┌──────────┴──────────┐ │
|
||
│ ▼ ▼ │
|
||
│ MySQL (175.27.224.66) ES (36.212.12.92:9527) │
|
||
│ suit_book_lib_merged books-from-mysql-v3 │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ addSyncPddReject │
|
||
│ MySQL Master (146.56.227.42:3306) │
|
||
│ shop_goods_rejection │
|
||
│ ▼ │
|
||
│ MySQL Slave (36.212.12.247:3306) │
|
||
│ t_filter_set │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ goods_es_to_redis │
|
||
│ ES (36.212.12.92:9527) │
|
||
│ books-from-mysql-v2 │
|
||
│ ▼ │
|
||
│ Redis (36.212.12.247:6379 DB 1) │
|
||
│ key=ISBN → BookInfo JSON │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ shop_mysql_to_redis │
|
||
│ MySQL (146.56.227.42:3306) │
|
||
│ t_shop / t_shop_detail / t_shop_context │
|
||
│ t_spec / t_price_template / t_shop_img │
|
||
│ ▼ │
|
||
│ Redis (CameiCase: 36.212.20.113:7963 DB 7) │
|
||
│ (SanckCase: 36.212.12.247:6379 DB 8) │
|
||
│ key=shopID → List of JSON records │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
## 依赖关系
|
||
|
||
- `dbConnectUtil` 被 `shop_mysql_to_redis/` 下的两个子项目导入
|
||
- 所有可执行程序均为 `package main`，各自独立运行
|
||
- 外部依赖：`go-sql-driver/mysql`、`go-elasticsearch`、`go-redis`
|