Record accepted filter-speed release and measured index storage
This commit is contained in:
+13
-5
@@ -1,15 +1,23 @@
|
||||
# 当前进度
|
||||
|
||||
核实日期:2026年11月12日(上海时区)。这是可更新的接续记录,不替代实际代码与运行状态。
|
||||
核实日期:2026年11月13日(上海时区)。这是可更新的接续记录,不替代实际代码与运行状态。
|
||||
|
||||
|
||||
## 2026-11-13:统一筛选提速(发布验收中)
|
||||
## 2026-11-13:统一筛选提速(已发布验收)
|
||||
|
||||
实现:V43新增按构建保存的来源字段字典和稀疏记录索引,及两阶段字段目录覆盖索引;来源筛选、配置筛选、候选、指标、趋势、明细与明细导出共用。来源列查询实例统一复用,候选模式省去精确总数,产品页常规查询不再等待慢目录,本字段选中值变化不重复读取自己的候选;明细导出先只读字段名再读业务行。
|
||||
已发布2026.11.13.10,功能提交 `20f1c7d`;当前正式版52/52个构建的筛选索引全部就绪。新增按构建保存的来源字段字典与稀疏记录索引,来源/配置筛选、候选、指标、趋势、明细及明细导出共用;正式算法、当前字段/组织权限和发布版绑定保持。候选模式只取上限加一,不再为下拉精确计数;常规页面查询不等待无关目录,本字段改选不重复读取自己的候选,明细导出先只读字段名。
|
||||
|
||||
生命周期:启动仅在单线程后台补当前完整发布版本;导入和归类通过提交后事件进入同一有界去重队列。完整标记提交后才启用,故障保留原始查询,业务事务不等待索引。旧配置 `null`、来源字符串 `null`、空值、Unicode、同一事实行和当前权限分别保持;构建保留清理识别4张新表,未解除维护兼容保护。
|
||||
生命周期:启动和构建提交后通过同一单线程有界去重队列补索引,完整提交后才启用;失败或尚未就绪保留原查询,导入事务不等待索引。构建过程按500条事实窗口驱动字典关联,并物理重建临时窗口,避免回扫增长字典和长事务临时表累积。保留清理已识别4张新增表,未解除维护兼容保护。
|
||||
|
||||
验证:前端相关46项及生产构建通过;隔离MySQL覆盖索引与原始结果、黑片/亮片、明细和Excel,以及故障回滚和重试。保留清理34项通过。合成压力样本为两阶段各10000行×121列,索引约638MB,构建约73/183秒,候选约231/152ms;小规模热缓存原查询约58/47ms,因此不将该基准当作相对提速证明。完整后端构建985项(819执行通过、166按条件跳过),专项46项(45通过、1跳过)。线上2026.11.13.6已生效,后台补建期间发现每批全扫历史字典,实时计划约85万词条先行;改为500条事实窗口驱动及临时覆盖索引,专项47项(46通过、1跳过)及独立审查通过,已发布2026.11.13.7(`5e02c6a`),完整构建986项(819通过、167跳过)。进一步将每批临时表物理重建,避免长事务中DELETE遗留窗口历史;第二窗口故障回滚及独立审查通过,准备2026.11.13.8。已完成索引格式不变可复用。补建期间临时将数据库缓存从256MB调到1GB,验收前必须恢复原值;记录保存在本机私有发布目录。线上同条件收益、实际空间仍在验收。本轮未同步Gitea。
|
||||
首次加载还存在两条慢路径:候选为校验年份/可见范围反复读取宽原始行,V44新增薄覆盖索引;字段目录扫描约110万事实只为找每构建首条可见记录,V45改索引列序及带完整权限的有序LIMIT1查询。实际计划回归要求覆盖读取、不排序全部事实、找到首条即停;与旧MIN查询直接对照原始字段目录,保留空/隐藏构建和重复成员语义。
|
||||
|
||||
验证:前端相关46项及生产构建通过;完整后端988项(819执行通过、169按条件跳过),专项隔离MySQL/服务49项(48通过、1基准跳过),保留清理34项通过,多次独立审查无阻断。隔离场景覆盖黑片/亮片、全部4类来源运算、旧配置null和字面字符串null、Unicode、同一事实行、多字段、当前权限、导出、跨窗口故障回滚与重试。未执行私有原表全量回归。
|
||||
|
||||
线上实测在恢复原256MiB数据库缓存、后端重新启动且无并行测试时完成:同一客户筛选首次汇总1366ms、趋势347ms、来源明细513ms、原候选条件381ms、去掉自身约束的完整候选首开3546ms;月度458ms、季度369ms。原始超时场景汇总/趋势约48.3秒;前一版索引已全就绪时首次汇总仍18843ms,此次首条目录优化后降到1366ms。汇总、趋势、29条来源明细的完整规范化结果与原基准一致,月/季与原路径一致。Excel约3479ms,1张表、29条明细、A1:EA30,ZIP/XML有效;页面查询完成,来源抽屉载入121字段、无失败提示,点击产品与来源范围一致。以上是代表场景的只读重放,不是数据库完整冷启动或所有字段组合的固定耗时承诺。
|
||||
|
||||
空间实测:新增字典/成员等4表文件共13,727,023,104字节,事实表4个覆盖索引页约372,064,256字节;本口径合计约14.10GB(13.13GiB),不含既有原表、redo/undo和临时文件,也不等同于数据库目录净增差值。此次覆盖全部原始字段,空间显著高于先前紧凑柏拉图汇总。补建期间临时1GiB缓存已恢复256MiB,核验16384页且调整完成。数据库原进程和DSH配置保留,无业务版本指针变更。
|
||||
|
||||
实现与验收记录已本地提交;本轮新优化尚未同步Gitea。私有请求、结果校验及页面截图保存在 `output/20261113-filter-speed/`,不进入仓库。主工作目录已有历史改动保持,当前交付在独立分支 `codex/unified-filter-speed-20261113`。
|
||||
|
||||
## 2026-11-13:来源字段筛选超时修复
|
||||
|
||||
|
||||
Reference in New Issue
Block a user