matrixone icon indicating copy to clipboard operation
matrixone copied to clipboard

optimize the memory reuse of pipeline spool.

Open m-schen opened this issue 1 year ago • 6 comments

What type of PR is this?

  • [ ] API-change
  • [ ] BUG
  • [x] Improvement
  • [ ] Documentation
  • [ ] Feature
  • [ ] Test and CI
  • [ ] Code Refactoring

Which issue(s) this PR fixes:

https://github.com/matrixorigin/MO-Cloud/issues/4212

What this PR does / why we need it:

提高spool的内存复用效率,从第2个batch开始复用内存,可以降低部分查询的内存峰值。

m-schen avatar Oct 21 '24 09:10 m-schen

先别合并,目前没有环境跑tpcc观察是否出现性能下降。需要先对这项性能指标进行验证。

m-schen avatar Oct 21 '24 09:10 m-schen

最近环境有点紧张,好像整不到环境跑。

m-schen avatar Oct 22 '24 06:10 m-schen

  1. 目前单机验证性能与main分支的tpcc一致,没有因为做更多检查导致tpcc性能下降。

  2. nightly环境正在跑,link : https://github.com/matrixorigin/mo-auto-test/actions/runs/11454549020

在daily上跑出来的tpch性能保持一致,tpcc性能似乎有降低,不知道是不是误差,正在验证。

m-schen avatar Oct 22 '24 06:10 m-schen

做了点优化,tpcc性能与main一致了。

https://github.com/matrixorigin/mo-auto-test/actions/runs/11472429222

还有个其他优化,等我继续做完将去除这个not merge flag.

m-schen avatar Oct 23 '24 05:10 m-schen

又跑了一次daily的tpcc10.10和tpcc100.100。

确定这部分性能与main没有差异。

m-schen avatar Oct 23 '24 08:10 m-schen

搞不到资源进行测试 不继续跑了

m-schen avatar Oct 23 '24 11:10 m-schen