apache
How to load history data to IoTDB without impacting query history（历史数据导入会导致IoTDB查询变慢）
当进行大量的历史数据导入时（TB级），IoTDB会出现明显的查询变慢问题，同时CPU的使用率明显上升。以目前我们的使用场景为例，导入80000个测点两年以上的历史数据，数据量大概在7-8TB。导入前，IoTDB中测点最新值查询耗时在10ms以下，在导入历史数据的过程中发现：同样的最新值查询竟花费了9秒，对应用的数据查询体验造成了较大影响。希望IoTDB团队优化历史数据导入处理流程，降低对查询的影响。此外，希望能给出历史数据导入过程的制约因素，指导用户进行数据库参数配置或者硬件资源的升级。
多谢反馈，
- 能否给一下机器配置（IoTDB可用内存大小）。
- 另，目前iotdb的历史数据导入，在某些Schema建模下，会把数据都写入乱序区（data目录下的unsequence），有可能会影响查询效率。
- 有不便公开的信息的话，可以加一下微信 tietouqiao，备注 github issue 5321
您好，黄老师，机器配置：CPU ：16核，内存：32GB。好的。
在 2022-04-11 22:09:46，"Xiangdong Huang" @.***> 写道：
多谢反馈，
能否给一下机器配置（IoTDB可用内存大小）。 另，目前iotdb的历史数据导入，在某些Schema建模下，会把数据都写入乱序区（data目录下的unsequence），有可能会影响查询效率。 有不便公开的信息的话，可以加一下微信 tietouqiao，备注 github issue 5321
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
在 0.13.0 及以前的版本，
假如当前写入的 IoTDB 是 A，可以将历史数据导入到另一个 IoTDB B（B 放在另一台服务器），导入完 B 会自动处理乱序数据，等 B 将乱序数据合并完之后（data/data/unsequence 文件夹为空或数据很少之后），再把 B 里的 TsFile 导入到 A 中，用 TsFile Load 工具导入（https://github.com/apache/iotdb/blob/master/docs/zh/UserGuide/Write-And-Delete-Data/Load-External-Tsfile.md ），对 A 的影响最小。
Load 工具的资源占用比程序写入数据低很多。
收到，谢谢乔博！
在 2022-04-16 14:59:37，"Jialin Qiao" @.***> 写道：
在 0.13.0 及以前的版本，
假如当前写入的 IoTDB 是 A，可以将历史数据导入到另一个 IoTDB B（B 放在另一台服务器），导入完 B 会自动处理乱序数据，等 B 将乱序数据合并完之后（data/data/unsequence 文件夹为空或数据很少之后），再把 B 里的 TsFile 导入到 A 中，用 TsFile Load 工具导入（https://github.com/apache/iotdb/blob/master/docs/zh/UserGuide/Write-And-Delete-Data/Load-External-Tsfile.md），对 A 的影响最小。
Load 工具的资源占用比程序写入数据低很多。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
黄老师，导入过程和导入完成后一段时间内都会慢。
在 2022-03-23 19:49:22，"Xiangdong Huang" @.***> 写道：
是导入过程中变慢，还是导入完成后依然慢？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>