doris
doris copied to clipboard
apache
[improve] optimize the cache log
The file cache prints too many logs in _disk_resource_limit_mode. Need to reduce printing frequency.
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 39930 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
------ Round 1 ----------------------------------
q1 17670 4381 4278 4278
q2 2035 196 187 187
q3 10656 1262 1198 1198
q4 10232 756 829 756
q5 7552 2719 2682 2682
q6 224 135 136 135
q7 966 623 603 603
q8 9606 2079 2091 2079
q9 9262 6669 6580 6580
q10 9476 3687 3722 3687
q11 461 265 240 240
q12 421 215 215 215
q13 17766 2989 2973 2973
q14 277 216 232 216
q15 509 463 472 463
q16 499 385 388 385
q17 953 688 664 664
q18 8050 7405 7462 7405
q19 2308 1523 1467 1467
q20 641 304 310 304
q21 4927 3141 3813 3141
q22 339 282 272 272
Total cold run time: 114830 ms
Total hot run time: 39930 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4443 4235 4172 4172
q2 373 268 267 267
q3 3003 2784 2703 2703
q4 1864 1605 1586 1586
q5 5225 5261 5257 5257
q6 210 123 125 123
q7 2099 1702 1714 1702
q8 3172 3290 3269 3269
q9 8286 8289 8371 8289
q10 3883 3722 3671 3671
q11 587 504 486 486
q12 777 615 583 583
q13 17109 2976 2998 2976
q14 297 260 252 252
q15 522 479 468 468
q16 483 408 424 408
q17 1766 1489 1465 1465
q18 7606 7562 7474 7474
q19 2429 1571 1547 1547
q20 1997 1778 1798 1778
q21 9794 4707 4865 4707
q22 549 479 490 479
Total cold run time: 76474 ms
Total hot run time: 53662 ms
TPC-DS: Total hot run time: 169884 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
query1 929 385 357 357
query2 6447 2512 2424 2424
query3 6641 210 209 209
query4 19899 17327 17064 17064
query5 4132 432 430 430
query6 249 155 173 155
query7 4585 309 300 300
query8 237 187 195 187
query9 8611 2475 2466 2466
query10 467 300 255 255
query11 10607 10270 10081 10081
query12 137 90 86 86
query13 1630 363 359 359
query14 10111 7614 7490 7490
query15 223 169 166 166
query16 7857 277 267 267
query17 1831 520 517 517
query18 1982 266 289 266
query19 193 151 149 149
query20 97 85 98 85
query21 197 138 133 133
query22 4147 3926 4027 3926
query23 33651 33087 33084 33084
query24 12093 2854 2819 2819
query25 648 350 356 350
query26 1782 153 159 153
query27 2906 322 327 322
query28 7393 2100 2102 2100
query29 1098 613 602 602
query30 298 146 152 146
query31 957 748 785 748
query32 89 54 55 54
query33 797 266 266 266
query34 994 480 469 469
query35 755 597 594 594
query36 1065 910 903 903
query37 193 66 67 66
query38 2904 2809 2771 2771
query39 852 796 804 796
query40 280 126 124 124
query41 48 47 44 44
query42 101 100 101 100
query43 591 559 568 559
query44 1187 720 749 720
query45 180 161 164 161
query46 1072 743 696 696
query47 1825 1767 1777 1767
query48 368 301 299 299
query49 1189 391 395 391
query50 772 381 395 381
query51 6789 6564 6578 6564
query52 98 88 90 88
query53 346 283 285 283
query54 1034 452 470 452
query55 75 75 72 72
query56 266 237 246 237
query57 1116 1067 1031 1031
query58 235 221 210 210
query59 3404 3101 3218 3101
query60 298 259 264 259
query61 89 89 88 88
query62 653 452 448 448
query63 312 296 295 295
query64 9787 2221 1768 1768
query65 3191 3105 3162 3105
query66 1387 322 321 321
query67 15138 14751 14824 14751
query68 5562 567 555 555
query69 488 267 271 267
query70 1189 1142 1073 1073
query71 416 270 268 268
query72 7279 5447 2685 2685
query73 716 332 321 321
query74 5968 5588 5589 5588
query75 3527 2630 2653 2630
query76 3645 997 991 991
query77 641 272 263 263
query78 10214 9714 9819 9714
query79 2287 505 568 505
query80 813 453 430 430
query81 504 230 224 224
query82 1120 90 92 90
query83 272 166 168 166
query84 232 87 85 85
query85 1598 265 254 254
query86 503 294 277 277
query87 3265 3116 3110 3110
query88 4102 2421 2415 2415
query89 474 383 385 383
query90 2000 189 186 186
query91 129 101 106 101
query92 61 51 52 51
query93 1837 525 515 515
query94 1235 191 189 189
query95 456 316 320 316
query96 596 274 265 265
query97 3203 3016 2988 2988
query98 244 221 204 204
query99 1131 869 845 845
Total cold run time: 277222 ms
Total hot run time: 169884 ms
ClickBench: Total hot run time: 30.48 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.07 0.08
query5 0.50 0.49 0.50
query6 1.13 0.74 0.74
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.53 0.49 0.48
query10 0.54 0.55 0.53
query11 0.17 0.11 0.11
query12 0.14 0.11 0.12
query13 0.61 0.59 0.61
query14 0.78 0.78 0.78
query15 0.82 0.80 0.83
query16 0.37 0.36 0.36
query17 0.99 1.02 1.00
query18 0.24 0.24 0.27
query19 1.82 1.70 1.76
query20 0.02 0.01 0.01
query21 15.52 0.67 0.65
query22 4.30 7.59 1.98
query23 18.28 1.33 1.22
query24 1.39 0.32 0.25
query25 0.14 0.08 0.09
query26 0.25 0.16 0.16
query27 0.08 0.08 0.08
query28 13.37 1.02 0.99
query29 13.15 3.35 3.26
query30 0.24 0.06 0.05
query31 2.86 0.38 0.38
query32 3.30 0.46 0.47
query33 2.89 2.86 2.93
query34 17.35 4.39 4.39
query35 4.52 4.45 4.46
query36 0.65 0.45 0.46
query37 0.18 0.16 0.16
query38 0.16 0.15 0.14
query39 0.04 0.03 0.03
query40 0.17 0.17 0.14
query41 0.09 0.04 0.04
query42 0.06 0.05 0.05
query43 0.04 0.03 0.04
Total cold run time: 109.79 s
Total hot run time: 30.48 s
TeamCity be ut coverage result: Function Coverage: 35.89% (9121/25417) Line Coverage: 27.36% (74929/273901) Region Coverage: 26.60% (38803/145873) Branch Coverage: 23.44% (19742/84240) Coverage Report: http://coverage.selectdb-in.cc/coverage/cc90ead517c3378ea0e2cecdd132721326e1bb02_cc90ead517c3378ea0e2cecdd132721326e1bb02/report/index.html
PR approved by at least one committer and no changes requested.
TeamCity be ut coverage result: Function Coverage: 36.27% (9235/25460) Line Coverage: 27.61% (75708/274203) Region Coverage: 26.83% (39213/146150) Branch Coverage: 23.55% (19860/84346) Coverage Report: http://coverage.selectdb-in.cc/coverage/cc90ead517c3378ea0e2cecdd132721326e1bb02_cc90ead517c3378ea0e2cecdd132721326e1bb02/report/index.html
TPC-H: Total hot run time: 41346 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
------ Round 1 ----------------------------------
q1 17618 4345 4243 4243
q2 2028 201 205 201
q3 10443 1236 1069 1069
q4 10197 983 861 861
q5 7472 2722 2722 2722
q6 243 138 137 137
q7 978 630 593 593
q8 9404 2097 2088 2088
q9 9624 6695 6721 6695
q10 9630 3926 3839 3839
q11 448 238 242 238
q12 431 227 236 227
q13 17320 3117 3256 3117
q14 293 219 229 219
q15 509 463 470 463
q16 493 379 379 379
q17 974 569 593 569
q18 8317 7988 7776 7776
q19 6096 1357 1529 1357
q20 666 319 317 317
q21 5172 3947 3892 3892
q22 397 346 344 344
Total cold run time: 118753 ms
Total hot run time: 41346 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4681 4440 4440 4440
q2 370 265 265 265
q3 3105 2989 2955 2955
q4 1832 1561 1599 1561
q5 5449 5470 5443 5443
q6 218 127 125 125
q7 2163 1850 1810 1810
q8 3239 3384 3353 3353
q9 8618 8653 8672 8653
q10 4051 3804 3781 3781
q11 579 470 497 470
q12 765 582 606 582
q13 17018 3138 3134 3134
q14 287 265 270 265
q15 524 485 476 476
q16 498 436 427 427
q17 1789 1504 1527 1504
q18 8096 7480 7356 7356
q19 1757 1520 1617 1520
q20 3128 1794 1798 1794
q21 10568 4772 4604 4604
q22 870 550 538 538
Total cold run time: 79605 ms
Total hot run time: 55056 ms
TPC-DS: Total hot run time: 172192 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
query1 934 378 370 370
query2 6444 2612 2284 2284
query3 6647 205 209 205
query4 20345 17414 17499 17414
query5 4117 471 465 465
query6 256 171 156 156
query7 4581 319 294 294
query8 338 290 298 290
query9 8658 2460 2440 2440
query10 435 303 279 279
query11 10675 10018 10043 10018
query12 143 92 91 91
query13 1646 378 374 374
query14 9769 7192 6094 6094
query15 228 186 185 185
query16 7136 288 280 280
query17 978 539 549 539
query18 1946 290 324 290
query19 218 160 161 160
query20 95 90 85 85
query21 211 133 136 133
query22 4272 4001 3957 3957
query23 33415 32898 32884 32884
query24 11265 2823 2799 2799
query25 623 359 366 359
query26 1212 161 160 160
query27 3052 320 331 320
query28 7570 2104 2104 2104
query29 927 633 609 609
query30 290 152 148 148
query31 948 738 761 738
query32 94 53 54 53
query33 761 291 279 279
query34 982 482 480 480
query35 737 605 601 601
query36 1096 959 933 933
query37 145 68 70 68
query38 2854 2736 2741 2736
query39 875 787 795 787
query40 205 130 125 125
query41 54 51 52 51
query42 123 98 101 98
query43 627 546 553 546
query44 1210 753 748 748
query45 205 169 173 169
query46 1063 743 728 728
query47 1833 1767 1766 1766
query48 370 294 314 294
query49 1078 413 408 408
query50 780 389 411 389
query51 6720 6616 6621 6616
query52 104 94 93 93
query53 360 296 293 293
query54 855 470 464 464
query55 75 74 73 73
query56 283 259 269 259
query57 1153 1059 1034 1034
query58 270 256 236 236
query59 3803 3532 3464 3464
query60 326 286 281 281
query61 93 88 90 88
query62 642 475 466 466
query63 334 293 291 291
query64 8910 2228 1735 1735
query65 3202 3106 3136 3106
query66 937 325 332 325
query67 15231 14834 15130 14834
query68 4533 579 557 557
query69 480 322 324 322
query70 1150 1092 1089 1089
query71 385 294 282 282
query72 7124 5481 5534 5481
query73 747 335 330 330
query74 5988 5499 5495 5495
query75 3348 2668 2650 2650
query76 2214 980 910 910
query77 477 306 296 296
query78 10214 9700 9587 9587
query79 2194 529 531 529
query80 2023 474 473 473
query81 564 220 225 220
query82 825 104 108 104
query83 277 173 178 173
query84 276 92 157 92
query85 1882 283 279 279
query86 500 301 290 290
query87 3229 3125 3092 3092
query88 4355 2436 2422 2422
query89 466 408 397 397
query90 1775 193 191 191
query91 127 96 100 96
query92 60 48 50 48
query93 2565 526 515 515
query94 1232 195 186 186
query95 407 316 316 316
query96 594 275 267 267
query97 3219 3030 3074 3030
query98 254 217 214 214
query99 1278 835 818 818
Total cold run time: 272526 ms
Total hot run time: 172192 ms
ClickBench: Total hot run time: 31.04 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cc90ead517c3378ea0e2cecdd132721326e1bb02, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.24 0.05 0.04
query4 1.68 0.08 0.08
query5 0.51 0.48 0.50
query6 1.14 0.71 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.53 0.50 0.49
query10 0.54 0.55 0.54
query11 0.15 0.11 0.11
query12 0.14 0.13 0.12
query13 0.61 0.59 0.60
query14 0.78 0.77 0.78
query15 0.81 0.81 0.80
query16 0.38 0.37 0.37
query17 1.04 1.02 0.98
query18 0.23 0.24 0.25
query19 1.86 1.65 1.70
query20 0.01 0.01 0.01
query21 15.49 0.67 0.64
query22 4.08 7.13 2.46
query23 18.31 1.33 1.28
query24 1.82 0.27 0.21
query25 0.16 0.08 0.09
query26 0.26 0.18 0.17
query27 0.08 0.08 0.08
query28 13.27 1.01 1.01
query29 13.83 3.33 3.31
query30 0.23 0.06 0.06
query31 2.88 0.39 0.41
query32 3.27 0.48 0.47
query33 2.88 2.90 2.88
query34 17.12 4.41 4.47
query35 4.45 4.42 4.64
query36 0.65 0.50 0.47
query37 0.17 0.15 0.16
query38 0.16 0.14 0.15
query39 0.05 0.04 0.04
query40 0.17 0.14 0.14
query41 0.08 0.04 0.04
query42 0.06 0.05 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.35 s
Total hot run time: 31.04 s
TPC-H: Total hot run time: 39981 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ab057a9a8b4604234d2f2bbf3c0a7224ea1f740f, data reload: false
------ Round 1 ----------------------------------
q1 17613 4583 4307 4307
q2 2025 202 210 202
q3 10424 1262 1004 1004
q4 10147 758 812 758
q5 7476 2702 2673 2673
q6 218 133 139 133
q7 954 616 593 593
q8 9221 2073 2103 2073
q9 8982 6535 6518 6518
q10 8991 3703 3677 3677
q11 483 255 245 245
q12 461 235 231 231
q13 17759 2970 2988 2970
q14 267 225 216 216
q15 522 472 476 472
q16 520 378 385 378
q17 985 667 746 667
q18 8037 7450 7566 7450
q19 1930 1481 1510 1481
q20 662 306 308 306
q21 4993 3288 3829 3288
q22 391 343 339 339
Total cold run time: 113061 ms
Total hot run time: 39981 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4291 4227 4286 4227
q2 375 259 269 259
q3 3038 2818 2750 2750
q4 1877 1604 1575 1575
q5 5282 5300 5306 5300
q6 214 127 128 127
q7 2123 1745 1740 1740
q8 3237 3434 3308 3308
q9 8388 8371 8332 8332
q10 3877 3639 3631 3631
q11 600 490 490 490
q12 745 577 601 577
q13 16356 3001 2990 2990
q14 281 247 264 247
q15 504 460 471 460
q16 482 411 417 411
q17 1749 1479 1463 1463
q18 7787 7714 7344 7344
q19 1721 1579 1573 1573
q20 1970 1789 1804 1789
q21 4836 4766 4785 4766
q22 615 551 543 543
Total cold run time: 70348 ms
Total hot run time: 53902 ms
TPC-DS: Total hot run time: 173411 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ab057a9a8b4604234d2f2bbf3c0a7224ea1f740f, data reload: false
query1 930 401 365 365
query2 6441 2371 2386 2371
query3 6647 209 207 207
query4 19824 17408 17364 17364
query5 4125 449 451 449
query6 248 162 164 162
query7 4603 297 298 297
query8 326 286 288 286
query9 8517 2422 2418 2418
query10 470 308 285 285
query11 10666 10089 10065 10065
query12 134 85 86 85
query13 1637 361 359 359
query14 9506 7528 7613 7528
query15 243 183 187 183
query16 7840 259 255 255
query17 1856 518 509 509
query18 1930 273 264 264
query19 209 176 153 153
query20 97 83 84 83
query21 212 133 130 130
query22 4338 4148 3953 3953
query23 33662 32983 33002 32983
query24 10838 2816 2811 2811
query25 596 356 358 356
query26 715 159 154 154
query27 2222 318 321 318
query28 5790 2075 2087 2075
query29 846 615 604 604
query30 291 148 153 148
query31 952 738 734 734
query32 89 53 61 53
query33 691 283 270 270
query34 883 470 473 470
query35 735 627 606 606
query36 1063 936 919 919
query37 140 71 72 71
query38 2839 2740 2745 2740
query39 863 817 776 776
query40 214 125 127 125
query41 54 52 52 52
query42 119 102 100 100
query43 580 570 574 570
query44 1150 748 755 748
query45 197 171 167 167
query46 1077 692 714 692
query47 1880 1772 1795 1772
query48 386 299 305 299
query49 1058 422 447 422
query50 790 386 400 386
query51 6869 6723 6773 6723
query52 106 94 93 93
query53 362 303 304 303
query54 907 459 442 442
query55 73 77 77 77
query56 279 252 247 247
query57 1136 1028 1043 1028
query58 259 257 248 248
query59 3573 3343 3206 3206
query60 292 284 270 270
query61 93 99 106 99
query62 666 468 445 445
query63 322 297 296 296
query64 8603 2236 1732 1732
query65 3173 3098 3128 3098
query66 798 326 326 326
query67 15436 14846 14721 14721
query68 4555 548 543 543
query69 464 336 324 324
query70 1145 1100 1047 1047
query71 385 294 291 291
query72 7198 5888 5589 5589
query73 753 329 328 328
query74 6038 5544 5609 5544
query75 3378 2672 2648 2648
query76 2259 942 875 875
query77 454 307 313 307
query78 10383 9737 9671 9671
query79 2323 521 525 521
query80 1800 493 498 493
query81 595 226 218 218
query82 788 108 108 108
query83 271 187 182 182
query84 263 95 95 95
query85 1926 324 317 317
query86 490 311 292 292
query87 3262 3060 3094 3060
query88 3896 2376 2374 2374
query89 486 404 388 388
query90 1841 198 192 192
query91 140 109 109 109
query92 62 52 56 52
query93 2609 520 496 496
query94 1284 199 194 194
query95 419 323 324 323
query96 601 266 267 266
query97 3150 2948 3030 2948
query98 249 227 224 224
query99 1159 846 852 846
Total cold run time: 269092 ms
Total hot run time: 173411 ms
ClickBench: Total hot run time: 30.85 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ab057a9a8b4604234d2f2bbf3c0a7224ea1f740f, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.23 0.05 0.06
query4 1.67 0.09 0.10
query5 0.50 0.49 0.50
query6 1.12 0.73 0.73
query7 0.02 0.01 0.01
query8 0.05 0.04 0.05
query9 0.54 0.50 0.50
query10 0.54 0.56 0.56
query11 0.15 0.11 0.12
query12 0.15 0.13 0.12
query13 0.59 0.58 0.59
query14 0.77 0.77 0.79
query15 0.83 0.82 0.81
query16 0.36 0.36 0.36
query17 1.00 1.03 1.05
query18 0.20 0.25 0.25
query19 1.81 1.76 1.70
query20 0.02 0.01 0.01
query21 15.76 0.66 0.65
query22 3.97 7.18 2.14
query23 18.31 1.30 1.20
query24 1.66 0.27 0.21
query25 0.14 0.08 0.08
query26 0.26 0.18 0.17
query27 0.08 0.08 0.08
query28 13.36 1.01 0.98
query29 13.76 3.36 3.31
query30 0.24 0.05 0.05
query31 2.87 0.38 0.40
query32 3.27 0.47 0.47
query33 2.89 2.91 2.88
query34 17.14 4.47 4.45
query35 4.54 4.47 4.67
query36 0.65 0.47 0.47
query37 0.17 0.15 0.16
query38 0.15 0.15 0.15
query39 0.05 0.04 0.03
query40 0.16 0.13 0.14
query41 0.10 0.05 0.06
query42 0.05 0.05 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.29 s
Total hot run time: 30.85 s
TeamCity be ut coverage result: Function Coverage: 36.30% (9266/25528) Line Coverage: 27.61% (76000/275304) Region Coverage: 26.86% (39373/146580) Branch Coverage: 23.58% (19941/84558) Coverage Report: http://coverage.selectdb-in.cc/coverage/ab057a9a8b4604234d2f2bbf3c0a7224ea1f740f_ab057a9a8b4604234d2f2bbf3c0a7224ea1f740f/report/index.html