doris
doris copied to clipboard
apache
[fix](memory) Fix nested scoped tracker and nested reserve memory
Proposed changes
SCOPED_ATTACH_TASK cannot be nested, but SCOPED_SWITCH_THREAD_MEM_TRACKER_LIMITER can continue to be called, so attach_limiter_tracker may be nested.
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 41474 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9adf3267524d33d6b9027b7aeb2e2b2eabeb692d, data reload: false
------ Round 1 ----------------------------------
q1 17606 4448 4244 4244
q2 2017 185 192 185
q3 10489 1210 1133 1133
q4 10196 766 893 766
q5 7544 2754 2717 2717
q6 224 135 136 135
q7 958 607 619 607
q8 9226 2163 2116 2116
q9 9329 6739 6798 6739
q10 10005 3916 3925 3916
q11 469 244 238 238
q12 452 230 226 226
q13 17529 3231 3161 3161
q14 258 219 213 213
q15 504 462 468 462
q16 529 401 393 393
q17 987 759 777 759
q18 8505 8008 7957 7957
q19 6814 1570 1537 1537
q20 671 323 332 323
q21 5185 4043 3368 3368
q22 349 291 279 279
Total cold run time: 119846 ms
Total hot run time: 41474 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4524 4410 4401 4401
q2 385 273 277 273
q3 3178 2935 2906 2906
q4 1917 1566 1608 1566
q5 5486 5499 5528 5499
q6 217 122 126 122
q7 2179 1844 1815 1815
q8 3231 3401 3345 3345
q9 8632 8720 8717 8717
q10 3977 3801 3822 3801
q11 588 479 485 479
q12 796 604 619 604
q13 17024 3171 3137 3137
q14 324 278 271 271
q15 535 490 508 490
q16 484 449 432 432
q17 1779 1463 1457 1457
q18 7768 7668 7549 7549
q19 1666 1559 1527 1527
q20 1993 1773 1792 1773
q21 9118 4695 4708 4695
q22 571 489 503 489
Total cold run time: 76372 ms
Total hot run time: 55348 ms
TeamCity be ut coverage result: Function Coverage: 35.66% (9014/25277) Line Coverage: 27.31% (74535/272896) Region Coverage: 26.55% (38578/145319) Branch Coverage: 23.41% (19684/84098) Coverage Report: http://coverage.selectdb-in.cc/coverage/9adf3267524d33d6b9027b7aeb2e2b2eabeb692d_9adf3267524d33d6b9027b7aeb2e2b2eabeb692d/report/index.html
TPC-DS: Total hot run time: 168631 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 9adf3267524d33d6b9027b7aeb2e2b2eabeb692d, data reload: false
query1 926 383 369 369
query2 6446 2359 2307 2307
query3 6646 215 207 207
query4 21192 17204 17267 17204
query5 4145 411 414 411
query6 252 165 153 153
query7 4586 300 298 298
query8 237 194 182 182
query9 8517 2379 2359 2359
query10 452 291 269 269
query11 10444 10147 10105 10105
query12 131 86 92 86
query13 1642 366 359 359
query14 9175 6690 7478 6690
query15 229 165 171 165
query16 7762 271 262 262
query17 1669 527 517 517
query18 1953 267 266 266
query19 199 153 156 153
query20 93 90 86 86
query21 192 123 127 123
query22 4410 4049 3896 3896
query23 33611 32932 33095 32932
query24 6615 2842 2840 2840
query25 503 359 352 352
query26 693 155 151 151
query27 1909 324 316 316
query28 3747 2056 2048 2048
query29 837 608 591 591
query30 229 179 177 177
query31 938 755 742 742
query32 72 50 51 50
query33 507 283 278 278
query34 863 465 470 465
query35 708 618 606 606
query36 1059 912 920 912
query37 104 79 77 77
query38 2889 2798 2822 2798
query39 855 793 809 793
query40 199 118 122 118
query41 44 43 42 42
query42 102 97 97 97
query43 580 569 560 560
query44 1053 724 748 724
query45 176 160 166 160
query46 1050 711 703 703
query47 1889 1759 1820 1759
query48 370 305 288 288
query49 769 375 372 372
query50 828 386 382 382
query51 6762 6688 6716 6688
query52 101 88 91 88
query53 352 292 281 281
query54 529 421 422 421
query55 74 72 74 72
query56 285 242 244 242
query57 1092 1051 1069 1051
query58 230 204 208 204
query59 3558 3188 3091 3091
query60 265 252 236 236
query61 87 90 86 86
query62 537 446 460 446
query63 306 282 274 274
query64 3164 1734 1727 1727
query65 3195 3028 3072 3028
query66 790 334 322 322
query67 15071 14984 14826 14826
query68 4538 521 533 521
query69 432 266 271 266
query70 1129 1097 1067 1067
query71 368 274 263 263
query72 7642 2728 2576 2576
query73 706 320 321 320
query74 6047 5630 5608 5608
query75 3299 2588 2611 2588
query76 2224 975 1006 975
query77 386 262 261 261
query78 10250 9710 9703 9703
query79 2356 511 514 511
query80 1085 430 424 424
query81 507 247 245 245
query82 962 99 90 90
query83 238 174 173 173
query84 246 84 86 84
query85 955 264 289 264
query86 464 356 296 296
query87 3320 3134 3194 3134
query88 3673 2331 2337 2331
query89 480 402 379 379
query90 1990 184 185 184
query91 118 94 96 94
query92 62 47 47 47
query93 2028 504 508 504
query94 1204 183 180 180
query95 400 308 306 306
query96 598 274 260 260
query97 3172 3019 3069 3019
query98 239 223 224 223
query99 1193 862 852 852
Total cold run time: 253206 ms
Total hot run time: 168631 ms
ClickBench: Total hot run time: 30.2 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 9adf3267524d33d6b9027b7aeb2e2b2eabeb692d, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.06
query4 1.65 0.08 0.10
query5 0.49 0.49 0.51
query6 1.12 0.72 0.73
query7 0.02 0.01 0.02
query8 0.04 0.04 0.04
query9 0.54 0.50 0.49
query10 0.54 0.56 0.54
query11 0.15 0.11 0.12
query12 0.14 0.11 0.11
query13 0.59 0.59 0.60
query14 0.78 0.77 0.78
query15 0.83 0.81 0.81
query16 0.37 0.37 0.36
query17 1.03 0.96 1.02
query18 0.23 0.26 0.23
query19 1.84 1.70 1.65
query20 0.01 0.01 0.01
query21 15.50 0.70 0.70
query22 4.90 6.94 1.72
query23 18.29 1.47 1.29
query24 1.33 0.42 0.22
query25 0.13 0.09 0.08
query26 0.27 0.16 0.16
query27 0.08 0.08 0.07
query28 13.32 1.02 0.99
query29 13.20 3.26 3.23
query30 0.24 0.06 0.05
query31 2.86 0.39 0.39
query32 3.28 0.46 0.46
query33 2.94 2.92 2.84
query34 17.33 4.40 4.48
query35 4.48 4.50 4.66
query36 0.64 0.45 0.46
query37 0.17 0.15 0.15
query38 0.16 0.15 0.14
query39 0.04 0.04 0.03
query40 0.16 0.13 0.15
query41 0.08 0.04 0.05
query42 0.05 0.04 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.21 s
Total hot run time: 30.2 s
TPC-H: Total hot run time: 41582 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ecd16437f906229f5ce37ef10b9d8e956cc63008, data reload: false
------ Round 1 ----------------------------------
q1 17635 4382 4252 4252
q2 2023 217 190 190
q3 10430 1252 1182 1182
q4 10196 791 785 785
q5 7476 2765 2718 2718
q6 219 134 131 131
q7 996 624 613 613
q8 9242 2126 2138 2126
q9 9478 6708 6742 6708
q10 10127 3889 3912 3889
q11 455 239 250 239
q12 505 224 220 220
q13 17217 3216 3235 3216
q14 278 229 249 229
q15 521 473 480 473
q16 492 385 384 384
q17 975 736 692 692
q18 8493 8081 7966 7966
q19 4744 1545 1579 1545
q20 637 315 316 315
q21 5335 3428 4011 3428
q22 362 281 285 281
Total cold run time: 117836 ms
Total hot run time: 41582 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4548 4390 4427 4390
q2 374 278 285 278
q3 3187 2965 2962 2962
q4 1947 1658 1595 1595
q5 5413 5564 5509 5509
q6 217 123 124 123
q7 2186 1823 1863 1823
q8 3251 3455 3408 3408
q9 8698 8706 8694 8694
q10 4046 3725 3847 3725
q11 601 493 485 485
q12 815 620 630 620
q13 16154 3111 3203 3111
q14 294 279 296 279
q15 523 489 485 485
q16 523 459 443 443
q17 1836 1547 1525 1525
q18 7828 7733 7517 7517
q19 1660 1561 1536 1536
q20 2018 1796 1787 1787
q21 9121 4869 4676 4676
q22 585 491 498 491
Total cold run time: 75825 ms
Total hot run time: 55462 ms
TeamCity be ut coverage result: Function Coverage: 35.65% (9018/25294) Line Coverage: 27.31% (74573/273056) Region Coverage: 26.54% (38601/145427) Branch Coverage: 23.40% (19690/84134) Coverage Report: http://coverage.selectdb-in.cc/coverage/ecd16437f906229f5ce37ef10b9d8e956cc63008_ecd16437f906229f5ce37ef10b9d8e956cc63008/report/index.html
TPC-DS: Total hot run time: 171129 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ecd16437f906229f5ce37ef10b9d8e956cc63008, data reload: false
query1 922 404 380 380
query2 6439 2392 2364 2364
query3 6645 206 205 205
query4 19395 17499 17331 17331
query5 4144 422 423 422
query6 261 158 148 148
query7 4595 295 286 286
query8 236 184 190 184
query9 8730 2422 2399 2399
query10 447 284 261 261
query11 10744 10212 10011 10011
query12 133 91 89 89
query13 1659 364 372 364
query14 10015 6737 6862 6737
query15 224 169 171 169
query16 7739 260 254 254
query17 1678 539 532 532
query18 1958 270 266 266
query19 197 150 156 150
query20 92 85 90 85
query21 195 128 126 126
query22 4274 3961 3899 3899
query23 33626 33090 32973 32973
query24 7672 2824 2872 2824
query25 564 362 359 359
query26 720 156 152 152
query27 2197 310 313 310
query28 5416 2095 2096 2095
query29 851 618 589 589
query30 260 180 171 171
query31 941 779 743 743
query32 90 51 81 51
query33 590 272 263 263
query34 879 477 465 465
query35 706 604 599 599
query36 1071 887 917 887
query37 107 69 69 69
query38 2896 2786 2758 2758
query39 865 785 778 778
query40 196 122 124 122
query41 44 41 44 41
query42 104 96 96 96
query43 585 529 561 529
query44 1092 733 744 733
query45 176 162 161 161
query46 1061 703 708 703
query47 1828 1760 1749 1749
query48 362 289 291 289
query49 829 370 408 370
query50 760 380 370 370
query51 6980 6826 6753 6753
query52 98 94 87 87
query53 351 280 279 279
query54 548 440 433 433
query55 73 70 73 70
query56 253 241 245 241
query57 1123 1029 1041 1029
query58 241 211 205 205
query59 3555 3075 3147 3075
query60 274 251 251 251
query61 88 88 92 88
query62 602 452 454 452
query63 304 277 275 275
query64 8603 2270 1668 1668
query65 3185 3113 3091 3091
query66 781 338 325 325
query67 15447 14892 14700 14700
query68 4539 536 541 536
query69 459 259 266 259
query70 1153 1090 1132 1090
query71 378 280 282 280
query72 7372 5065 5434 5065
query73 718 318 326 318
query74 5941 5566 5589 5566
query75 3343 2643 2639 2639
query76 2392 967 973 967
query77 607 264 264 264
query78 10313 9771 9732 9732
query79 1955 511 521 511
query80 1234 434 423 423
query81 531 254 239 239
query82 663 95 92 92
query83 233 171 171 171
query84 245 87 86 86
query85 1765 270 255 255
query86 504 308 290 290
query87 3295 3104 3122 3104
query88 4182 2333 2320 2320
query89 475 379 371 371
query90 2049 193 185 185
query91 129 104 110 104
query92 57 120 51 51
query93 2591 521 498 498
query94 1304 180 181 180
query95 400 302 303 302
query96 590 261 263 261
query97 3175 2992 3002 2992
query98 265 223 211 211
query99 1125 838 834 834
Total cold run time: 263698 ms
Total hot run time: 171129 ms
ClickBench: Total hot run time: 30.88 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ecd16437f906229f5ce37ef10b9d8e956cc63008, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.23 0.07 0.07
query4 1.64 0.07 0.08
query5 0.51 0.50 0.49
query6 1.12 0.72 0.72
query7 0.02 0.01 0.02
query8 0.05 0.03 0.04
query9 0.54 0.48 0.49
query10 0.54 0.55 0.55
query11 0.15 0.11 0.11
query12 0.15 0.12 0.11
query13 0.60 0.59 0.60
query14 0.77 0.78 0.78
query15 0.83 0.80 0.81
query16 0.37 0.38 0.38
query17 0.97 1.00 1.04
query18 0.20 0.24 0.24
query19 1.78 1.68 1.69
query20 0.02 0.01 0.01
query21 15.58 0.67 0.65
query22 4.63 7.33 2.11
query23 18.29 1.40 1.39
query24 1.85 0.28 0.21
query25 0.14 0.08 0.09
query26 0.26 0.16 0.18
query27 0.07 0.07 0.07
query28 13.24 1.02 1.01
query29 13.23 3.33 3.29
query30 0.24 0.06 0.05
query31 2.87 0.39 0.38
query32 3.26 0.46 0.46
query33 2.91 2.88 2.97
query34 17.21 4.43 4.42
query35 4.54 4.46 4.51
query36 0.70 0.49 0.48
query37 0.18 0.17 0.16
query38 0.16 0.15 0.15
query39 0.05 0.04 0.03
query40 0.15 0.14 0.15
query41 0.09 0.05 0.04
query42 0.06 0.05 0.05
query43 0.04 0.03 0.03
Total cold run time: 110.36 s
Total hot run time: 30.88 s
PR approved by at least one committer and no changes requested.
TeamCity be ut coverage result: Function Coverage: 35.76% (9009/25192) Line Coverage: 27.39% (74579/272249) Region Coverage: 26.61% (38575/144962) Branch Coverage: 23.48% (19676/83808) Coverage Report: http://coverage.selectdb-in.cc/coverage/1fe39cd84b5d64d25efe05a7ce41617bc1111ecd_1fe39cd84b5d64d25efe05a7ce41617bc1111ecd/report/index.html
TPC-H: Total hot run time: 41333 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1fe39cd84b5d64d25efe05a7ce41617bc1111ecd, data reload: false
------ Round 1 ----------------------------------
q1 17610 4381 4249 4249
q2 2019 190 190 190
q3 10463 1289 1245 1245
q4 10196 926 770 770
q5 7513 2835 2748 2748
q6 222 134 138 134
q7 1008 603 617 603
q8 9211 2177 2155 2155
q9 9429 6771 6671 6671
q10 9235 3904 3841 3841
q11 449 249 244 244
q12 499 229 221 221
q13 17530 3317 3250 3250
q14 281 231 225 225
q15 521 494 488 488
q16 521 395 396 395
q17 990 680 765 680
q18 8413 7980 7726 7726
q19 5372 1523 1549 1523
q20 625 328 326 326
q21 5208 3367 3992 3367
q22 345 282 298 282
Total cold run time: 117660 ms
Total hot run time: 41333 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4495 4425 4473 4425
q2 397 276 272 272
q3 3215 2989 2953 2953
q4 2026 1694 1611 1611
q5 5338 5573 5544 5544
q6 214 126 128 126
q7 2242 1870 1817 1817
q8 3212 3447 3438 3438
q9 8703 8671 8770 8671
q10 4098 3726 3836 3726
q11 596 498 501 498
q12 872 645 621 621
q13 16041 3180 3140 3140
q14 320 277 288 277
q15 525 491 487 487
q16 498 448 435 435
q17 1852 1564 1553 1553
q18 7726 7612 7455 7455
q19 1676 1600 1565 1565
q20 2012 1815 1821 1815
q21 8017 4776 4666 4666
q22 568 509 508 508
Total cold run time: 74643 ms
Total hot run time: 55603 ms
TPC-DS: Total hot run time: 168263 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1fe39cd84b5d64d25efe05a7ce41617bc1111ecd, data reload: false
query1 923 381 374 374
query2 7691 2453 2425 2425
query3 6638 208 208 208
query4 19194 17432 17259 17259
query5 4099 418 420 418
query6 260 168 146 146
query7 4583 292 287 287
query8 236 183 183 183
query9 8637 2344 2320 2320
query10 457 288 260 260
query11 10667 10166 10300 10166
query12 133 90 89 89
query13 1643 375 367 367
query14 8853 5951 7727 5951
query15 261 168 165 165
query16 8086 262 263 262
query17 1695 514 503 503
query18 2119 274 270 270
query19 198 153 147 147
query20 94 85 86 85
query21 200 132 132 132
query22 4255 3893 3935 3893
query23 33863 33207 32886 32886
query24 10726 2809 2886 2809
query25 552 370 350 350
query26 696 155 152 152
query27 2182 314 317 314
query28 5916 2000 1999 1999
query29 854 621 585 585
query30 217 149 152 149
query31 957 770 759 759
query32 93 54 55 54
query33 714 265 281 265
query34 889 476 468 468
query35 721 600 615 600
query36 1043 926 908 908
query37 108 62 70 62
query38 2858 2797 2782 2782
query39 854 777 789 777
query40 194 124 123 123
query41 47 43 43 43
query42 106 93 99 93
query43 596 579 569 569
query44 1178 721 730 721
query45 179 161 159 159
query46 1068 703 716 703
query47 1889 1772 1787 1772
query48 375 306 306 306
query49 826 379 409 379
query50 773 382 386 382
query51 6883 6705 6883 6705
query52 102 87 92 87
query53 348 280 282 280
query54 905 429 418 418
query55 74 75 71 71
query56 259 236 243 236
query57 1107 1060 1059 1059
query58 228 218 207 207
query59 3414 3334 3363 3334
query60 278 257 266 257
query61 89 115 89 89
query62 611 433 450 433
query63 306 278 284 278
query64 8455 2221 1676 1676
query65 3142 3085 3094 3085
query66 772 334 380 334
query67 15286 14855 14816 14816
query68 4567 519 515 515
query69 433 270 279 270
query70 1163 1161 1160 1160
query71 375 278 271 271
query72 7307 2728 2522 2522
query73 759 323 330 323
query74 6061 5669 5613 5613
query75 3345 2694 2590 2590
query76 2402 939 972 939
query77 573 263 262 262
query78 10207 9880 9802 9802
query79 2198 499 501 499
query80 1072 453 449 449
query81 527 224 225 224
query82 711 97 92 92
query83 247 180 170 170
query84 251 90 87 87
query85 1477 262 276 262
query86 484 302 326 302
query87 3341 3073 3143 3073
query88 4217 2414 2400 2400
query89 466 389 368 368
query90 2000 189 189 189
query91 164 96 97 96
query92 56 47 48 47
query93 1531 497 480 480
query94 1198 185 184 184
query95 390 300 314 300
query96 580 273 263 263
query97 3207 3000 3050 3000
query98 243 223 218 218
query99 1150 856 849 849
Total cold run time: 266357 ms
Total hot run time: 168263 ms
ClickBench: Total hot run time: 30.69 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1fe39cd84b5d64d25efe05a7ce41617bc1111ecd, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.05
query3 0.23 0.05 0.06
query4 1.66 0.08 0.09
query5 0.49 0.50 0.52
query6 1.11 0.73 0.72
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.53 0.49 0.50
query10 0.54 0.56 0.53
query11 0.15 0.11 0.11
query12 0.15 0.12 0.11
query13 0.60 0.59 0.59
query14 0.80 0.78 0.78
query15 0.82 0.80 0.80
query16 0.38 0.37 0.36
query17 0.94 0.95 0.98
query18 0.23 0.24 0.21
query19 1.78 1.65 1.68
query20 0.02 0.01 0.02
query21 15.65 0.67 0.65
query22 4.13 7.42 2.14
query23 18.29 1.48 1.29
query24 1.67 0.24 0.27
query25 0.14 0.08 0.09
query26 0.26 0.17 0.17
query27 0.08 0.08 0.07
query28 13.37 1.00 0.98
query29 13.22 3.36 3.27
query30 0.25 0.06 0.06
query31 2.86 0.39 0.38
query32 3.27 0.48 0.47
query33 2.90 2.86 2.88
query34 16.93 4.47 4.42
query35 4.46 4.48 4.48
query36 0.66 0.51 0.49
query37 0.18 0.17 0.15
query38 0.16 0.14 0.14
query39 0.04 0.03 0.03
query40 0.17 0.14 0.15
query41 0.09 0.04 0.05
query42 0.05 0.04 0.05
query43 0.04 0.03 0.03
Total cold run time: 109.49 s
Total hot run time: 30.69 s