doris
doris copied to clipboard
apache
[Enhancement](s3-load) Add domain connection and aksk correction check for S3 load
Proposed changes
Add domain connection and aksk correction check for S3 load before actual execution.
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 39853 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e47ba96d57f8f3151852827a3dfa0b4bc0011ced, data reload: false
------ Round 1 ----------------------------------
q1 17983 5017 4362 4362
q2 2602 196 215 196
q3 11167 1125 1249 1125
q4 10540 788 736 736
q5 7488 2686 2680 2680
q6 229 138 138 138
q7 952 624 613 613
q8 9505 2089 2059 2059
q9 9104 6442 6414 6414
q10 8934 3679 3723 3679
q11 453 237 223 223
q12 420 220 226 220
q13 18896 2976 2984 2976
q14 283 223 231 223
q15 528 477 469 469
q16 508 379 387 379
q17 956 713 686 686
q18 8053 7400 7398 7398
q19 1692 1394 1400 1394
q20 649 299 327 299
q21 5012 3245 3336 3245
q22 403 339 342 339
Total cold run time: 116357 ms
Total hot run time: 39853 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4332 4236 4237 4236
q2 375 262 262 262
q3 2986 2742 2708 2708
q4 1878 1609 1570 1570
q5 5260 5262 5282 5262
q6 215 126 129 126
q7 2110 1729 1763 1729
q8 3173 3343 3308 3308
q9 8329 8288 8273 8273
q10 3817 3660 3672 3660
q11 570 487 480 480
q12 763 620 595 595
q13 16529 2972 2988 2972
q14 285 257 263 257
q15 512 463 474 463
q16 470 414 423 414
q17 1753 1477 1512 1477
q18 7796 7536 7349 7349
q19 1726 1632 1480 1480
q20 1948 1769 1751 1751
q21 4798 4794 4749 4749
q22 609 542 538 538
Total cold run time: 70234 ms
Total hot run time: 53659 ms
TPC-DS: Total hot run time: 172609 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e47ba96d57f8f3151852827a3dfa0b4bc0011ced, data reload: false
query1 919 391 367 367
query2 6458 2437 2308 2308
query3 6648 210 217 210
query4 18693 17259 17043 17043
query5 4195 496 481 481
query6 238 165 170 165
query7 4589 299 291 291
query8 339 297 295 295
query9 8378 2375 2335 2335
query10 596 315 276 276
query11 10403 9955 9972 9955
query12 135 94 84 84
query13 1659 363 373 363
query14 8528 7555 7475 7475
query15 238 195 184 184
query16 8069 262 262 262
query17 1836 538 506 506
query18 1951 290 266 266
query19 191 153 150 150
query20 94 86 80 80
query21 215 126 127 126
query22 4177 4112 3927 3927
query23 33603 32882 32922 32882
query24 11876 2866 2766 2766
query25 667 379 364 364
query26 1663 149 153 149
query27 3132 312 313 312
query28 7768 2058 2049 2049
query29 1032 622 597 597
query30 295 156 151 151
query31 931 742 741 741
query32 98 56 65 56
query33 757 281 276 276
query34 984 499 463 463
query35 748 605 612 605
query36 1081 932 921 921
query37 163 83 71 71
query38 2884 2722 2720 2720
query39 867 789 790 789
query40 284 127 125 125
query41 55 51 56 51
query42 118 103 100 100
query43 604 558 540 540
query44 1222 744 739 739
query45 198 166 163 163
query46 1071 723 742 723
query47 1825 1782 1784 1782
query48 367 306 309 306
query49 1157 408 413 408
query50 765 390 388 388
query51 6870 6856 6767 6767
query52 101 96 93 93
query53 358 296 284 284
query54 964 455 449 449
query55 80 75 76 75
query56 324 269 267 267
query57 1155 1051 1042 1042
query58 262 241 267 241
query59 3340 3207 3266 3207
query60 326 267 261 261
query61 89 89 87 87
query62 647 441 456 441
query63 320 292 291 291
query64 9907 2225 1721 1721
query65 3202 3119 3104 3104
query66 1386 338 351 338
query67 15373 14930 14755 14755
query68 4605 545 541 541
query69 459 307 311 307
query70 1097 1137 1141 1137
query71 384 270 264 264
query72 7101 5419 5509 5419
query73 741 328 326 326
query74 5921 5521 5504 5504
query75 3413 2718 2642 2642
query76 2392 979 944 944
query77 461 310 298 298
query78 10164 9853 9758 9758
query79 2438 517 508 508
query80 2143 468 455 455
query81 570 226 228 226
query82 1057 107 105 105
query83 314 175 175 175
query84 265 90 89 89
query85 1341 279 267 267
query86 440 307 309 307
query87 3279 3052 3065 3052
query88 3650 2446 2435 2435
query89 471 395 385 385
query90 1788 188 192 188
query91 130 105 117 105
query92 75 55 59 55
query93 2035 518 509 509
query94 1393 187 191 187
query95 410 313 317 313
query96 593 270 266 266
query97 3224 3023 3060 3023
query98 214 208 196 196
query99 1299 814 852 814
Total cold run time: 273335 ms
Total hot run time: 172609 ms
ClickBench: Total hot run time: 30.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e47ba96d57f8f3151852827a3dfa0b4bc0011ced, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.23 0.05 0.06
query4 1.69 0.07 0.07
query5 0.51 0.50 0.47
query6 1.18 0.73 0.73
query7 0.02 0.02 0.01
query8 0.05 0.04 0.05
query9 0.55 0.49 0.49
query10 0.52 0.53 0.52
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.59 0.59 0.61
query14 0.77 0.76 0.79
query15 0.83 0.84 0.81
query16 0.36 0.35 0.36
query17 0.96 0.96 0.94
query18 0.21 0.25 0.26
query19 1.79 1.71 1.67
query20 0.01 0.01 0.01
query21 15.42 0.65 0.65
query22 4.90 6.83 1.88
query23 18.33 1.36 1.25
query24 2.14 0.23 0.23
query25 0.16 0.10 0.08
query26 0.28 0.17 0.16
query27 0.09 0.08 0.08
query28 13.18 1.03 1.00
query29 12.62 3.42 3.39
query30 0.26 0.07 0.06
query31 2.84 0.37 0.38
query32 3.34 0.47 0.46
query33 2.86 2.92 2.97
query34 17.19 4.42 4.49
query35 4.49 4.46 4.48
query36 0.65 0.46 0.47
query37 0.18 0.15 0.16
query38 0.15 0.15 0.16
query39 0.05 0.03 0.04
query40 0.18 0.14 0.14
query41 0.10 0.05 0.05
query42 0.06 0.05 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.21 s
Total hot run time: 30.52 s
TPC-H: Total hot run time: 40098 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4258c2d2f2391702166f71d1b9b98d09e7c0738e, data reload: false
------ Round 1 ----------------------------------
q1 14963 4431 4271 4271
q2 1815 190 194 190
q3 7498 1123 1091 1091
q4 8680 904 857 857
q5 6349 2674 2652 2652
q6 218 135 139 135
q7 1048 609 601 601
q8 7821 2082 2078 2078
q9 6954 6544 6521 6521
q10 7125 3766 3777 3766
q11 433 237 231 231
q12 431 240 228 228
q13 11887 2998 3063 2998
q14 286 239 225 225
q15 538 487 491 487
q16 507 382 383 382
q17 971 686 747 686
q18 8106 7411 7491 7411
q19 1951 1449 1454 1449
q20 653 322 325 322
q21 4930 3171 3989 3171
q22 423 346 352 346
Total cold run time: 93587 ms
Total hot run time: 40098 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4304 4240 4238 4238
q2 385 267 278 267
q3 3037 2764 2773 2764
q4 1898 1631 1612 1612
q5 5270 5262 5297 5262
q6 226 131 131 131
q7 2137 1865 1847 1847
q8 3289 3420 3394 3394
q9 8691 8707 8684 8684
q10 4111 3889 3962 3889
q11 627 518 508 508
q12 821 647 645 645
q13 11618 3220 3046 3046
q14 299 267 283 267
q15 513 482 491 482
q16 492 424 429 424
q17 1809 1523 1524 1523
q18 8027 7975 7548 7548
q19 1776 1536 1348 1348
q20 2618 1831 1782 1782
q21 4950 4791 4762 4762
q22 643 551 583 551
Total cold run time: 67541 ms
Total hot run time: 54974 ms
TPC-DS: Total hot run time: 172328 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4258c2d2f2391702166f71d1b9b98d09e7c0738e, data reload: false
query1 890 388 378 378
query2 6458 2472 2456 2456
query3 6078 213 220 213
query4 18814 17579 17280 17280
query5 4149 500 470 470
query6 259 173 164 164
query7 4248 298 296 296
query8 306 285 301 285
query9 8634 2370 2345 2345
query10 554 305 284 284
query11 10409 10016 10143 10016
query12 139 90 90 90
query13 1659 364 378 364
query14 10410 6833 7635 6833
query15 234 187 192 187
query16 7158 267 258 258
query17 1262 546 530 530
query18 1908 270 273 270
query19 192 148 147 147
query20 90 83 82 82
query21 213 153 127 127
query22 4492 4088 4032 4032
query23 33597 32951 32993 32951
query24 11004 2792 2844 2792
query25 629 352 368 352
query26 1151 157 157 157
query27 2260 313 315 313
query28 6519 2100 2058 2058
query29 907 621 605 605
query30 289 155 150 150
query31 968 741 757 741
query32 86 52 55 52
query33 761 286 292 286
query34 908 458 460 458
query35 733 622 629 622
query36 1090 922 949 922
query37 130 76 76 76
query38 2884 2733 2774 2733
query39 851 785 799 785
query40 204 127 131 127
query41 54 55 56 55
query42 119 101 96 96
query43 600 531 548 531
query44 1227 715 722 715
query45 188 162 169 162
query46 1073 714 714 714
query47 1881 1787 1759 1759
query48 361 303 296 296
query49 1061 406 406 406
query50 761 387 382 382
query51 6939 6803 6658 6658
query52 110 91 94 91
query53 356 289 287 287
query54 974 447 449 447
query55 76 73 75 73
query56 291 260 276 260
query57 1161 1020 1060 1020
query58 254 248 236 236
query59 3418 3074 3077 3074
query60 307 277 274 274
query61 97 91 101 91
query62 657 457 444 444
query63 325 328 284 284
query64 8823 2260 1748 1748
query65 3165 3083 3080 3080
query66 963 337 319 319
query67 15393 15013 14968 14968
query68 4460 537 532 532
query69 492 351 310 310
query70 1204 1142 1079 1079
query71 369 281 274 274
query72 7543 5396 5487 5396
query73 743 322 326 322
query74 5982 5580 5486 5486
query75 3389 2618 2671 2618
query76 2327 917 909 909
query77 433 302 295 295
query78 10216 9912 9829 9829
query79 2444 509 509 509
query80 2004 468 467 467
query81 559 220 224 220
query82 997 111 109 109
query83 296 173 166 166
query84 271 92 85 85
query85 1206 290 268 268
query86 474 287 327 287
query87 3280 3073 3078 3073
query88 3894 2441 2359 2359
query89 457 386 373 373
query90 1746 188 189 188
query91 127 99 101 99
query92 60 52 49 49
query93 1941 493 501 493
query94 1182 191 186 186
query95 403 313 310 310
query96 598 264 276 264
query97 3147 3005 2999 2999
query98 219 196 194 194
query99 1206 865 823 823
Total cold run time: 267830 ms
Total hot run time: 172328 ms
ClickBench: Total hot run time: 30.59 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4258c2d2f2391702166f71d1b9b98d09e7c0738e, data reload: false
query1 0.05 0.04 0.03
query2 0.07 0.04 0.04
query3 0.22 0.06 0.06
query4 1.67 0.08 0.08
query5 0.51 0.50 0.49
query6 1.14 0.73 0.72
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.55 0.49 0.49
query10 0.54 0.55 0.54
query11 0.15 0.11 0.11
query12 0.15 0.12 0.12
query13 0.59 0.58 0.60
query14 0.79 0.77 0.77
query15 0.85 0.81 0.81
query16 0.36 0.36 0.38
query17 0.95 0.99 0.96
query18 0.23 0.24 0.24
query19 1.80 1.81 1.68
query20 0.01 0.01 0.01
query21 15.42 0.74 0.66
query22 4.12 7.17 1.94
query23 18.28 1.36 1.33
query24 2.14 0.22 0.22
query25 0.17 0.09 0.09
query26 0.27 0.17 0.18
query27 0.08 0.08 0.08
query28 13.26 1.02 1.01
query29 12.62 3.32 3.25
query30 0.25 0.06 0.05
query31 2.89 0.39 0.40
query32 3.25 0.47 0.47
query33 2.89 2.85 3.00
query34 17.06 4.51 4.47
query35 4.48 4.45 4.48
query36 0.66 0.46 0.50
query37 0.18 0.16 0.15
query38 0.16 0.15 0.14
query39 0.05 0.04 0.03
query40 0.18 0.14 0.13
query41 0.10 0.04 0.06
query42 0.06 0.05 0.04
query43 0.05 0.03 0.03
Total cold run time: 109.32 s
Total hot run time: 30.59 s
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}