[fix](s3) move s3 providers to fe-common to be accessible for jni reader
Proposed changes
Issue Number: close #xxx
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
run buildall
TPC-H: Total hot run time: 42029 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false
------ Round 1 ----------------------------------
q1 17602 4371 4276 4276
q2 2019 199 192 192
q3 10440 1276 1242 1242
q4 10196 859 759 759
q5 7489 2750 2783 2750
q6 235 140 138 138
q7 977 616 621 616
q8 9220 2128 2113 2113
q9 9258 6709 6660 6660
q10 9299 3842 3987 3842
q11 464 252 243 243
q12 446 230 252 230
q13 17182 3296 3175 3175
q14 251 216 226 216
q15 526 478 473 473
q16 511 398 397 397
q17 989 705 754 705
q18 8221 7820 7824 7820
q19 6042 1656 1573 1573
q20 658 320 323 320
q21 5164 3956 3965 3956
q22 383 335 333 333
Total cold run time: 117572 ms
Total hot run time: 42029 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4643 4466 4458 4458
q2 393 276 265 265
q3 3102 2925 2927 2925
q4 1920 1750 1645 1645
q5 5313 5500 5483 5483
q6 216 128 126 126
q7 2159 1809 1790 1790
q8 3233 3416 3370 3370
q9 8648 8585 8659 8585
q10 4093 3857 3725 3725
q11 589 486 487 486
q12 742 617 626 617
q13 16523 3079 3174 3079
q14 289 263 279 263
q15 536 490 473 473
q16 504 431 442 431
q17 1806 1513 1494 1494
q18 7852 7462 7314 7314
q19 1674 1510 1551 1510
q20 1965 1787 1796 1787
q21 4898 4759 4631 4631
q22 577 536 531 531
Total cold run time: 71675 ms
Total hot run time: 54988 ms
TPC-DS: Total hot run time: 168864 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false
query1 921 380 380 380
query2 6595 2295 2332 2295
query3 6647 206 209 206
query4 19459 17277 17245 17245
query5 4230 437 438 437
query6 269 185 154 154
query7 4588 310 290 290
query8 313 269 284 269
query9 8618 2394 2366 2366
query10 462 298 256 256
query11 10310 10188 10006 10006
query12 136 91 86 86
query13 1663 363 354 354
query14 10124 6986 7396 6986
query15 234 186 191 186
query16 7722 264 265 264
query17 1717 530 557 530
query18 1907 266 268 266
query19 196 154 160 154
query20 97 82 83 82
query21 200 130 125 125
query22 4157 4087 3876 3876
query23 33579 32839 32937 32839
query24 6684 2873 2962 2873
query25 457 353 355 353
query26 699 159 155 155
query27 1887 321 318 318
query28 3660 2097 2050 2050
query29 840 608 593 593
query30 224 153 151 151
query31 936 767 729 729
query32 60 57 52 52
query33 491 265 257 257
query34 835 469 460 460
query35 735 599 609 599
query36 1025 920 911 911
query37 103 68 68 68
query38 2915 2755 2753 2753
query39 853 793 789 789
query40 198 128 123 123
query41 52 52 49 49
query42 104 91 101 91
query43 577 540 547 540
query44 1077 723 752 723
query45 183 171 173 171
query46 1049 772 703 703
query47 1865 1771 1796 1771
query48 355 298 289 289
query49 762 384 388 384
query50 770 390 387 387
query51 6652 6642 6603 6603
query52 100 94 88 88
query53 349 282 295 282
query54 528 427 440 427
query55 77 75 73 73
query56 259 240 240 240
query57 1140 1055 1042 1042
query58 245 226 220 220
query59 3542 3420 3047 3047
query60 280 258 251 251
query61 91 139 89 89
query62 554 451 472 451
query63 314 285 286 285
query64 2554 1737 1694 1694
query65 3176 3141 3106 3106
query66 789 323 327 323
query67 15287 14728 14834 14728
query68 4532 537 531 531
query69 432 270 319 270
query70 1133 1118 1153 1118
query71 339 273 265 265
query72 7784 2704 2570 2570
query73 713 322 318 318
query74 6061 5574 5615 5574
query75 3267 2631 2632 2631
query76 2161 1053 1119 1053
query77 369 265 263 263
query78 10194 9937 9799 9799
query79 1868 511 518 511
query80 1179 434 434 434
query81 537 226 227 226
query82 964 95 93 93
query83 258 178 175 175
query84 249 84 88 84
query85 982 276 265 265
query86 431 292 303 292
query87 3342 3117 3110 3110
query88 3103 2412 2329 2329
query89 490 390 387 387
query90 2059 190 185 185
query91 124 102 101 101
query92 62 49 50 49
query93 1731 508 496 496
query94 1148 186 185 185
query95 401 310 315 310
query96 592 270 263 263
query97 3163 3049 2994 2994
query98 247 216 230 216
query99 1214 824 825 824
Total cold run time: 250606 ms
Total hot run time: 168864 ms
ClickBench: Total hot run time: 30.55 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false
query1 0.04 0.03 0.03
query2 0.09 0.04 0.05
query3 0.24 0.06 0.05
query4 1.68 0.08 0.07
query5 0.49 0.49 0.50
query6 1.11 0.72 0.73
query7 0.02 0.02 0.02
query8 0.06 0.05 0.05
query9 0.54 0.47 0.48
query10 0.54 0.55 0.53
query11 0.15 0.11 0.11
query12 0.15 0.12 0.12
query13 0.60 0.59 0.60
query14 0.78 0.77 0.77
query15 0.82 0.81 0.80
query16 0.37 0.37 0.35
query17 1.03 1.02 0.98
query18 0.22 0.24 0.25
query19 1.86 1.69 1.80
query20 0.01 0.02 0.01
query21 15.65 0.67 0.67
query22 3.99 7.92 1.80
query23 18.30 1.36 1.33
query24 2.04 0.22 0.22
query25 0.14 0.08 0.08
query26 0.27 0.18 0.17
query27 0.07 0.07 0.07
query28 13.25 1.02 1.00
query29 12.81 3.32 3.28
query30 0.23 0.06 0.05
query31 2.87 0.38 0.39
query32 3.27 0.47 0.47
query33 2.87 2.90 2.88
query34 17.18 4.40 4.46
query35 4.55 4.52 4.55
query36 0.67 0.49 0.49
query37 0.18 0.16 0.16
query38 0.16 0.15 0.15
query39 0.04 0.04 0.04
query40 0.16 0.15 0.14
query41 0.09 0.04 0.05
query42 0.06 0.05 0.05
query43 0.05 0.04 0.03
Total cold run time: 109.7 s
Total hot run time: 30.55 s
run buildall
PR approved by at least one committer and no changes requested.
PR approved by anyone and no changes requested.
TPC-H: Total hot run time: 39960 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false
------ Round 1 ----------------------------------
q1 18027 5443 4361 4361
q2 2687 201 200 200
q3 11436 1178 1132 1132
q4 10814 759 846 759
q5 7514 2740 2737 2737
q6 231 138 143 138
q7 974 632 622 622
q8 9241 2116 2062 2062
q9 9027 6575 6515 6515
q10 8877 3714 3709 3709
q11 450 250 235 235
q12 420 232 233 232
q13 17818 2990 2956 2956
q14 273 222 231 222
q15 523 483 472 472
q16 548 389 375 375
q17 962 722 685 685
q18 8084 7569 7392 7392
q19 6380 1356 1383 1356
q20 660 317 315 315
q21 4956 3170 3924 3170
q22 380 315 329 315
Total cold run time: 120282 ms
Total hot run time: 39960 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4432 4236 4213 4213
q2 380 278 265 265
q3 3039 2717 2799 2717
q4 1885 1617 1664 1617
q5 5289 5294 5318 5294
q6 219 129 134 129
q7 2129 1768 1776 1768
q8 3215 3352 3319 3319
q9 8375 8345 8353 8345
q10 3901 3722 3688 3688
q11 591 497 489 489
q12 801 610 609 609
q13 16543 2978 3004 2978
q14 306 269 260 260
q15 515 476 473 473
q16 476 424 421 421
q17 1778 1504 1475 1475
q18 7777 7399 7457 7399
q19 1717 1695 1545 1545
q20 1983 1807 1795 1795
q21 4839 4810 4792 4792
q22 632 536 525 525
Total cold run time: 70822 ms
Total hot run time: 54116 ms
TPC-DS: Total hot run time: 173552 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false
query1 931 390 367 367
query2 6465 2403 2528 2403
query3 6650 205 207 205
query4 19840 17237 17361 17237
query5 4166 465 453 453
query6 272 161 159 159
query7 4601 309 303 303
query8 334 289 291 289
query9 8613 2361 2345 2345
query10 469 295 279 279
query11 10801 10095 10039 10039
query12 136 92 87 87
query13 1630 366 365 365
query14 10130 7730 7517 7517
query15 247 194 193 193
query16 7798 278 275 275
query17 1804 525 529 525
query18 1922 280 269 269
query19 196 156 160 156
query20 96 89 85 85
query21 206 135 129 129
query22 4159 4064 3946 3946
query23 33928 33350 33111 33111
query24 11230 2851 2816 2816
query25 637 352 364 352
query26 1438 160 161 160
query27 2938 319 318 318
query28 7507 2040 2047 2040
query29 992 632 611 611
query30 279 151 151 151
query31 946 753 787 753
query32 94 52 53 52
query33 768 287 274 274
query34 985 493 485 485
query35 760 633 612 612
query36 1066 933 891 891
query37 156 66 74 66
query38 2918 2816 2816 2816
query39 870 789 788 788
query40 224 129 128 128
query41 53 50 58 50
query42 118 101 95 95
query43 614 564 575 564
query44 1203 712 730 712
query45 212 181 168 168
query46 1088 732 755 732
query47 1825 1740 1753 1740
query48 384 291 299 291
query49 1143 422 419 419
query50 799 402 390 390
query51 6778 6704 6706 6704
query52 101 94 92 92
query53 355 301 293 293
query54 896 443 460 443
query55 79 76 78 76
query56 313 258 262 258
query57 1134 1049 1029 1029
query58 258 257 229 229
query59 3488 3337 3177 3177
query60 303 265 275 265
query61 92 91 90 90
query62 637 483 448 448
query63 338 316 301 301
query64 10093 2203 1719 1719
query65 3220 3114 3162 3114
query66 1306 335 332 332
query67 15335 14943 14696 14696
query68 4549 567 538 538
query69 464 301 304 301
query70 1179 1144 1161 1144
query71 402 287 296 287
query72 7277 5499 5655 5499
query73 772 336 326 326
query74 6072 5553 5627 5553
query75 3391 2691 2715 2691
query76 2659 966 937 937
query77 491 311 310 310
query78 10475 9793 9793 9793
query79 2611 505 519 505
query80 1015 479 472 472
query81 546 225 235 225
query82 783 103 108 103
query83 275 172 181 172
query84 254 94 89 89
query85 1611 329 314 314
query86 477 303 307 303
query87 3329 3198 3118 3118
query88 4242 2340 2337 2337
query89 477 387 383 383
query90 1787 192 191 191
query91 270 97 94 94
query92 113 48 51 48
query93 1867 505 490 490
query94 1232 182 183 182
query95 402 308 323 308
query96 599 265 265 265
query97 3203 3047 3019 3019
query98 244 220 213 213
query99 1143 865 878 865
Total cold run time: 275578 ms
Total hot run time: 173552 ms
ClickBench: Total hot run time: 30.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.67 0.08 0.08
query5 0.50 0.47 0.47
query6 1.12 0.73 0.71
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.55 0.49 0.50
query10 0.55 0.56 0.54
query11 0.15 0.11 0.11
query12 0.15 0.12 0.12
query13 0.60 0.59 0.60
query14 0.79 0.76 0.79
query15 0.82 0.80 0.81
query16 0.38 0.36 0.35
query17 0.97 1.01 0.94
query18 0.22 0.24 0.26
query19 1.77 1.69 1.74
query20 0.02 0.01 0.01
query21 15.65 0.67 0.66
query22 4.45 6.64 1.81
query23 18.33 1.32 1.33
query24 1.54 0.28 0.20
query25 0.14 0.08 0.08
query26 0.26 0.16 0.16
query27 0.08 0.08 0.07
query28 13.48 1.02 1.00
query29 13.16 3.30 3.29
query30 0.24 0.05 0.06
query31 2.88 0.38 0.38
query32 3.29 0.47 0.48
query33 2.86 2.84 2.92
query34 17.01 4.44 4.41
query35 4.58 4.50 4.52
query36 0.66 0.47 0.46
query37 0.18 0.16 0.15
query38 0.15 0.15 0.15
query39 0.04 0.04 0.03
query40 0.16 0.15 0.14
query41 0.09 0.05 0.04
query42 0.05 0.05 0.04
query43 0.04 0.03 0.05
Total cold run time: 110 s
Total hot run time: 30.36 s