doris icon indicating copy to clipboard operation
doris copied to clipboard

[fix](s3) move s3 providers to fe-common to be accessible for jni reader

Open AshinGau opened this issue 1 year ago • 5 comments

Proposed changes

Issue Number: close #xxx

AshinGau avatar May 31 '24 03:05 AshinGau

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 31 '24 03:05 doris-robot

run buildall

AshinGau avatar May 31 '24 03:05 AshinGau

TPC-H: Total hot run time: 42029 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false

------ Round 1 ----------------------------------
q1	17602	4371	4276	4276
q2	2019	199	192	192
q3	10440	1276	1242	1242
q4	10196	859	759	759
q5	7489	2750	2783	2750
q6	235	140	138	138
q7	977	616	621	616
q8	9220	2128	2113	2113
q9	9258	6709	6660	6660
q10	9299	3842	3987	3842
q11	464	252	243	243
q12	446	230	252	230
q13	17182	3296	3175	3175
q14	251	216	226	216
q15	526	478	473	473
q16	511	398	397	397
q17	989	705	754	705
q18	8221	7820	7824	7820
q19	6042	1656	1573	1573
q20	658	320	323	320
q21	5164	3956	3965	3956
q22	383	335	333	333
Total cold run time: 117572 ms
Total hot run time: 42029 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4643	4466	4458	4458
q2	393	276	265	265
q3	3102	2925	2927	2925
q4	1920	1750	1645	1645
q5	5313	5500	5483	5483
q6	216	128	126	126
q7	2159	1809	1790	1790
q8	3233	3416	3370	3370
q9	8648	8585	8659	8585
q10	4093	3857	3725	3725
q11	589	486	487	486
q12	742	617	626	617
q13	16523	3079	3174	3079
q14	289	263	279	263
q15	536	490	473	473
q16	504	431	442	431
q17	1806	1513	1494	1494
q18	7852	7462	7314	7314
q19	1674	1510	1551	1510
q20	1965	1787	1796	1787
q21	4898	4759	4631	4631
q22	577	536	531	531
Total cold run time: 71675 ms
Total hot run time: 54988 ms

doris-robot avatar May 31 '24 04:05 doris-robot

TPC-DS: Total hot run time: 168864 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false

query1	921	380	380	380
query2	6595	2295	2332	2295
query3	6647	206	209	206
query4	19459	17277	17245	17245
query5	4230	437	438	437
query6	269	185	154	154
query7	4588	310	290	290
query8	313	269	284	269
query9	8618	2394	2366	2366
query10	462	298	256	256
query11	10310	10188	10006	10006
query12	136	91	86	86
query13	1663	363	354	354
query14	10124	6986	7396	6986
query15	234	186	191	186
query16	7722	264	265	264
query17	1717	530	557	530
query18	1907	266	268	266
query19	196	154	160	154
query20	97	82	83	82
query21	200	130	125	125
query22	4157	4087	3876	3876
query23	33579	32839	32937	32839
query24	6684	2873	2962	2873
query25	457	353	355	353
query26	699	159	155	155
query27	1887	321	318	318
query28	3660	2097	2050	2050
query29	840	608	593	593
query30	224	153	151	151
query31	936	767	729	729
query32	60	57	52	52
query33	491	265	257	257
query34	835	469	460	460
query35	735	599	609	599
query36	1025	920	911	911
query37	103	68	68	68
query38	2915	2755	2753	2753
query39	853	793	789	789
query40	198	128	123	123
query41	52	52	49	49
query42	104	91	101	91
query43	577	540	547	540
query44	1077	723	752	723
query45	183	171	173	171
query46	1049	772	703	703
query47	1865	1771	1796	1771
query48	355	298	289	289
query49	762	384	388	384
query50	770	390	387	387
query51	6652	6642	6603	6603
query52	100	94	88	88
query53	349	282	295	282
query54	528	427	440	427
query55	77	75	73	73
query56	259	240	240	240
query57	1140	1055	1042	1042
query58	245	226	220	220
query59	3542	3420	3047	3047
query60	280	258	251	251
query61	91	139	89	89
query62	554	451	472	451
query63	314	285	286	285
query64	2554	1737	1694	1694
query65	3176	3141	3106	3106
query66	789	323	327	323
query67	15287	14728	14834	14728
query68	4532	537	531	531
query69	432	270	319	270
query70	1133	1118	1153	1118
query71	339	273	265	265
query72	7784	2704	2570	2570
query73	713	322	318	318
query74	6061	5574	5615	5574
query75	3267	2631	2632	2631
query76	2161	1053	1119	1053
query77	369	265	263	263
query78	10194	9937	9799	9799
query79	1868	511	518	511
query80	1179	434	434	434
query81	537	226	227	226
query82	964	95	93	93
query83	258	178	175	175
query84	249	84	88	84
query85	982	276	265	265
query86	431	292	303	292
query87	3342	3117	3110	3110
query88	3103	2412	2329	2329
query89	490	390	387	387
query90	2059	190	185	185
query91	124	102	101	101
query92	62	49	50	49
query93	1731	508	496	496
query94	1148	186	185	185
query95	401	310	315	310
query96	592	270	263	263
query97	3163	3049	2994	2994
query98	247	216	230	216
query99	1214	824	825	824
Total cold run time: 250606 ms
Total hot run time: 168864 ms

doris-robot avatar May 31 '24 04:05 doris-robot

ClickBench: Total hot run time: 30.55 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 75c5d2b28bca7c10a725b8a36c980a16fe7d624f, data reload: false

query1	0.04	0.03	0.03
query2	0.09	0.04	0.05
query3	0.24	0.06	0.05
query4	1.68	0.08	0.07
query5	0.49	0.49	0.50
query6	1.11	0.72	0.73
query7	0.02	0.02	0.02
query8	0.06	0.05	0.05
query9	0.54	0.47	0.48
query10	0.54	0.55	0.53
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.60
query14	0.78	0.77	0.77
query15	0.82	0.81	0.80
query16	0.37	0.37	0.35
query17	1.03	1.02	0.98
query18	0.22	0.24	0.25
query19	1.86	1.69	1.80
query20	0.01	0.02	0.01
query21	15.65	0.67	0.67
query22	3.99	7.92	1.80
query23	18.30	1.36	1.33
query24	2.04	0.22	0.22
query25	0.14	0.08	0.08
query26	0.27	0.18	0.17
query27	0.07	0.07	0.07
query28	13.25	1.02	1.00
query29	12.81	3.32	3.28
query30	0.23	0.06	0.05
query31	2.87	0.38	0.39
query32	3.27	0.47	0.47
query33	2.87	2.90	2.88
query34	17.18	4.40	4.46
query35	4.55	4.52	4.55
query36	0.67	0.49	0.49
query37	0.18	0.16	0.16
query38	0.16	0.15	0.15
query39	0.04	0.04	0.04
query40	0.16	0.15	0.14
query41	0.09	0.04	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.03
Total cold run time: 109.7 s
Total hot run time: 30.55 s

doris-robot avatar May 31 '24 04:05 doris-robot

run buildall

morningman avatar Jun 01 '24 15:06 morningman

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Jun 01 '24 15:06 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar Jun 01 '24 15:06 github-actions[bot]

TPC-H: Total hot run time: 39960 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false

------ Round 1 ----------------------------------
q1	18027	5443	4361	4361
q2	2687	201	200	200
q3	11436	1178	1132	1132
q4	10814	759	846	759
q5	7514	2740	2737	2737
q6	231	138	143	138
q7	974	632	622	622
q8	9241	2116	2062	2062
q9	9027	6575	6515	6515
q10	8877	3714	3709	3709
q11	450	250	235	235
q12	420	232	233	232
q13	17818	2990	2956	2956
q14	273	222	231	222
q15	523	483	472	472
q16	548	389	375	375
q17	962	722	685	685
q18	8084	7569	7392	7392
q19	6380	1356	1383	1356
q20	660	317	315	315
q21	4956	3170	3924	3170
q22	380	315	329	315
Total cold run time: 120282 ms
Total hot run time: 39960 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4432	4236	4213	4213
q2	380	278	265	265
q3	3039	2717	2799	2717
q4	1885	1617	1664	1617
q5	5289	5294	5318	5294
q6	219	129	134	129
q7	2129	1768	1776	1768
q8	3215	3352	3319	3319
q9	8375	8345	8353	8345
q10	3901	3722	3688	3688
q11	591	497	489	489
q12	801	610	609	609
q13	16543	2978	3004	2978
q14	306	269	260	260
q15	515	476	473	473
q16	476	424	421	421
q17	1778	1504	1475	1475
q18	7777	7399	7457	7399
q19	1717	1695	1545	1545
q20	1983	1807	1795	1795
q21	4839	4810	4792	4792
q22	632	536	525	525
Total cold run time: 70822 ms
Total hot run time: 54116 ms

doris-robot avatar Jun 01 '24 16:06 doris-robot

TPC-DS: Total hot run time: 173552 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false

query1	931	390	367	367
query2	6465	2403	2528	2403
query3	6650	205	207	205
query4	19840	17237	17361	17237
query5	4166	465	453	453
query6	272	161	159	159
query7	4601	309	303	303
query8	334	289	291	289
query9	8613	2361	2345	2345
query10	469	295	279	279
query11	10801	10095	10039	10039
query12	136	92	87	87
query13	1630	366	365	365
query14	10130	7730	7517	7517
query15	247	194	193	193
query16	7798	278	275	275
query17	1804	525	529	525
query18	1922	280	269	269
query19	196	156	160	156
query20	96	89	85	85
query21	206	135	129	129
query22	4159	4064	3946	3946
query23	33928	33350	33111	33111
query24	11230	2851	2816	2816
query25	637	352	364	352
query26	1438	160	161	160
query27	2938	319	318	318
query28	7507	2040	2047	2040
query29	992	632	611	611
query30	279	151	151	151
query31	946	753	787	753
query32	94	52	53	52
query33	768	287	274	274
query34	985	493	485	485
query35	760	633	612	612
query36	1066	933	891	891
query37	156	66	74	66
query38	2918	2816	2816	2816
query39	870	789	788	788
query40	224	129	128	128
query41	53	50	58	50
query42	118	101	95	95
query43	614	564	575	564
query44	1203	712	730	712
query45	212	181	168	168
query46	1088	732	755	732
query47	1825	1740	1753	1740
query48	384	291	299	291
query49	1143	422	419	419
query50	799	402	390	390
query51	6778	6704	6706	6704
query52	101	94	92	92
query53	355	301	293	293
query54	896	443	460	443
query55	79	76	78	76
query56	313	258	262	258
query57	1134	1049	1029	1029
query58	258	257	229	229
query59	3488	3337	3177	3177
query60	303	265	275	265
query61	92	91	90	90
query62	637	483	448	448
query63	338	316	301	301
query64	10093	2203	1719	1719
query65	3220	3114	3162	3114
query66	1306	335	332	332
query67	15335	14943	14696	14696
query68	4549	567	538	538
query69	464	301	304	301
query70	1179	1144	1161	1144
query71	402	287	296	287
query72	7277	5499	5655	5499
query73	772	336	326	326
query74	6072	5553	5627	5553
query75	3391	2691	2715	2691
query76	2659	966	937	937
query77	491	311	310	310
query78	10475	9793	9793	9793
query79	2611	505	519	505
query80	1015	479	472	472
query81	546	225	235	225
query82	783	103	108	103
query83	275	172	181	172
query84	254	94	89	89
query85	1611	329	314	314
query86	477	303	307	303
query87	3329	3198	3118	3118
query88	4242	2340	2337	2337
query89	477	387	383	383
query90	1787	192	191	191
query91	270	97	94	94
query92	113	48	51	48
query93	1867	505	490	490
query94	1232	182	183	182
query95	402	308	323	308
query96	599	265	265	265
query97	3203	3047	3019	3019
query98	244	220	213	213
query99	1143	865	878	865
Total cold run time: 275578 ms
Total hot run time: 173552 ms

doris-robot avatar Jun 01 '24 16:06 doris-robot

ClickBench: Total hot run time: 30.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 056d72fd690ba1c8bff569265eb5837f0cb3b002, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.67	0.08	0.08
query5	0.50	0.47	0.47
query6	1.12	0.73	0.71
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.50
query10	0.55	0.56	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.60
query14	0.79	0.76	0.79
query15	0.82	0.80	0.81
query16	0.38	0.36	0.35
query17	0.97	1.01	0.94
query18	0.22	0.24	0.26
query19	1.77	1.69	1.74
query20	0.02	0.01	0.01
query21	15.65	0.67	0.66
query22	4.45	6.64	1.81
query23	18.33	1.32	1.33
query24	1.54	0.28	0.20
query25	0.14	0.08	0.08
query26	0.26	0.16	0.16
query27	0.08	0.08	0.07
query28	13.48	1.02	1.00
query29	13.16	3.30	3.29
query30	0.24	0.05	0.06
query31	2.88	0.38	0.38
query32	3.29	0.47	0.48
query33	2.86	2.84	2.92
query34	17.01	4.44	4.41
query35	4.58	4.50	4.52
query36	0.66	0.47	0.46
query37	0.18	0.16	0.15
query38	0.15	0.15	0.15
query39	0.04	0.04	0.03
query40	0.16	0.15	0.14
query41	0.09	0.05	0.04
query42	0.05	0.05	0.04
query43	0.04	0.03	0.05
Total cold run time: 110 s
Total hot run time: 30.36 s

doris-robot avatar Jun 01 '24 16:06 doris-robot