doris icon indicating copy to clipboard operation
doris copied to clipboard

[feature](kerberos)support custom hadoop conf

Open wsjz opened this issue 1 year ago • 16 comments

Proposed changes

for catalog and tvf, we should support custom hadoop conf dir add new config, dfs.config.dir

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

wsjz avatar May 17 '24 00:05 wsjz

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 17 '24 00:05 doris-robot

run buildall

wsjz avatar May 22 '24 08:05 wsjz

TPC-H: Total hot run time: 40616 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9b3b103d4c3370a3906e921680cd0756bf6d6180, data reload: false

------ Round 1 ----------------------------------
q1	17688	4401	4260	4260
q2	2017	194	186	186
q3	10739	1278	1188	1188
q4	10796	780	715	715
q5	7914	2693	2688	2688
q6	220	134	134	134
q7	964	612	591	591
q8	9761	2104	2078	2078
q9	9269	6617	6553	6553
q10	8954	3686	3721	3686
q11	466	241	233	233
q12	455	218	211	211
q13	17761	2986	2958	2958
q14	264	220	230	220
q15	510	466	461	461
q16	503	377	380	377
q17	966	750	739	739
q18	8016	7423	7424	7423
q19	6039	1535	1475	1475
q20	666	321	318	318
q21	4909	3916	3848	3848
q22	361	274	282	274
Total cold run time: 119238 ms
Total hot run time: 40616 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4327	4173	4197	4173
q2	364	254	275	254
q3	2952	2729	2697	2697
q4	1846	1580	1614	1580
q5	5215	5251	5256	5251
q6	215	122	124	122
q7	2123	1744	1739	1739
q8	3164	3290	3294	3290
q9	8282	8304	8363	8304
q10	3886	3681	3693	3681
q11	583	483	473	473
q12	751	609	601	601
q13	16341	3003	2991	2991
q14	287	263	254	254
q15	502	465	470	465
q16	466	420	402	402
q17	1772	1450	1451	1450
q18	7617	7793	7398	7398
q19	1638	1532	1548	1532
q20	1982	1790	1770	1770
q21	4916	4656	4718	4656
q22	561	486	493	486
Total cold run time: 69790 ms
Total hot run time: 53569 ms

doris-robot avatar May 22 '24 08:05 doris-robot

TPC-DS: Total hot run time: 171153 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 9b3b103d4c3370a3906e921680cd0756bf6d6180, data reload: false

query1	910	374	367	367
query2	6455	2344	2283	2283
query3	6658	207	204	204
query4	19259	17526	17308	17308
query5	4137	439	423	423
query6	250	162	157	157
query7	4585	310	297	297
query8	241	193	178	178
query9	8663	2378	2347	2347
query10	464	284	262	262
query11	10436	10026	9976	9976
query12	146	91	95	91
query13	1646	370	374	370
query14	9508	7679	7104	7104
query15	255	167	176	167
query16	8096	268	265	265
query17	1835	528	504	504
query18	1909	271	262	262
query19	211	157	156	156
query20	92	86	105	86
query21	198	129	128	128
query22	4285	3873	3948	3873
query23	33679	33072	32997	32997
query24	12031	2840	2874	2840
query25	651	395	357	357
query26	1754	153	154	153
query27	3048	320	337	320
query28	7572	2042	2039	2039
query29	1018	603	594	594
query30	326	170	170	170
query31	978	760	742	742
query32	97	52	55	52
query33	763	260	271	260
query34	1032	456	470	456
query35	731	620	577	577
query36	1087	931	915	915
query37	280	72	70	70
query38	2930	2824	2731	2731
query39	846	791	791	791
query40	288	132	124	124
query41	48	45	43	43
query42	103	97	99	97
query43	584	533	559	533
query44	1186	738	744	738
query45	182	167	165	165
query46	1071	740	712	712
query47	1857	1743	1779	1743
query48	379	292	291	291
query49	1175	390	382	382
query50	784	394	396	394
query51	6908	6853	6767	6767
query52	101	93	87	87
query53	346	284	286	284
query54	1020	431	442	431
query55	79	72	72	72
query56	294	244	254	244
query57	1121	1072	1060	1060
query58	240	210	208	208
query59	3493	3052	3183	3052
query60	281	250	250	250
query61	88	90	84	84
query62	660	462	441	441
query63	311	294	299	294
query64	9834	2271	1722	1722
query65	3146	3092	3089	3089
query66	1355	332	324	324
query67	15425	14736	14645	14645
query68	4578	544	544	544
query69	444	267	274	267
query70	1111	1050	1146	1050
query71	424	273	269	269
query72	7673	4885	5327	4885
query73	736	318	315	315
query74	6089	5589	5572	5572
query75	3472	2619	2645	2619
query76	2940	1020	949	949
query77	400	273	268	268
query78	10270	9795	9725	9725
query79	2148	518	522	518
query80	922	453	443	443
query81	521	246	237	237
query82	658	97	96	96
query83	244	168	178	168
query84	239	95	88	88
query85	1845	264	263	263
query86	524	288	309	288
query87	3287	3082	3173	3082
query88	4062	2329	2338	2329
query89	478	384	383	383
query90	2017	191	190	190
query91	125	97	99	97
query92	63	49	53	49
query93	2291	518	499	499
query94	1196	192	191	191
query95	396	304	315	304
query96	609	266	264	264
query97	3155	3004	3001	3001
query98	237	225	209	209
query99	1061	844	843	843
Total cold run time: 275636 ms
Total hot run time: 171153 ms

doris-robot avatar May 22 '24 08:05 doris-robot

ClickBench: Total hot run time: 30.1 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 9b3b103d4c3370a3906e921680cd0756bf6d6180, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.67	0.07	0.08
query5	0.49	0.49	0.49
query6	1.12	0.72	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.49	0.48
query10	0.54	0.54	0.54
query11	0.15	0.12	0.11
query12	0.14	0.12	0.12
query13	0.59	0.59	0.60
query14	0.75	0.78	0.79
query15	0.82	0.80	0.79
query16	0.36	0.36	0.35
query17	0.95	1.04	0.96
query18	0.21	0.24	0.23
query19	1.75	1.65	1.71
query20	0.01	0.00	0.01
query21	15.74	0.65	0.66
query22	4.22	8.13	1.65
query23	18.32	1.35	1.31
query24	1.93	0.24	0.20
query25	0.15	0.07	0.08
query26	0.27	0.16	0.18
query27	0.07	0.08	0.08
query28	13.26	1.02	1.00
query29	13.10	3.27	3.26
query30	0.24	0.06	0.06
query31	2.85	0.38	0.38
query32	3.27	0.47	0.46
query33	2.87	2.82	2.90
query34	16.95	4.43	4.50
query35	4.56	4.55	4.50
query36	0.65	0.45	0.48
query37	0.18	0.15	0.16
query38	0.16	0.14	0.14
query39	0.05	0.03	0.04
query40	0.18	0.15	0.14
query41	0.09	0.05	0.04
query42	0.05	0.04	0.05
query43	0.04	0.03	0.04
Total cold run time: 109.71 s
Total hot run time: 30.1 s

doris-robot avatar May 22 '24 08:05 doris-robot

run buildall

wsjz avatar May 29 '24 01:05 wsjz

run buildall

wsjz avatar Jun 28 '24 08:06 wsjz

TPC-H: Total hot run time: 39827 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b323b277e854bb83e88311e83f3c45b2e588c0b4, data reload: false

------ Round 1 ----------------------------------
q1	17615	4425	4271	4271
q2	2022	195	197	195
q3	10511	1279	1104	1104
q4	10224	839	878	839
q5	7500	2697	2660	2660
q6	221	137	136	136
q7	960	599	613	599
q8	9229	2070	2065	2065
q9	8896	6517	6488	6488
q10	8990	3719	3747	3719
q11	435	248	239	239
q12	415	235	233	233
q13	17751	3014	2969	2969
q14	264	222	225	222
q15	530	479	488	479
q16	485	376	380	376
q17	963	655	716	655
q18	8165	7442	7390	7390
q19	3879	1460	1406	1406
q20	649	327	347	327
q21	4897	3119	3253	3119
q22	411	341	336	336
Total cold run time: 115012 ms
Total hot run time: 39827 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4408	4236	4238	4236
q2	368	266	274	266
q3	2979	2777	2936	2777
q4	1957	1734	1799	1734
q5	5583	5610	5491	5491
q6	217	148	144	144
q7	2208	1830	1890	1830
q8	3307	3423	3446	3423
q9	8740	8744	8882	8744
q10	4119	3968	3754	3754
q11	577	484	510	484
q12	805	669	652	652
q13	15825	3189	3197	3189
q14	318	273	281	273
q15	525	499	502	499
q16	519	458	434	434
q17	1788	1538	1515	1515
q18	8259	7899	7804	7804
q19	1848	1525	1355	1355
q20	2072	1933	1900	1900
q21	5112	5094	4900	4900
q22	634	585	592	585
Total cold run time: 72168 ms
Total hot run time: 55989 ms

doris-robot avatar Jun 28 '24 08:06 doris-robot

TPC-DS: Total hot run time: 173281 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b323b277e854bb83e88311e83f3c45b2e588c0b4, data reload: false

query1	923	385	385	385
query2	6457	2415	2348	2348
query3	6642	211	217	211
query4	19114	17634	17337	17337
query5	3596	488	481	481
query6	269	156	160	156
query7	4592	294	295	294
query8	323	296	282	282
query9	8462	2457	2458	2457
query10	571	303	280	280
query11	10612	10194	9966	9966
query12	113	96	81	81
query13	1654	362	362	362
query14	10029	7718	6265	6265
query15	236	183	183	183
query16	7743	269	253	253
query17	1919	566	557	557
query18	1941	280	265	265
query19	192	152	148	148
query20	90	84	83	83
query21	211	131	123	123
query22	4275	4035	3929	3929
query23	33911	33616	33482	33482
query24	11997	2937	2975	2937
query25	659	380	375	375
query26	1757	161	152	152
query27	3086	335	334	334
query28	7957	2209	2185	2185
query29	1126	657	605	605
query30	246	165	169	165
query31	976	766	746	746
query32	100	55	61	55
query33	772	325	321	321
query34	960	491	497	491
query35	738	655	680	655
query36	1126	1005	985	985
query37	297	71	78	71
query38	2940	2864	2890	2864
query39	868	835	830	830
query40	256	141	129	129
query41	54	52	54	52
query42	120	103	103	103
query43	597	540	545	540
query44	1272	757	742	742
query45	195	177	167	167
query46	1075	715	727	715
query47	1859	1764	1761	1761
query48	375	302	298	298
query49	954	409	422	409
query50	764	389	392	389
query51	6868	6797	6789	6789
query52	106	96	95	95
query53	365	301	300	300
query54	875	462	474	462
query55	80	77	76	76
query56	323	307	266	266
query57	1166	1024	1056	1024
query58	253	237	253	237
query59	3437	3101	3263	3101
query60	303	270	271	270
query61	95	87	88	87
query62	621	442	442	442
query63	319	285	296	285
query64	9643	2276	1788	1788
query65	3223	3124	3130	3124
query66	1250	327	335	327
query67	15268	14917	15115	14917
query68	4464	555	550	550
query69	544	392	349	349
query70	1181	1153	1159	1153
query71	420	287	281	281
query72	6917	5740	5332	5332
query73	745	330	325	325
query74	5902	5475	5588	5475
query75	3466	2665	2707	2665
query76	2654	893	957	893
query77	450	317	303	303
query78	10455	9799	9748	9748
query79	2707	517	521	517
query80	936	466	461	461
query81	590	221	219	219
query82	802	106	104	104
query83	280	172	169	169
query84	236	89	82	82
query85	1522	289	271	271
query86	466	333	305	305
query87	3260	3085	3148	3085
query88	3625	2384	2378	2378
query89	476	393	379	379
query90	1854	185	185	185
query91	131	98	99	98
query92	64	49	48	48
query93	1719	510	512	510
query94	1211	186	187	186
query95	410	310	312	310
query96	588	271	275	271
query97	3253	3008	3023	3008
query98	223	197	197	197
query99	1082	830	864	830
Total cold run time: 273829 ms
Total hot run time: 173281 ms

doris-robot avatar Jun 28 '24 08:06 doris-robot

ClickBench: Total hot run time: 31.02 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b323b277e854bb83e88311e83f3c45b2e588c0b4, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.04	0.04
query4	1.68	0.07	0.08
query5	0.50	0.49	0.49
query6	1.14	0.73	0.72
query7	0.02	0.01	0.01
query8	0.06	0.04	0.05
query9	0.55	0.50	0.49
query10	0.55	0.55	0.55
query11	0.16	0.12	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.60
query14	0.78	0.80	0.78
query15	0.84	0.82	0.80
query16	0.36	0.37	0.35
query17	1.05	0.98	1.02
query18	0.23	0.24	0.25
query19	1.93	1.80	1.79
query20	0.01	0.02	0.01
query21	15.43	0.75	0.64
query22	4.00	6.94	2.34
query23	18.29	1.39	1.26
query24	2.18	0.22	0.21
query25	0.15	0.10	0.07
query26	0.27	0.18	0.17
query27	0.09	0.08	0.08
query28	13.25	1.02	0.99
query29	12.61	3.31	3.25
query30	0.25	0.07	0.06
query31	2.85	0.38	0.37
query32	3.30	0.47	0.48
query33	2.79	2.94	2.92
query34	16.90	4.38	4.41
query35	4.50	4.49	4.55
query36	0.65	0.46	0.47
query37	0.18	0.15	0.16
query38	0.15	0.14	0.14
query39	0.05	0.04	0.04
query40	0.17	0.15	0.15
query41	0.09	0.04	0.04
query42	0.05	0.04	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.2 s
Total hot run time: 31.02 s

doris-robot avatar Jun 28 '24 08:06 doris-robot

run fe ut

wsjz avatar Jun 28 '24 08:06 wsjz

run feut

wsjz avatar Jun 28 '24 08:06 wsjz

run buildall

wsjz avatar Jul 01 '24 01:07 wsjz

TPC-H: Total hot run time: 39562 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1c3d9de062de9fc4713ecbdcca817bafdddbf9b6, data reload: false

------ Round 1 ----------------------------------
q1	18020	4566	4409	4409
q2	2227	188	190	188
q3	10540	1232	1022	1022
q4	10207	796	745	745
q5	7484	2612	2615	2612
q6	220	136	138	136
q7	942	583	618	583
q8	9220	2061	2050	2050
q9	8950	6495	6477	6477
q10	9006	3739	3739	3739
q11	459	231	231	231
q12	467	224	232	224
q13	17776	2979	2972	2972
q14	270	227	222	222
q15	516	484	492	484
q16	502	371	369	369
q17	949	664	683	664
q18	7985	7431	7261	7261
q19	3620	1377	1426	1377
q20	645	325	332	325
q21	4930	3136	3907	3136
q22	392	336	339	336
Total cold run time: 115327 ms
Total hot run time: 39562 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4348	4215	4184	4184
q2	378	252	276	252
q3	2957	2748	2745	2745
q4	1860	1641	1622	1622
q5	5239	5268	5288	5268
q6	225	134	132	132
q7	2120	1722	1741	1722
q8	3195	3306	3289	3289
q9	8362	8296	8302	8296
q10	3891	3606	3662	3606
q11	576	490	497	490
q12	815	647	621	621
q13	17503	2948	2975	2948
q14	307	270	262	262
q15	532	484	469	469
q16	454	427	425	425
q17	1770	1461	1470	1461
q18	7630	7399	7238	7238
q19	3382	1602	1446	1446
q20	2031	1766	1749	1749
q21	4817	4765	4705	4705
q22	627	527	554	527
Total cold run time: 73019 ms
Total hot run time: 53457 ms

doris-robot avatar Jul 01 '24 02:07 doris-robot

TPC-DS: Total hot run time: 170228 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1c3d9de062de9fc4713ecbdcca817bafdddbf9b6, data reload: false

query1	909	375	372	372
query2	6456	2347	2302	2302
query3	6652	205	214	205
query4	19844	17479	17212	17212
query5	4181	492	480	480
query6	260	168	165	165
query7	4594	299	287	287
query8	299	264	301	264
query9	8441	2384	2378	2378
query10	617	303	279	279
query11	10576	10017	9932	9932
query12	131	94	83	83
query13	1647	363	374	363
query14	10215	7343	7578	7343
query15	236	193	188	188
query16	7862	274	271	271
query17	1895	567	549	549
query18	1974	276	275	275
query19	199	153	152	152
query20	92	83	80	80
query21	220	128	132	128
query22	4230	3941	3890	3890
query23	33709	33156	32981	32981
query24	11839	2794	2818	2794
query25	697	385	382	382
query26	1795	157	156	156
query27	2973	313	319	313
query28	7565	2064	2062	2062
query29	1140	633	629	629
query30	275	151	151	151
query31	980	774	762	762
query32	101	54	57	54
query33	790	305	306	305
query34	904	475	468	468
query35	775	637	638	637
query36	1107	936	953	936
query37	182	79	79	79
query38	2862	2718	2771	2718
query39	849	800	806	800
query40	281	132	134	132
query41	55	55	53	53
query42	127	101	106	101
query43	576	567	518	518
query44	1237	730	733	730
query45	193	164	169	164
query46	1078	710	729	710
query47	1857	1767	1791	1767
query48	382	296	303	296
query49	1186	434	438	434
query50	779	388	386	386
query51	6960	6816	6721	6721
query52	110	89	101	89
query53	363	298	301	298
query54	1037	480	471	471
query55	79	75	75	75
query56	313	289	296	289
query57	1140	1059	1068	1059
query58	271	245	266	245
query59	3488	3067	3024	3024
query60	348	281	275	275
query61	93	92	94	92
query62	667	427	439	427
query63	333	289	279	279
query64	9823	2231	1723	1723
query65	3221	3093	3082	3082
query66	1381	334	330	330
query67	15781	14949	14920	14920
query68	8321	555	553	553
query69	689	478	395	395
query70	1144	1125	1131	1125
query71	515	287	278	278
query72	9025	5718	2743	2743
query73	829	323	328	323
query74	5953	5456	5460	5456
query75	5318	2670	2640	2640
query76	5044	966	883	883
query77	791	349	307	307
query78	10439	9947	9809	9809
query79	8428	513	512	512
query80	1016	463	465	463
query81	548	221	218	218
query82	721	107	113	107
query83	328	168	163	163
query84	267	85	85	85
query85	1217	272	261	261
query86	401	321	320	320
query87	3324	3129	3076	3076
query88	3953	2372	2391	2372
query89	536	376	399	376
query90	2080	185	193	185
query91	131	96	97	96
query92	60	48	48	48
query93	6818	498	504	498
query94	1259	183	187	183
query95	402	314	315	314
query96	615	270	268	268
query97	3206	3030	3064	3030
query98	214	199	198	198
query99	1132	832	828	828
Total cold run time: 297956 ms
Total hot run time: 170228 ms

doris-robot avatar Jul 01 '24 02:07 doris-robot

ClickBench: Total hot run time: 30.21 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1c3d9de062de9fc4713ecbdcca817bafdddbf9b6, data reload: false

query1	0.04	0.03	0.04
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.08	0.07
query5	0.48	0.50	0.48
query6	1.14	0.73	0.72
query7	0.02	0.02	0.01
query8	0.04	0.04	0.04
query9	0.56	0.50	0.48
query10	0.53	0.53	0.53
query11	0.15	0.12	0.11
query12	0.14	0.12	0.11
query13	0.60	0.59	0.59
query14	0.77	0.78	0.77
query15	0.85	0.80	0.81
query16	0.36	0.37	0.37
query17	0.96	0.95	0.95
query18	0.23	0.24	0.25
query19	1.83	1.72	1.68
query20	0.01	0.02	0.01
query21	15.45	0.75	0.66
query22	4.28	7.78	1.64
query23	18.30	1.39	1.26
query24	2.10	0.22	0.23
query25	0.17	0.08	0.09
query26	0.27	0.17	0.18
query27	0.08	0.08	0.08
query28	13.25	1.01	0.99
query29	12.60	3.29	3.23
query30	0.24	0.07	0.06
query31	2.86	0.39	0.39
query32	3.28	0.47	0.48
query33	2.86	2.86	2.86
query34	17.33	4.45	4.46
query35	4.51	4.51	4.56
query36	0.65	0.46	0.47
query37	0.18	0.15	0.15
query38	0.16	0.14	0.15
query39	0.04	0.04	0.04
query40	0.17	0.14	0.14
query41	0.09	0.04	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.67 s
Total hot run time: 30.21 s

doris-robot avatar Jul 01 '24 02:07 doris-robot

run buildall

wsjz avatar Jul 01 '24 18:07 wsjz

TPC-H: Total hot run time: 39654 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d9b4a22fd6a7742400d33d6f3939be52930e646e, data reload: false

------ Round 1 ----------------------------------
q1	17630	4368	4285	4285
q2	2012	189	185	185
q3	10497	1201	1154	1154
q4	10204	751	792	751
q5	7472	2647	2619	2619
q6	222	136	134	134
q7	953	589	597	589
q8	9234	2061	2057	2057
q9	9012	6473	6458	6458
q10	8970	3726	3688	3688
q11	474	229	242	229
q12	498	237	228	228
q13	17987	2969	2978	2969
q14	281	234	226	226
q15	535	484	478	478
q16	503	374	372	372
q17	960	705	630	630
q18	7990	7395	7440	7395
q19	4495	1444	1542	1444
q20	666	319	326	319
q21	5039	3110	3125	3110
q22	388	337	334	334
Total cold run time: 116022 ms
Total hot run time: 39654 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4400	4253	4258	4253
q2	361	268	268	268
q3	2920	2731	2932	2731
q4	1978	1737	1697	1697
q5	5602	5529	5520	5520
q6	227	130	138	130
q7	2168	1821	1864	1821
q8	3255	3417	3380	3380
q9	8720	8670	8808	8670
q10	4116	3957	3800	3800
q11	589	496	483	483
q12	783	623	666	623
q13	16517	3154	3147	3147
q14	309	269	284	269
q15	529	481	471	471
q16	493	441	443	441
q17	1805	1491	1528	1491
q18	8112	7885	7777	7777
q19	1742	1560	1512	1512
q20	2201	1865	1840	1840
q21	5091	4966	4750	4750
q22	616	552	558	552
Total cold run time: 72534 ms
Total hot run time: 55626 ms

doris-robot avatar Jul 01 '24 19:07 doris-robot

TPC-DS: Total hot run time: 173870 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d9b4a22fd6a7742400d33d6f3939be52930e646e, data reload: false

query1	919	380	369	369
query2	6452	2538	2355	2355
query3	6634	216	217	216
query4	19268	17703	17242	17242
query5	3702	486	452	452
query6	247	168	164	164
query7	4592	299	293	293
query8	328	277	302	277
query9	8407	2350	2335	2335
query10	575	291	263	263
query11	10510	9982	9869	9869
query12	120	84	80	80
query13	1651	368	363	363
query14	9368	7802	7685	7685
query15	232	187	189	187
query16	7756	267	283	267
query17	1885	524	521	521
query18	1943	288	279	279
query19	194	154	174	154
query20	94	83	89	83
query21	210	139	121	121
query22	4310	4247	4096	4096
query23	33742	33698	33469	33469
query24	10533	2913	2802	2802
query25	618	407	403	403
query26	709	160	159	159
query27	2329	325	331	325
query28	5822	2145	2129	2129
query29	934	655	665	655
query30	265	170	159	159
query31	976	779	762	762
query32	104	56	55	55
query33	672	310	308	308
query34	892	479	475	475
query35	767	657	653	653
query36	1123	982	978	978
query37	138	85	82	82
query38	2982	2798	2760	2760
query39	891	829	837	829
query40	216	127	126	126
query41	56	54	53	53
query42	122	97	101	97
query43	593	522	544	522
query44	1058	732	722	722
query45	204	170	169	169
query46	1074	733	731	731
query47	1852	1770	1794	1770
query48	368	303	300	300
query49	864	435	443	435
query50	773	382	381	381
query51	6807	6775	6651	6651
query52	103	94	92	92
query53	356	301	291	291
query54	940	446	456	446
query55	76	74	76	74
query56	299	280	273	273
query57	1137	1065	1043	1043
query58	255	252	268	252
query59	3417	3363	3189	3189
query60	320	314	293	293
query61	118	110	113	110
query62	602	450	437	437
query63	329	288	290	288
query64	8813	2342	1890	1890
query65	3171	3078	3097	3078
query66	746	315	321	315
query67	15657	14848	14981	14848
query68	8498	536	537	536
query69	742	459	339	339
query70	1332	1067	1134	1067
query71	495	280	282	280
query72	9415	5207	5295	5207
query73	2238	325	318	318
query74	5892	5407	5472	5407
query75	5093	2662	2661	2661
query76	5116	961	1021	961
query77	755	299	296	296
query78	10653	9871	9702	9702
query79	8603	525	508	508
query80	1035	527	476	476
query81	546	219	223	219
query82	501	116	103	103
query83	330	167	164	164
query84	274	83	87	83
query85	894	276	262	262
query86	355	326	319	319
query87	3257	3049	3046	3046
query88	4063	2358	2365	2358
query89	539	374	390	374
query90	2013	184	186	184
query91	127	96	100	96
query92	57	47	47	47
query93	6734	502	497	497
query94	1337	185	228	185
query95	414	315	310	310
query96	600	267	265	265
query97	3159	3040	3044	3040
query98	209	200	193	193
query99	1150	817	846	817
Total cold run time: 289646 ms
Total hot run time: 173870 ms

doris-robot avatar Jul 01 '24 19:07 doris-robot

ClickBench: Total hot run time: 31.17 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d9b4a22fd6a7742400d33d6f3939be52930e646e, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.71	0.08	0.10
query5	0.50	0.49	0.49
query6	1.13	0.74	0.72
query7	0.02	0.01	0.02
query8	0.06	0.05	0.05
query9	0.55	0.50	0.49
query10	0.56	0.53	0.54
query11	0.16	0.12	0.11
query12	0.15	0.12	0.13
query13	0.59	0.59	0.59
query14	0.78	0.81	0.76
query15	0.86	0.83	0.81
query16	0.38	0.37	0.37
query17	0.98	0.95	0.96
query18	0.22	0.25	0.25
query19	1.83	1.78	1.71
query20	0.02	0.01	0.01
query21	15.45	0.76	0.66
query22	4.21	6.78	2.45
query23	18.29	1.33	1.31
query24	2.16	0.24	0.21
query25	0.15	0.09	0.09
query26	0.25	0.18	0.17
query27	0.08	0.08	0.09
query28	13.29	1.01	1.00
query29	12.60	3.30	3.28
query30	0.25	0.07	0.06
query31	2.87	0.39	0.40
query32	3.25	0.46	0.48
query33	2.87	2.91	2.91
query34	17.08	4.40	4.42
query35	4.52	4.50	4.45
query36	0.65	0.46	0.48
query37	0.20	0.15	0.15
query38	0.15	0.15	0.15
query39	0.04	0.03	0.04
query40	0.18	0.15	0.15
query41	0.09	0.06	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.59 s
Total hot run time: 31.17 s

doris-robot avatar Jul 01 '24 19:07 doris-robot