doris icon indicating copy to clipboard operation
doris copied to clipboard

[enhancement](export)export job for olap table will only hit the base index, so skip other tablets of rollup index when do splitTablets

Open caiconghui opened this issue 1 year ago • 39 comments

caiconghui avatar May 28 '24 13:05 caiconghui

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 28 '24 13:05 doris-robot

run buildall

caiconghui avatar May 28 '24 13:05 caiconghui

run buildall

caiconghui avatar May 28 '24 13:05 caiconghui

TPC-H: Total hot run time: 39858 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3691f27eba2b7f817510c68615f90709c999bc19, data reload: false

------ Round 1 ----------------------------------
q1	17614	4295	4168	4168
q2	2029	190	189	189
q3	10569	1260	1264	1260
q4	10567	712	776	712
q5	7584	2680	2678	2678
q6	218	133	135	133
q7	968	612	609	609
q8	9559	2108	2106	2106
q9	9412	6549	6571	6549
q10	9762	3777	3714	3714
q11	470	256	244	244
q12	459	221	219	219
q13	17763	2981	2955	2955
q14	260	228	230	228
q15	517	472	480	472
q16	512	375	385	375
q17	966	711	657	657
q18	7948	7318	7253	7253
q19	6530	1548	1471	1471
q20	650	328	316	316
q21	4891	3831	3270	3270
q22	341	280	280	280
Total cold run time: 119589 ms
Total hot run time: 39858 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4373	4194	4171	4171
q2	364	269	274	269
q3	2989	2752	2725	2725
q4	1847	1627	1579	1579
q5	5259	5266	5264	5264
q6	215	124	126	124
q7	2171	1779	1746	1746
q8	3145	3310	3282	3282
q9	8368	8369	8362	8362
q10	3890	3672	3656	3656
q11	589	493	496	493
q12	746	601	595	595
q13	17467	2971	2997	2971
q14	289	271	269	269
q15	515	489	486	486
q16	492	433	407	407
q17	1791	1496	1484	1484
q18	7610	7582	7457	7457
q19	1681	1492	1538	1492
q20	2007	1781	1794	1781
q21	4817	4600	4771	4600
q22	588	507	506	506
Total cold run time: 71213 ms
Total hot run time: 53719 ms

doris-robot avatar May 28 '24 13:05 doris-robot

TPC-DS: Total hot run time: 169968 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3691f27eba2b7f817510c68615f90709c999bc19, data reload: false

query1	922	384	376	376
query2	6464	2365	2329	2329
query3	6656	204	205	204
query4	19420	17546	17394	17394
query5	4177	417	410	410
query6	236	156	156	156
query7	4591	303	293	293
query8	251	187	189	187
query9	8567	2461	2434	2434
query10	460	281	262	262
query11	10584	10035	10140	10035
query12	142	88	87	87
query13	1652	374	363	363
query14	9590	7606	7143	7143
query15	257	169	159	159
query16	8154	280	277	277
query17	1813	524	512	512
query18	2088	273	273	273
query19	199	156	152	152
query20	95	91	85	85
query21	197	131	131	131
query22	4209	3914	3987	3914
query23	33822	33086	33278	33086
query24	12110	2812	2859	2812
query25	640	349	376	349
query26	1722	159	156	156
query27	2960	334	324	324
query28	7601	2066	2073	2066
query29	1016	610	615	610
query30	294	150	155	150
query31	967	763	744	744
query32	98	53	54	53
query33	764	289	265	265
query34	966	476	484	476
query35	739	612	594	594
query36	1070	916	905	905
query37	270	66	68	66
query38	2900	2767	2772	2767
query39	860	791	791	791
query40	271	125	127	125
query41	46	44	74	44
query42	104	98	92	92
query43	579	553	555	553
query44	1190	732	748	732
query45	176	168	172	168
query46	1077	698	722	698
query47	1849	1795	1810	1795
query48	366	302	296	296
query49	1191	382	383	382
query50	775	399	416	399
query51	6860	6729	6787	6729
query52	96	92	92	92
query53	355	294	284	284
query54	916	437	434	434
query55	74	76	70	70
query56	271	242	241	241
query57	1128	1083	1054	1054
query58	235	216	235	216
query59	3674	3354	3348	3348
query60	268	259	253	253
query61	86	86	84	84
query62	646	479	458	458
query63	320	286	285	285
query64	9818	2210	1858	1858
query65	3201	3092	3121	3092
query66	1372	333	321	321
query67	15607	14862	14634	14634
query68	4565	554	539	539
query69	436	277	272	272
query70	1129	1100	1102	1100
query71	403	273	271	271
query72	7679	2774	2541	2541
query73	739	335	327	327
query74	6121	5720	5638	5638
query75	3384	2622	2615	2615
query76	2642	921	931	921
query77	406	270	264	264
query78	10242	9738	9770	9738
query79	2113	519	509	509
query80	904	437	477	437
query81	507	224	223	223
query82	708	91	90	90
query83	233	167	166	166
query84	236	92	83	83
query85	1994	264	261	261
query86	512	293	296	293
query87	3294	3080	3082	3080
query88	4358	2443	2449	2443
query89	483	397	384	384
query90	1974	202	189	189
query91	126	99	98	98
query92	62	50	50	50
query93	2264	508	498	498
query94	1247	184	190	184
query95	417	320	314	314
query96	594	268	278	268
query97	3176	2994	3079	2994
query98	233	218	219	218
query99	1083	884	833	833
Total cold run time: 276338 ms
Total hot run time: 169968 ms

doris-robot avatar May 28 '24 14:05 doris-robot

ClickBench: Total hot run time: 30.23 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3691f27eba2b7f817510c68615f90709c999bc19, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.23	0.06	0.05
query4	1.70	0.09	0.09
query5	0.52	0.50	0.50
query6	1.13	0.72	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.54	0.49	0.50
query10	0.54	0.54	0.55
query11	0.17	0.12	0.12
query12	0.15	0.12	0.12
query13	0.59	0.58	0.59
query14	0.79	0.77	0.78
query15	0.81	0.81	0.80
query16	0.35	0.37	0.37
query17	0.95	1.01	0.94
query18	0.22	0.24	0.25
query19	1.76	1.67	1.66
query20	0.02	0.01	0.00
query21	15.45	0.70	0.65
query22	4.91	6.77	1.68
query23	18.28	1.40	1.29
query24	1.81	0.26	0.23
query25	0.14	0.08	0.08
query26	0.28	0.16	0.16
query27	0.09	0.08	0.09
query28	13.25	1.02	0.99
query29	13.17	3.28	3.26
query30	0.24	0.06	0.05
query31	2.86	0.38	0.38
query32	3.29	0.47	0.47
query33	2.87	2.87	2.92
query34	17.20	4.37	4.39
query35	4.53	4.53	4.52
query36	0.65	0.47	0.47
query37	0.17	0.15	0.16
query38	0.15	0.14	0.15
query39	0.04	0.03	0.03
query40	0.16	0.13	0.14
query41	0.09	0.04	0.04
query42	0.05	0.05	0.05
query43	0.04	0.03	0.03
Total cold run time: 110.38 s
Total hot run time: 30.23 s

doris-robot avatar May 28 '24 14:05 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 28 '24 14:05 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar May 28 '24 14:05 github-actions[bot]

run buildall

caiconghui avatar May 28 '24 15:05 caiconghui

TPC-H: Total hot run time: 40096 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8892eced1de1e07bca43180868a0d61554fcc765, data reload: false

------ Round 1 ----------------------------------
q1	17860	4505	4407	4407
q2	2715	205	194	194
q3	11737	1165	1298	1165
q4	10400	796	802	796
q5	7554	2678	2679	2678
q6	225	137	140	137
q7	974	616	614	614
q8	9654	2065	2095	2065
q9	8848	6500	6452	6452
q10	8868	3713	3715	3713
q11	472	242	237	237
q12	505	237	223	223
q13	17761	3027	2987	2987
q14	260	223	234	223
q15	523	469	474	469
q16	485	379	395	379
q17	966	745	685	685
q18	8090	7453	7447	7447
q19	5518	1505	1531	1505
q20	662	308	306	306
q21	4978	3878	3146	3146
q22	353	270	268	268
Total cold run time: 119408 ms
Total hot run time: 40096 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4325	4199	4238	4199
q2	376	276	267	267
q3	2967	2801	2718	2718
q4	1864	1574	1583	1574
q5	5253	5269	5269	5269
q6	208	127	126	126
q7	2129	1730	1714	1714
q8	3187	3377	3324	3324
q9	8319	8302	8354	8302
q10	3847	3696	3702	3696
q11	595	481	484	481
q12	797	590	595	590
q13	16587	2970	3026	2970
q14	288	260	281	260
q15	508	476	476	476
q16	472	410	417	410
q17	1780	1496	1479	1479
q18	7752	7497	7487	7487
q19	1639	1533	1594	1533
q20	1991	1809	1831	1809
q21	4978	4799	4883	4799
q22	557	495	492	492
Total cold run time: 70419 ms
Total hot run time: 53975 ms

doris-robot avatar May 28 '24 16:05 doris-robot

TPC-DS: Total hot run time: 171902 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8892eced1de1e07bca43180868a0d61554fcc765, data reload: false

query1	929	393	376	376
query2	6482	2345	2369	2345
query3	6660	204	209	204
query4	19522	17449	17422	17422
query5	4162	438	430	430
query6	256	168	180	168
query7	4582	297	302	297
query8	242	182	184	182
query9	8442	2372	2331	2331
query10	447	275	265	265
query11	10655	10076	10102	10076
query12	137	94	89	89
query13	1638	366	357	357
query14	9386	6230	7533	6230
query15	238	166	170	166
query16	7812	260	270	260
query17	1834	533	507	507
query18	1953	272	271	271
query19	204	146	173	146
query20	93	89	89	89
query21	197	133	126	126
query22	4217	3941	4077	3941
query23	33583	32917	33158	32917
query24	11858	2912	2858	2858
query25	621	356	354	354
query26	1727	154	157	154
query27	3000	323	325	323
query28	7340	2029	2061	2029
query29	1075	611	597	597
query30	279	150	151	150
query31	957	747	771	747
query32	92	53	57	53
query33	763	267	264	264
query34	1003	469	483	469
query35	740	595	580	580
query36	1062	917	878	878
query37	134	67	68	67
query38	2910	2772	2793	2772
query39	854	795	780	780
query40	271	128	124	124
query41	46	44	45	44
query42	103	94	100	94
query43	582	564	560	560
query44	1252	732	736	732
query45	178	162	164	162
query46	1071	717	718	717
query47	1844	1763	1745	1745
query48	381	295	300	295
query49	1160	420	385	385
query50	764	383	369	369
query51	6876	6765	6759	6759
query52	104	92	96	92
query53	352	280	286	280
query54	965	433	426	426
query55	74	72	72	72
query56	275	243	249	243
query57	1134	1029	1063	1029
query58	262	217	220	217
query59	3394	3198	3255	3198
query60	282	254	261	254
query61	91	92	93	92
query62	661	453	466	453
query63	311	287	291	287
query64	9890	2206	1733	1733
query65	3164	3123	3145	3123
query66	1391	335	323	323
query67	15118	14931	15012	14931
query68	4561	540	542	540
query69	441	267	269	267
query70	1206	1106	1051	1051
query71	409	266	265	265
query72	7904	5516	5500	5500
query73	714	323	324	323
query74	6047	5579	5579	5579
query75	3365	2668	2615	2615
query76	2730	1026	981	981
query77	431	279	277	277
query78	10414	9917	9886	9886
query79	2599	519	510	510
query80	2070	458	451	451
query81	542	231	229	229
query82	757	98	92	92
query83	289	179	178	178
query84	269	93	93	93
query85	2030	322	315	315
query86	494	312	282	282
query87	3315	3143	3061	3061
query88	4251	2386	2355	2355
query89	478	384	389	384
query90	2024	193	193	193
query91	134	108	108	108
query92	68	49	60	49
query93	2703	510	496	496
query94	1258	191	193	191
query95	405	323	316	316
query96	585	275	268	268
query97	3210	3075	2979	2979
query98	249	229	217	217
query99	1202	880	842	842
Total cold run time: 277236 ms
Total hot run time: 171902 ms

doris-robot avatar May 28 '24 16:05 doris-robot

ClickBench: Total hot run time: 30.55 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8892eced1de1e07bca43180868a0d61554fcc765, data reload: false

query1	0.04	0.03	0.03
query2	0.09	0.04	0.04
query3	0.23	0.05	0.04
query4	1.68	0.10	0.09
query5	0.50	0.48	0.50
query6	1.13	0.74	0.73
query7	0.02	0.01	0.02
query8	0.06	0.04	0.05
query9	0.56	0.49	0.50
query10	0.53	0.55	0.52
query11	0.15	0.12	0.12
query12	0.14	0.12	0.12
query13	0.60	0.58	0.59
query14	0.79	0.77	0.77
query15	0.83	0.81	0.82
query16	0.37	0.36	0.37
query17	1.05	0.94	1.02
query18	0.22	0.24	0.27
query19	1.78	1.70	1.80
query20	0.01	0.00	0.01
query21	15.47	0.70	0.67
query22	4.09	7.56	1.91
query23	18.34	1.37	1.27
query24	1.27	0.47	0.19
query25	0.14	0.08	0.08
query26	0.25	0.16	0.16
query27	0.08	0.09	0.07
query28	13.46	1.01	0.98
query29	13.11	3.37	3.35
query30	0.24	0.05	0.06
query31	2.86	0.38	0.39
query32	3.30	0.48	0.46
query33	2.88	2.86	2.97
query34	17.16	4.41	4.48
query35	4.51	4.58	4.54
query36	0.66	0.48	0.48
query37	0.17	0.16	0.15
query38	0.16	0.15	0.14
query39	0.05	0.03	0.03
query40	0.16	0.14	0.14
query41	0.09	0.05	0.04
query42	0.05	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.32 s
Total hot run time: 30.55 s

doris-robot avatar May 28 '24 16:05 doris-robot

run buildall

caiconghui avatar May 29 '24 02:05 caiconghui

run performance

caiconghui avatar May 29 '24 03:05 caiconghui

TPC-H: Total hot run time: 41016 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f238f1ae6d4b79c21abde65c22e54740d582fc91, data reload: false

------ Round 1 ----------------------------------
q1	17603	4764	4218	4218
q2	2025	191	193	191
q3	10480	1170	1166	1166
q4	10191	776	794	776
q5	7480	2820	2741	2741
q6	220	136	133	133
q7	966	608	622	608
q8	9223	2138	2092	2092
q9	9432	6728	6730	6728
q10	9219	3952	3882	3882
q11	478	235	240	235
q12	449	231	242	231
q13	17238	3238	3167	3167
q14	261	219	218	218
q15	540	481	467	467
q16	512	388	397	388
q17	971	634	695	634
q18	8475	7887	7754	7754
q19	10546	1607	1582	1582
q20	932	328	318	318
q21	5162	3218	3974	3218
q22	350	269	277	269
Total cold run time: 122753 ms
Total hot run time: 41016 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4542	4387	4386	4386
q2	441	273	275	273
q3	3114	2942	2894	2894
q4	1980	1695	1714	1695
q5	5403	5376	5545	5376
q6	213	129	124	124
q7	2211	1803	1807	1803
q8	3215	3397	3407	3397
q9	8639	8599	8636	8599
q10	4081	3930	3875	3875
q11	584	499	503	499
q12	761	601	579	579
q13	16950	3174	3162	3162
q14	285	273	276	273
q15	520	487	485	485
q16	484	440	432	432
q17	1816	1531	1496	1496
q18	8180	7468	7395	7395
q19	3798	1543	1551	1543
q20	2027	1755	1788	1755
q21	4810	4708	4847	4708
q22	536	478	484	478
Total cold run time: 74590 ms
Total hot run time: 55227 ms

doris-robot avatar May 29 '24 04:05 doris-robot

TPC-DS: Total hot run time: 169582 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f238f1ae6d4b79c21abde65c22e54740d582fc91, data reload: false

query1	913	384	374	374
query2	6437	2396	2391	2391
query3	6644	206	203	203
query4	19474	17244	17452	17244
query5	4168	434	421	421
query6	237	153	149	149
query7	4581	282	287	282
query8	231	194	190	190
query9	8520	2364	2335	2335
query10	451	280	259	259
query11	10464	10099	10348	10099
query12	141	90	89	89
query13	1648	386	367	367
query14	9275	6885	6982	6885
query15	211	166	161	161
query16	7741	263	261	261
query17	1625	517	516	516
query18	1952	272	267	267
query19	197	155	146	146
query20	92	81	80	80
query21	206	130	133	130
query22	4172	3937	3957	3937
query23	33609	33226	32944	32944
query24	10663	2892	2884	2884
query25	550	346	358	346
query26	705	153	158	153
query27	2249	326	332	326
query28	5920	2039	2043	2039
query29	876	595	611	595
query30	248	146	150	146
query31	987	752	742	742
query32	89	51	56	51
query33	650	265	263	263
query34	861	478	505	478
query35	723	610	585	585
query36	1071	894	928	894
query37	102	66	66	66
query38	2893	2782	2793	2782
query39	822	789	784	784
query40	192	125	128	125
query41	46	45	46	45
query42	108	105	101	101
query43	596	561	562	561
query44	1096	726	745	726
query45	173	166	165	165
query46	1070	747	719	719
query47	1868	1746	1776	1746
query48	361	290	289	289
query49	854	376	382	376
query50	766	389	386	386
query51	6929	6785	6700	6700
query52	104	91	90	90
query53	350	290	283	283
query54	863	433	423	423
query55	73	72	71	71
query56	253	239	241	239
query57	1117	1072	1040	1040
query58	230	209	237	209
query59	3244	3350	3010	3010
query60	278	255	249	249
query61	89	87	100	87
query62	611	476	457	457
query63	310	286	289	286
query64	8468	2271	1755	1755
query65	3196	3142	3127	3127
query66	794	322	323	322
query67	15276	15012	15007	15007
query68	4592	534	535	534
query69	460	264	269	264
query70	1171	1124	1145	1124
query71	366	273	271	271
query72	7591	5336	2715	2715
query73	712	323	332	323
query74	6001	5563	5685	5563
query75	3295	2642	2690	2642
query76	2315	1021	1049	1021
query77	476	262	268	262
query78	10300	9862	9749	9749
query79	2315	520	512	512
query80	875	452	432	432
query81	524	221	221	221
query82	902	90	89	89
query83	238	170	168	168
query84	243	86	91	86
query85	1107	264	267	264
query86	429	320	286	286
query87	3277	3173	3207	3173
query88	3818	2346	2346	2346
query89	479	393	389	389
query90	1977	189	193	189
query91	135	107	112	107
query92	59	52	51	51
query93	1718	506	501	501
query94	1228	197	257	197
query95	408	310	316	310
query96	591	268	270	268
query97	3163	3041	2997	2997
query98	249	221	216	216
query99	1123	854	871	854
Total cold run time: 263850 ms
Total hot run time: 169582 ms

doris-robot avatar May 29 '24 04:05 doris-robot

ClickBench: Total hot run time: 30.24 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit f238f1ae6d4b79c21abde65c22e54740d582fc91, data reload: false

query1	0.04	0.03	0.04
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.68	0.07	0.07
query5	0.51	0.48	0.50
query6	1.13	0.72	0.72
query7	0.01	0.01	0.02
query8	0.05	0.04	0.04
query9	0.53	0.49	0.50
query10	0.54	0.55	0.54
query11	0.16	0.12	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.60
query14	0.75	0.80	0.78
query15	0.84	0.81	0.81
query16	0.36	0.35	0.36
query17	0.98	0.96	0.99
query18	0.22	0.24	0.23
query19	1.82	1.65	1.68
query20	0.01	0.01	0.01
query21	15.73	0.68	0.65
query22	4.49	6.89	1.75
query23	18.31	1.37	1.16
query24	1.45	0.25	0.27
query25	0.13	0.08	0.07
query26	0.26	0.17	0.16
query27	0.08	0.08	0.07
query28	13.49	1.01	1.06
query29	13.46	3.33	3.27
query30	0.24	0.05	0.06
query31	2.88	0.38	0.39
query32	3.27	0.47	0.46
query33	2.90	2.89	2.92
query34	17.08	4.47	4.43
query35	4.53	4.48	4.57
query36	0.69	0.49	0.46
query37	0.17	0.16	0.15
query38	0.15	0.15	0.15
query39	0.04	0.04	0.03
query40	0.16	0.16	0.15
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.03	0.03
Total cold run time: 110.39 s
Total hot run time: 30.24 s

doris-robot avatar May 29 '24 04:05 doris-robot

run buildall

caiconghui avatar May 29 '24 05:05 caiconghui

TPC-H: Total hot run time: 39484 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b72a1dbc86f0b2a4caaa24976c7d851580379972, data reload: false

------ Round 1 ----------------------------------
q1	18064	4400	4222	4222
q2	2026	194	195	194
q3	10434	1255	1142	1142
q4	10161	715	790	715
q5	7473	2717	2642	2642
q6	214	132	136	132
q7	939	586	586	586
q8	9212	2039	2075	2039
q9	8868	6464	6511	6464
q10	8952	3730	3692	3692
q11	452	243	239	239
q12	422	218	217	217
q13	18689	3027	2999	2999
q14	271	212	223	212
q15	524	475	483	475
q16	519	387	378	378
q17	974	661	649	649
q18	8207	7510	7347	7347
q19	7641	1549	1527	1527
q20	646	299	302	299
q21	5159	3139	3046	3046
q22	337	276	268	268
Total cold run time: 120184 ms
Total hot run time: 39484 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4333	4190	4187	4187
q2	365	259	264	259
q3	2945	2732	2729	2729
q4	1849	1627	1582	1582
q5	5213	5254	5260	5254
q6	215	126	126	126
q7	2124	1693	1656	1656
q8	3175	3313	3288	3288
q9	8323	8279	8285	8279
q10	3854	3731	3659	3659
q11	578	511	503	503
q12	751	553	596	553
q13	16254	2947	3007	2947
q14	298	253	263	253
q15	514	467	476	467
q16	479	405	407	405
q17	1767	1475	1482	1475
q18	7717	7472	7455	7455
q19	1609	1542	1563	1542
q20	1953	1774	1817	1774
q21	4968	4741	4875	4741
q22	566	493	502	493
Total cold run time: 69850 ms
Total hot run time: 53627 ms

doris-robot avatar May 29 '24 05:05 doris-robot

TPC-DS: Total hot run time: 173050 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b72a1dbc86f0b2a4caaa24976c7d851580379972, data reload: false

query1	923	377	371	371
query2	6447	2408	2402	2402
query3	6657	209	206	206
query4	21626	17315	17305	17305
query5	4117	424	422	422
query6	255	156	148	148
query7	4590	302	307	302
query8	241	185	188	185
query9	8518	2370	2329	2329
query10	450	272	279	272
query11	10637	10143	10161	10143
query12	136	89	88	88
query13	1638	362	354	354
query14	8669	7700	7730	7700
query15	219	173	174	173
query16	7856	270	276	270
query17	1816	548	529	529
query18	1999	286	292	286
query19	207	158	163	158
query20	101	94	88	88
query21	200	137	132	132
query22	4212	3896	3931	3896
query23	33741	33165	33122	33122
query24	11850	2899	2779	2779
query25	664	368	364	364
query26	1822	160	158	158
query27	3051	338	316	316
query28	7766	2029	2036	2029
query29	1089	602	607	602
query30	295	159	154	154
query31	953	752	734	734
query32	93	54	56	54
query33	755	265	266	265
query34	1050	477	482	477
query35	726	617	614	614
query36	1075	925	928	925
query37	278	71	69	69
query38	2868	2787	2749	2749
query39	862	790	802	790
query40	278	127	128	127
query41	49	45	45	45
query42	100	95	98	95
query43	594	529	535	529
query44	1227	721	742	721
query45	179	171	158	158
query46	1076	702	706	702
query47	1824	1722	1768	1722
query48	358	288	309	288
query49	1199	372	381	372
query50	771	387	388	387
query51	6986	6793	6685	6685
query52	113	91	93	91
query53	353	285	284	284
query54	1016	433	423	423
query55	72	73	73	73
query56	270	248	254	248
query57	1150	1058	1054	1054
query58	228	241	212	212
query59	3471	3111	3106	3106
query60	287	264	269	264
query61	92	89	89	89
query62	649	456	456	456
query63	305	288	293	288
query64	9887	2211	1749	1749
query65	3197	3113	3126	3113
query66	1404	349	327	327
query67	15201	14917	14758	14758
query68	4550	523	529	523
query69	439	269	274	269
query70	1161	1143	1098	1098
query71	404	259	270	259
query72	7665	5486	5574	5486
query73	710	332	321	321
query74	6011	5608	5605	5605
query75	3424	2616	2612	2612
query76	2755	982	909	909
query77	397	265	269	265
query78	10271	9899	9756	9756
query79	2533	516	512	512
query80	1949	441	480	441
query81	541	220	224	220
query82	718	96	90	90
query83	286	178	172	172
query84	272	89	85	85
query85	2085	279	271	271
query86	495	320	286	286
query87	3305	3121	3112	3112
query88	4014	2369	2401	2369
query89	484	386	388	386
query90	2025	192	187	187
query91	128	119	97	97
query92	65	50	51	50
query93	2518	511	493	493
query94	1254	184	192	184
query95	402	314	315	314
query96	598	271	266	266
query97	3260	3012	3018	3012
query98	245	223	226	223
query99	1241	851	872	851
Total cold run time: 278993 ms
Total hot run time: 173050 ms

doris-robot avatar May 29 '24 05:05 doris-robot

ClickBench: Total hot run time: 30.47 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b72a1dbc86f0b2a4caaa24976c7d851580379972, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.24	0.05	0.04
query4	1.67	0.08	0.07
query5	0.51	0.49	0.53
query6	1.12	0.73	0.73
query7	0.02	0.02	0.01
query8	0.06	0.04	0.04
query9	0.54	0.50	0.49
query10	0.54	0.56	0.53
query11	0.15	0.12	0.11
query12	0.14	0.12	0.11
query13	0.59	0.58	0.60
query14	0.76	0.79	0.79
query15	0.83	0.81	0.80
query16	0.35	0.38	0.37
query17	0.95	0.96	1.04
query18	0.21	0.24	0.26
query19	1.76	1.74	1.77
query20	0.01	0.01	0.01
query21	15.44	0.72	0.69
query22	4.41	7.35	1.72
query23	18.29	1.48	1.25
query24	1.27	0.45	0.24
query25	0.16	0.08	0.08
query26	0.27	0.16	0.16
query27	0.08	0.08	0.09
query28	13.27	1.01	1.00
query29	12.69	3.35	3.40
query30	0.25	0.07	0.06
query31	2.85	0.40	0.37
query32	3.28	0.47	0.47
query33	2.85	2.89	2.89
query34	17.03	4.41	4.42
query35	4.46	4.49	4.51
query36	0.66	0.45	0.49
query37	0.18	0.15	0.16
query38	0.15	0.15	0.14
query39	0.04	0.03	0.04
query40	0.16	0.14	0.15
query41	0.09	0.05	0.05
query42	0.05	0.04	0.04
query43	0.04	0.03	0.03
Total cold run time: 108.54 s
Total hot run time: 30.47 s

doris-robot avatar May 29 '24 05:05 doris-robot

run feut

caiconghui avatar May 29 '24 06:05 caiconghui

run buildall

caiconghui avatar May 29 '24 06:05 caiconghui

TPC-H: Total hot run time: 42054 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cfb790fa0b63ea853f18fd2fa0a46e9ecd6facf8, data reload: false

------ Round 1 ----------------------------------
q1	17873	4502	4256	4256
q2	2031	203	200	200
q3	10544	1252	1185	1185
q4	10231	842	782	782
q5	7486	2708	2870	2708
q6	218	134	140	134
q7	978	623	625	623
q8	9206	2135	2135	2135
q9	9480	6663	6730	6663
q10	9315	4002	3926	3926
q11	438	255	256	255
q12	490	235	226	226
q13	17216	3191	3288	3191
q14	286	246	236	236
q15	515	473	482	473
q16	493	390	388	388
q17	995	706	702	702
q18	8537	7861	7768	7768
q19	2581	1573	1543	1543
q20	639	319	317	317
q21	5264	4053	4082	4053
q22	360	290	295	290
Total cold run time: 115176 ms
Total hot run time: 42054 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4506	4410	4388	4388
q2	389	281	278	278
q3	3159	2945	2900	2900
q4	1895	1590	1622	1590
q5	5500	5490	5490	5490
q6	218	141	121	121
q7	2133	1869	1800	1800
q8	3237	3432	3365	3365
q9	8572	8687	8716	8687
q10	4013	3720	3885	3720
q11	585	481	493	481
q12	809	624	639	624
q13	15922	3169	3150	3150
q14	300	251	279	251
q15	536	479	505	479
q16	488	434	445	434
q17	1860	1539	1478	1478
q18	7684	7704	7473	7473
q19	7725	1543	1554	1543
q20	2000	1774	1749	1749
q21	5040	4598	4674	4598
q22	579	493	477	477
Total cold run time: 77150 ms
Total hot run time: 55076 ms

doris-robot avatar May 29 '24 07:05 doris-robot

TPC-DS: Total hot run time: 169919 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cfb790fa0b63ea853f18fd2fa0a46e9ecd6facf8, data reload: false

query1	912	386	370	370
query2	7065	2407	2254	2254
query3	6642	213	208	208
query4	19174	17339	17326	17326
query5	4139	417	429	417
query6	264	155	156	155
query7	4571	299	288	288
query8	247	181	181	181
query9	8639	2480	2461	2461
query10	455	284	263	263
query11	10780	10200	10036	10036
query12	136	95	92	92
query13	1638	400	362	362
query14	8929	7672	7512	7512
query15	262	169	163	163
query16	8053	261	268	261
query17	1724	526	529	526
query18	2105	288	272	272
query19	203	148	152	148
query20	94	85	87	85
query21	204	133	126	126
query22	4086	4080	3850	3850
query23	33551	32934	33027	32934
query24	11460	2884	2803	2803
query25	635	354	355	354
query26	1671	154	157	154
query27	2922	326	332	326
query28	7435	2080	2106	2080
query29	990	606	594	594
query30	242	155	149	149
query31	978	759	754	754
query32	97	53	54	53
query33	747	268	264	264
query34	994	469	470	469
query35	726	599	586	586
query36	1072	902	908	902
query37	171	69	67	67
query38	2875	2765	2780	2765
query39	883	782	798	782
query40	251	131	125	125
query41	48	46	50	46
query42	104	97	97	97
query43	602	572	582	572
query44	1199	727	757	727
query45	209	161	157	157
query46	1069	723	713	713
query47	1865	1753	1751	1751
query48	364	306	294	294
query49	963	370	386	370
query50	775	388	397	388
query51	6672	6756	6542	6542
query52	98	95	91	91
query53	356	289	291	289
query54	935	434	440	434
query55	74	74	71	71
query56	286	242	250	242
query57	1166	1047	1067	1047
query58	231	229	227	227
query59	3463	3225	3386	3225
query60	278	266	269	266
query61	93	88	86	86
query62	630	433	444	433
query63	310	285	282	282
query64	9597	2208	1802	1802
query65	3189	3097	3135	3097
query66	1317	330	327	327
query67	15198	14882	14721	14721
query68	4538	557	555	555
query69	448	274	274	274
query70	1184	1100	1163	1100
query71	396	268	268	268
query72	7827	5751	2704	2704
query73	707	328	325	325
query74	6017	5635	5590	5590
query75	3355	2628	2592	2592
query76	2288	970	1021	970
query77	394	265	261	261
query78	10253	9924	9756	9756
query79	2294	516	508	508
query80	1027	496	429	429
query81	558	224	223	223
query82	637	93	90	90
query83	242	171	167	167
query84	251	87	88	87
query85	2081	274	282	274
query86	497	321	296	296
query87	3289	3097	3156	3097
query88	4154	2443	2441	2441
query89	462	377	399	377
query90	2065	184	183	183
query91	124	112	98	98
query92	64	46	49	46
query93	2317	530	514	514
query94	1257	194	184	184
query95	394	368	315	315
query96	587	271	270	270
query97	3157	3033	3051	3033
query98	247	216	217	216
query99	1057	865	862	862
Total cold run time: 273281 ms
Total hot run time: 169919 ms

doris-robot avatar May 29 '24 07:05 doris-robot

ClickBench: Total hot run time: 30.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cfb790fa0b63ea853f18fd2fa0a46e9ecd6facf8, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.04
query4	1.67	0.08	0.07
query5	0.50	0.50	0.50
query6	1.13	0.71	0.72
query7	0.02	0.01	0.01
query8	0.04	0.04	0.05
query9	0.54	0.48	0.49
query10	0.54	0.54	0.53
query11	0.16	0.12	0.11
query12	0.14	0.11	0.11
query13	0.60	0.59	0.60
query14	0.76	0.79	0.78
query15	0.84	0.82	0.82
query16	0.37	0.36	0.37
query17	1.00	0.98	1.04
query18	0.23	0.21	0.25
query19	1.82	1.70	1.71
query20	0.02	0.01	0.01
query21	15.50	0.67	0.66
query22	5.06	6.83	1.81
query23	18.28	1.41	1.27
query24	1.86	0.23	0.24
query25	0.14	0.10	0.07
query26	0.25	0.16	0.15
query27	0.08	0.08	0.08
query28	13.32	1.02	0.99
query29	12.92	3.33	3.28
query30	0.24	0.06	0.05
query31	2.87	0.40	0.38
query32	3.25	0.46	0.46
query33	2.85	2.99	2.91
query34	17.03	4.40	4.48
query35	4.45	4.45	4.58
query36	0.68	0.49	0.46
query37	0.17	0.15	0.15
query38	0.15	0.14	0.14
query39	0.05	0.03	0.03
query40	0.16	0.16	0.14
query41	0.09	0.06	0.05
query42	0.05	0.05	0.04
query43	0.05	0.04	0.04
Total cold run time: 110.23 s
Total hot run time: 30.36 s

doris-robot avatar May 29 '24 07:05 doris-robot

run buildall

caiconghui avatar May 29 '24 14:05 caiconghui

TPC-H: Total hot run time: 40203 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cd93d48563c4e3a70b4bd49d7b18df0a12ea176a, data reload: false

------ Round 1 ----------------------------------
q1	17597	4348	4230	4230
q2	2027	194	190	190
q3	10652	1246	1253	1246
q4	10550	794	797	794
q5	7543	2717	2649	2649
q6	226	134	135	134
q7	963	605	599	599
q8	9416	2080	2097	2080
q9	9328	6577	6590	6577
q10	9400	3762	3705	3705
q11	466	246	234	234
q12	429	230	229	229
q13	17772	3022	2979	2979
q14	261	216	215	215
q15	516	471	479	471
q16	500	388	384	384
q17	949	665	654	654
q18	8174	7437	7562	7437
q19	3234	1583	1576	1576
q20	653	324	304	304
q21	4946	3193	3820	3193
q22	374	323	335	323
Total cold run time: 115976 ms
Total hot run time: 40203 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4317	4211	4173	4173
q2	363	273	275	273
q3	3010	2778	2775	2775
q4	1925	1600	1610	1600
q5	5257	5296	5238	5238
q6	211	124	127	124
q7	2163	1726	1776	1726
q8	3237	3307	3291	3291
q9	8324	8330	8369	8330
q10	3908	3675	3666	3666
q11	611	501	485	485
q12	755	571	631	571
q13	16672	3023	3019	3019
q14	286	254	263	254
q15	510	469	469	469
q16	466	415	413	413
q17	1789	1489	1472	1472
q18	7909	7468	7273	7273
q19	1660	1551	1566	1551
q20	1973	1785	1801	1785
q21	4913	4829	4783	4783
q22	618	546	521	521
Total cold run time: 70877 ms
Total hot run time: 53792 ms

doris-robot avatar May 29 '24 14:05 doris-robot

TPC-DS: Total hot run time: 169294 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cd93d48563c4e3a70b4bd49d7b18df0a12ea176a, data reload: false

query1	925	382	361	361
query2	6459	2599	2509	2509
query3	6659	218	214	214
query4	19733	17110	17247	17110
query5	4132	427	418	418
query6	244	169	152	152
query7	4593	293	289	289
query8	325	285	289	285
query9	8534	2399	2369	2369
query10	433	270	263	263
query11	10483	10025	9959	9959
query12	137	87	88	87
query13	1638	356	352	352
query14	10181	7196	6814	6814
query15	232	188	189	188
query16	7794	267	252	252
query17	1844	519	508	508
query18	1971	269	274	269
query19	203	151	155	151
query20	92	85	88	85
query21	202	132	130	130
query22	4232	3956	3922	3922
query23	33725	33083	33127	33083
query24	12084	2750	2792	2750
query25	655	361	361	361
query26	1815	155	154	154
query27	2973	327	314	314
query28	7315	2053	2079	2053
query29	1139	607	609	607
query30	288	146	153	146
query31	956	752	756	752
query32	92	54	54	54
query33	760	261	264	261
query34	992	469	473	469
query35	791	610	599	599
query36	1089	906	915	906
query37	272	67	68	67
query38	2951	2803	2747	2747
query39	883	774	807	774
query40	276	126	125	125
query41	53	51	51	51
query42	107	98	96	96
query43	605	545	551	545
query44	1226	720	737	720
query45	193	178	172	172
query46	1074	724	729	724
query47	1864	1764	1760	1760
query48	373	284	286	284
query49	1187	386	406	386
query50	771	372	385	372
query51	6949	6864	6723	6723
query52	104	88	88	88
query53	357	293	282	282
query54	987	424	428	424
query55	73	72	72	72
query56	254	247	250	247
query57	1176	1061	1069	1061
query58	227	208	240	208
query59	3377	3077	3253	3077
query60	273	255	262	255
query61	92	122	89	89
query62	656	444	459	444
query63	314	291	290	290
query64	9803	2195	1705	1705
query65	3205	3090	3148	3090
query66	1409	345	340	340
query67	15204	15315	14808	14808
query68	4608	535	516	516
query69	445	277	334	277
query70	1222	1165	1149	1149
query71	415	263	267	263
query72	7440	5987	2756	2756
query73	709	318	318	318
query74	5986	5631	5559	5559
query75	3413	2621	2613	2613
query76	2859	969	1028	969
query77	418	274	267	267
query78	10260	9963	9742	9742
query79	2552	515	511	511
query80	1105	435	441	435
query81	526	220	221	220
query82	699	102	95	95
query83	244	174	171	171
query84	238	93	85	85
query85	1686	285	276	276
query86	498	325	304	304
query87	3303	3109	3088	3088
query88	4449	2378	2449	2378
query89	480	392	394	392
query90	2008	196	196	196
query91	125	97	100	97
query92	64	50	49	49
query93	1968	501	494	494
query94	1191	182	188	182
query95	408	310	320	310
query96	584	267	262	262
query97	3225	3037	3036	3036
query98	244	214	206	206
query99	1111	875	856	856
Total cold run time: 276498 ms
Total hot run time: 169294 ms

doris-robot avatar May 29 '24 14:05 doris-robot

ClickBench: Total hot run time: 31.17 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cd93d48563c4e3a70b4bd49d7b18df0a12ea176a, data reload: false

query1	0.05	0.03	0.04
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.67	0.08	0.08
query5	0.52	0.49	0.51
query6	1.13	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.54	0.49	0.49
query10	0.54	0.56	0.53
query11	0.16	0.12	0.12
query12	0.16	0.13	0.12
query13	0.59	0.59	0.60
query14	0.78	0.77	0.80
query15	0.83	0.81	0.82
query16	0.37	0.38	0.37
query17	1.02	0.99	0.98
query18	0.20	0.27	0.23
query19	1.77	1.70	1.71
query20	0.02	0.01	0.01
query21	15.73	0.67	0.66
query22	4.13	6.99	2.53
query23	18.34	1.43	1.31
query24	1.54	0.41	0.21
query25	0.13	0.10	0.09
query26	0.26	0.18	0.17
query27	0.08	0.08	0.07
query28	13.23	1.02	1.03
query29	13.17	3.28	3.28
query30	0.24	0.06	0.05
query31	2.88	0.39	0.37
query32	3.29	0.48	0.46
query33	2.90	2.81	2.94
query34	17.28	4.42	4.44
query35	4.50	4.47	4.57
query36	0.67	0.47	0.46
query37	0.18	0.16	0.15
query38	0.15	0.15	0.15
query39	0.04	0.03	0.03
query40	0.17	0.14	0.14
query41	0.09	0.04	0.04
query42	0.06	0.06	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.83 s
Total hot run time: 31.17 s

doris-robot avatar May 29 '24 14:05 doris-robot