doris icon indicating copy to clipboard operation
doris copied to clipboard

[improvement](jdbcScan) Change the mysql function that does not support pushdown in JdbcScan to Config

Open zy-kkk opened this issue 1 year ago • 17 comments

Proposed changes

Issue Number: close #xxx

We noticed that mysql does not have a negative function, so the function pushdown rule prohibits it

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

zy-kkk avatar May 22 '24 07:05 zy-kkk

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 22 '24 07:05 doris-robot

Please add test case

morningman avatar May 23 '24 14:05 morningman

run buildall

zy-kkk avatar May 27 '24 03:05 zy-kkk

TPC-H: Total hot run time: 42257 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 25946d47995548631fddac44fa0c1ca306196d45, data reload: false

------ Round 1 ----------------------------------
q1	17611	4501	4342	4342
q2	2023	196	193	193
q3	10471	1282	1194	1194
q4	10194	792	736	736
q5	7488	2787	2746	2746
q6	231	133	138	133
q7	967	604	617	604
q8	9203	2149	2116	2116
q9	9553	6709	6725	6709
q10	9994	3925	3859	3859
q11	492	235	247	235
q12	588	233	223	223
q13	18050	3215	3289	3215
q14	265	223	227	223
q15	521	466	480	466
q16	530	423	410	410
q17	1031	741	732	732
q18	8543	7883	7840	7840
q19	7163	1577	1570	1570
q20	649	334	310	310
q21	5583	4110	4218	4110
q22	377	299	291	291
Total cold run time: 121527 ms
Total hot run time: 42257 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4595	4475	4443	4443
q2	380	282	278	278
q3	3170	2911	2877	2877
q4	1927	1627	1644	1627
q5	5504	5517	5546	5517
q6	222	125	126	125
q7	2225	1810	1839	1810
q8	3244	3427	3397	3397
q9	8749	8745	8793	8745
q10	3980	3849	3880	3849
q11	592	495	543	495
q12	773	643	613	613
q13	16002	3150	3158	3150
q14	322	275	273	273
q15	542	488	485	485
q16	485	446	442	442
q17	1806	1491	1457	1457
q18	7745	7745	7469	7469
q19	1665	1595	1555	1555
q20	2017	1762	1795	1762
q21	11544	4726	4828	4726
q22	632	509	485	485
Total cold run time: 78121 ms
Total hot run time: 55580 ms

doris-robot avatar May 27 '24 05:05 doris-robot

TPC-DS: Total hot run time: 172104 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 25946d47995548631fddac44fa0c1ca306196d45, data reload: false

query1	940	377	367	367
query2	6433	2421	2343	2343
query3	6654	202	205	202
query4	19173	17388	17216	17216
query5	4103	414	417	414
query6	251	158	148	148
query7	4583	294	291	291
query8	259	183	177	177
query9	8586	2370	2350	2350
query10	466	291	268	268
query11	10664	10229	9903	9903
query12	139	98	87	87
query13	1642	360	363	360
query14	10164	7621	7291	7291
query15	211	174	168	168
query16	7466	272	260	260
query17	1555	521	518	518
query18	1292	269	263	263
query19	200	153	147	147
query20	93	88	87	87
query21	196	132	133	132
query22	4243	3979	3970	3970
query23	33430	32992	32877	32877
query24	6872	2871	2948	2871
query25	496	356	358	356
query26	695	153	162	153
query27	1904	320	331	320
query28	3835	2055	2037	2037
query29	866	596	590	590
query30	224	151	151	151
query31	950	753	729	729
query32	74	53	55	53
query33	510	265	258	258
query34	859	466	466	466
query35	701	596	592	592
query36	1067	917	884	884
query37	105	65	70	65
query38	2875	2772	2736	2736
query39	844	791	797	791
query40	196	124	123	123
query41	46	45	44	44
query42	100	97	93	93
query43	560	536	550	536
query44	1104	730	751	730
query45	180	162	165	162
query46	1050	718	720	718
query47	1865	1735	1765	1735
query48	383	299	302	299
query49	783	412	413	412
query50	776	378	390	378
query51	6910	6720	6764	6720
query52	100	97	90	90
query53	354	286	296	286
query54	540	454	447	447
query55	77	74	74	74
query56	284	262	266	262
query57	1128	1036	1061	1036
query58	245	221	216	216
query59	3483	3042	3024	3024
query60	298	274	279	274
query61	110	109	115	109
query62	555	448	450	448
query63	316	291	290	290
query64	3208	1937	1756	1756
query65	3172	3106	3097	3097
query66	766	342	352	342
query67	15280	14666	14910	14666
query68	4554	533	518	518
query69	440	264	273	264
query70	1141	1073	1140	1073
query71	399	280	286	280
query72	7625	5758	5783	5758
query73	726	326	317	317
query74	6095	5530	5614	5530
query75	3367	2623	2632	2623
query76	2319	1029	947	947
query77	386	269	260	260
query78	10351	9792	9695	9695
query79	2440	515	501	501
query80	884	433	426	426
query81	510	224	217	217
query82	671	88	89	88
query83	247	170	172	170
query84	247	87	83	83
query85	1283	272	313	272
query86	468	316	295	295
query87	3252	3071	3156	3071
query88	3921	2431	2443	2431
query89	491	394	373	373
query90	2067	184	182	182
query91	122	96	96	96
query92	58	48	48	48
query93	2533	498	485	485
query94	1165	188	181	181
query95	395	313	308	308
query96	589	268	269	268
query97	3188	3026	3074	3026
query98	236	218	216	216
query99	1158	852	844	844
Total cold run time: 252817 ms
Total hot run time: 172104 ms

doris-robot avatar May 27 '24 05:05 doris-robot

ClickBench: Total hot run time: 30.4 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 25946d47995548631fddac44fa0c1ca306196d45, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.23	0.05	0.04
query4	1.69	0.07	0.07
query5	0.49	0.49	0.50
query6	1.12	0.72	0.72
query7	0.03	0.01	0.01
query8	0.05	0.04	0.04
query9	0.53	0.47	0.49
query10	0.54	0.55	0.55
query11	0.15	0.10	0.11
query12	0.14	0.12	0.11
query13	0.59	0.59	0.58
query14	0.78	0.77	0.79
query15	0.84	0.82	0.81
query16	0.36	0.37	0.38
query17	1.01	1.02	0.96
query18	0.22	0.24	0.25
query19	1.80	1.67	1.69
query20	0.02	0.01	0.00
query21	15.76	0.65	0.64
query22	4.46	6.77	1.75
query23	18.28	1.39	1.22
query24	1.55	0.25	0.33
query25	0.14	0.09	0.09
query26	0.28	0.17	0.17
query27	0.08	0.08	0.08
query28	13.28	1.01	0.99
query29	13.84	3.29	3.26
query30	0.25	0.06	0.05
query31	2.88	0.37	0.37
query32	3.28	0.45	0.46
query33	2.92	2.94	2.94
query34	17.08	4.46	4.43
query35	4.51	4.57	4.57
query36	0.65	0.48	0.51
query37	0.17	0.15	0.15
query38	0.15	0.15	0.14
query39	0.04	0.03	0.03
query40	0.17	0.14	0.15
query41	0.09	0.05	0.05
query42	0.05	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 110.66 s
Total hot run time: 30.4 s

doris-robot avatar May 27 '24 05:05 doris-robot

run buildall

zy-kkk avatar May 29 '24 03:05 zy-kkk

TPC-H: Total hot run time: 40802 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1ebaa0d48ab90f1a027f9ca8d1e5f1f137c50339, data reload: false

------ Round 1 ----------------------------------
q1	17903	4495	4333	4333
q2	2568	199	203	199
q3	10962	1267	1216	1216
q4	10421	805	834	805
q5	7547	2712	2653	2653
q6	223	144	140	140
q7	972	616	614	614
q8	9637	2107	2063	2063
q9	9027	6509	6546	6509
q10	9014	3770	3718	3718
q11	439	251	242	242
q12	447	227	231	227
q13	17767	2987	2992	2987
q14	273	218	218	218
q15	518	481	478	478
q16	518	410	386	386
q17	953	658	653	653
q18	8039	7395	7445	7395
q19	6842	1563	1472	1472
q20	636	316	314	314
q21	4968	3986	3907	3907
q22	338	274	273	273
Total cold run time: 120012 ms
Total hot run time: 40802 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4337	4264	4220	4220
q2	371	271	271	271
q3	2964	2670	2736	2670
q4	1854	1666	1624	1624
q5	5263	5275	5309	5275
q6	211	130	130	130
q7	2126	1724	1748	1724
q8	3170	3368	3331	3331
q9	8330	8309	8310	8309
q10	3900	3750	3687	3687
q11	599	499	486	486
q12	768	572	567	567
q13	17212	2977	2991	2977
q14	295	260	280	260
q15	516	490	482	482
q16	462	410	421	410
q17	1783	1500	1459	1459
q18	7683	7623	7451	7451
q19	1691	1566	1580	1566
q20	1970	1789	1804	1789
q21	4917	4738	4814	4738
q22	550	469	498	469
Total cold run time: 70972 ms
Total hot run time: 53895 ms

doris-robot avatar May 29 '24 03:05 doris-robot

TPC-DS: Total hot run time: 168097 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1ebaa0d48ab90f1a027f9ca8d1e5f1f137c50339, data reload: false

query1	911	385	368	368
query2	6456	2483	2325	2325
query3	6649	206	205	205
query4	19154	17290	17267	17267
query5	4176	419	416	416
query6	255	157	147	147
query7	4590	298	289	289
query8	236	189	185	185
query9	8416	2351	2341	2341
query10	448	281	268	268
query11	10676	10023	9984	9984
query12	138	91	89	89
query13	1639	368	398	368
query14	10125	5988	7549	5988
query15	253	164	162	162
query16	8124	262	263	262
query17	1855	523	507	507
query18	2102	275	273	273
query19	210	156	151	151
query20	93	87	83	83
query21	196	129	129	129
query22	4241	3902	3981	3902
query23	33512	32954	33027	32954
query24	11977	2844	2838	2838
query25	642	348	360	348
query26	1790	160	161	160
query27	3011	321	323	321
query28	7712	2027	2023	2023
query29	1036	608	609	608
query30	286	171	157	157
query31	961	752	752	752
query32	91	52	55	52
query33	759	268	271	268
query34	1017	480	484	480
query35	740	615	602	602
query36	1083	911	926	911
query37	279	65	70	65
query38	2894	2817	2787	2787
query39	878	795	804	795
query40	276	126	125	125
query41	48	46	44	44
query42	107	96	101	96
query43	599	546	546	546
query44	1249	730	736	730
query45	176	164	166	164
query46	1074	731	719	719
query47	1870	1780	1798	1780
query48	383	323	291	291
query49	1202	375	384	375
query50	779	388	399	388
query51	6812	6653	6727	6653
query52	107	90	92	90
query53	355	282	296	282
query54	1015	427	431	427
query55	73	73	76	73
query56	263	240	248	240
query57	1124	1046	1055	1046
query58	242	222	214	214
query59	3348	3288	3149	3149
query60	297	287	252	252
query61	97	90	120	90
query62	653	445	444	444
query63	314	282	280	280
query64	9824	2211	1734	1734
query65	3177	3097	3144	3097
query66	1381	347	324	324
query67	15386	14661	14721	14661
query68	4517	549	533	533
query69	441	273	270	270
query70	1178	1126	1159	1126
query71	421	271	277	271
query72	7499	5184	2734	2734
query73	708	321	319	319
query74	6002	5598	5650	5598
query75	3438	2670	2650	2650
query76	2956	990	947	947
query77	547	268	262	262
query78	10242	9670	9664	9664
query79	2340	514	503	503
query80	1496	444	430	430
query81	517	223	222	222
query82	1342	94	92	92
query83	283	178	176	176
query84	234	87	85	85
query85	1560	320	264	264
query86	464	298	316	298
query87	3280	3095	3088	3088
query88	4298	2378	2365	2365
query89	496	404	391	391
query90	1993	201	190	190
query91	125	97	99	97
query92	61	49	50	49
query93	2074	505	491	491
query94	1215	187	185	185
query95	400	302	301	301
query96	582	271	267	267
query97	3183	3053	3029	3029
query98	242	222	215	215
query99	1242	841	843	841
Total cold run time: 277218 ms
Total hot run time: 168097 ms

doris-robot avatar May 29 '24 04:05 doris-robot

ClickBench: Total hot run time: 30.98 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1ebaa0d48ab90f1a027f9ca8d1e5f1f137c50339, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.68	0.07	0.07
query5	0.58	0.47	0.49
query6	1.12	0.73	0.72
query7	0.01	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.49
query10	0.55	0.54	0.53
query11	0.16	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.58	0.60
query14	0.80	0.77	0.78
query15	0.83	0.81	0.83
query16	0.36	0.36	0.35
query17	1.04	1.03	0.99
query18	0.21	0.23	0.25
query19	1.80	1.67	1.74
query20	0.01	0.01	0.01
query21	15.45	0.75	0.68
query22	4.22	6.48	2.24
query23	18.28	1.34	1.31
query24	1.86	0.26	0.20
query25	0.15	0.09	0.08
query26	0.26	0.17	0.16
query27	0.07	0.09	0.08
query28	13.38	1.01	1.00
query29	13.14	3.28	3.32
query30	0.25	0.05	0.05
query31	2.87	0.38	0.39
query32	3.28	0.47	0.48
query33	2.91	2.96	2.94
query34	17.12	4.46	4.43
query35	4.52	4.52	4.54
query36	0.66	0.46	0.47
query37	0.18	0.16	0.16
query38	0.15	0.15	0.15
query39	0.04	0.04	0.03
query40	0.16	0.14	0.15
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.03
Total cold run time: 109.99 s
Total hot run time: 30.98 s

doris-robot avatar May 29 '24 04:05 doris-robot

run buildall

zy-kkk avatar May 30 '24 06:05 zy-kkk

run performance

zy-kkk avatar May 30 '24 09:05 zy-kkk

TPC-H: Total hot run time: 42702 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 41a8d8ba0182d4db95cacb71563435b9666ba181, data reload: false

------ Round 1 ----------------------------------
q1	18470	4893	4811	4811
q2	2483	206	216	206
q3	10909	1487	1338	1338
q4	10503	841	903	841
q5	7850	3019	2871	2871
q6	242	137	136	136
q7	1036	628	617	617
q8	9329	2333	2292	2292
q9	8758	6845	6876	6845
q10	9002	3844	3832	3832
q11	449	255	236	236
q12	457	236	230	230
q13	17800	2984	3014	2984
q14	280	222	223	222
q15	520	452	472	452
q16	535	403	397	397
q17	1013	638	774	638
q18	7995	7393	7394	7393
q19	5780	1771	1755	1755
q20	660	315	297	297
q21	5148	3974	4151	3974
q22	406	335	336	335
Total cold run time: 119625 ms
Total hot run time: 42702 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4750	4632	4638	4632
q2	396	265	271	265
q3	3118	2854	2854	2854
q4	1962	1648	1631	1631
q5	5393	5461	5424	5424
q6	236	140	131	131
q7	2240	1776	1700	1700
q8	3453	3600	3561	3561
q9	8435	8442	8430	8430
q10	4021	3794	3797	3794
q11	608	484	486	484
q12	801	592	583	583
q13	17353	3002	2964	2964
q14	294	272	266	266
q15	531	505	487	487
q16	495	416	416	416
q17	1921	1604	1565	1565
q18	7634	7697	7324	7324
q19	1873	1751	1765	1751
q20	2078	1783	1793	1783
q21	5148	4885	5030	4885
q22	611	541	514	514
Total cold run time: 73351 ms
Total hot run time: 55444 ms

doris-robot avatar May 30 '24 09:05 doris-robot

TPC-DS: Total hot run time: 168773 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 41a8d8ba0182d4db95cacb71563435b9666ba181, data reload: false

query1	932	372	367	367
query2	6452	2369	2285	2285
query3	6660	217	215	215
query4	19306	17407	17173	17173
query5	4140	448	441	441
query6	255	160	166	160
query7	4585	297	292	292
query8	308	281	285	281
query9	8445	2404	2369	2369
query10	463	291	271	271
query11	10597	9983	9956	9956
query12	146	92	88	88
query13	1645	380	375	375
query14	10185	6228	7774	6228
query15	275	200	197	197
query16	7986	278	273	273
query17	1810	545	554	545
query18	2027	294	289	289
query19	213	162	164	162
query20	101	90	86	86
query21	202	134	137	134
query22	4082	3904	3909	3904
query23	33919	33051	33128	33051
query24	12225	2843	2830	2830
query25	689	377	390	377
query26	1789	168	167	167
query27	3017	330	323	323
query28	7447	2082	2091	2082
query29	1101	645	620	620
query30	299	158	156	156
query31	1011	760	751	751
query32	103	56	56	56
query33	790	293	290	290
query34	1009	490	477	477
query35	756	618	608	608
query36	1086	933	919	919
query37	287	67	70	67
query38	2912	2750	2760	2750
query39	860	796	797	796
query40	285	134	133	133
query41	59	53	53	53
query42	106	99	100	99
query43	604	545	546	545
query44	1255	749	759	749
query45	188	174	166	166
query46	1086	750	729	729
query47	1847	1725	1744	1725
query48	389	298	300	298
query49	1224	404	403	403
query50	792	398	400	398
query51	6877	6688	6582	6582
query52	113	95	91	91
query53	363	303	297	297
query54	1020	445	450	445
query55	79	76	78	76
query56	305	268	267	267
query57	1148	1040	1048	1040
query58	252	238	223	223
query59	3574	3135	3070	3070
query60	289	277	396	277
query61	93	88	86	86
query62	631	478	434	434
query63	320	292	297	292
query64	9798	2226	1745	1745
query65	3236	3143	3111	3111
query66	1407	325	323	323
query67	15424	14792	14656	14656
query68	8840	562	573	562
query69	561	273	278	273
query70	1419	1150	1102	1102
query71	507	280	279	279
query72	8635	5454	2753	2753
query73	2178	323	327	323
query74	6171	5520	5601	5520
query75	4525	2679	2612	2612
query76	5418	1071	1027	1027
query77	701	276	275	275
query78	10399	9744	9831	9744
query79	8107	540	532	532
query80	1327	450	478	450
query81	509	229	221	221
query82	381	92	97	92
query83	210	177	176	176
query84	272	87	88	87
query85	959	263	260	260
query86	350	305	317	305
query87	3315	3121	3060	3060
query88	4553	2364	2377	2364
query89	543	420	384	384
query90	2059	195	193	193
query91	132	100	98	98
query92	60	51	51	51
query93	6642	518	513	513
query94	1249	190	185	185
query95	442	311	315	311
query96	619	265	263	263
query97	3164	2978	3008	2978
query98	239	221	213	213
query99	1212	868	843	843
Total cold run time: 298577 ms
Total hot run time: 168773 ms

doris-robot avatar May 30 '24 09:05 doris-robot

ClickBench: Total hot run time: 30.27 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 41a8d8ba0182d4db95cacb71563435b9666ba181, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.23	0.04	0.05
query4	1.68	0.07	0.07
query5	0.51	0.48	0.49
query6	1.12	0.73	0.72
query7	0.02	0.01	0.02
query8	0.04	0.05	0.05
query9	0.53	0.51	0.47
query10	0.54	0.56	0.53
query11	0.16	0.12	0.12
query12	0.14	0.12	0.12
query13	0.59	0.59	0.60
query14	0.78	0.79	0.78
query15	0.84	0.81	0.80
query16	0.37	0.37	0.38
query17	0.97	1.02	1.03
query18	0.21	0.24	0.24
query19	1.90	1.74	1.75
query20	0.02	0.01	0.01
query21	15.53	0.68	0.65
query22	4.24	7.58	1.73
query23	18.28	1.32	1.23
query24	1.78	0.25	0.22
query25	0.14	0.08	0.08
query26	0.27	0.16	0.17
query27	0.08	0.08	0.08
query28	13.36	1.01	0.99
query29	13.21	3.24	3.25
query30	0.24	0.07	0.06
query31	2.86	0.40	0.38
query32	3.26	0.47	0.46
query33	2.83	2.92	2.85
query34	17.09	4.39	4.38
query35	4.46	4.48	4.49
query36	0.66	0.47	0.46
query37	0.18	0.15	0.16
query38	0.16	0.14	0.14
query39	0.05	0.03	0.05
query40	0.17	0.14	0.14
query41	0.09	0.05	0.05
query42	0.05	0.05	0.05
query43	0.04	0.04	0.03
Total cold run time: 109.8 s
Total hot run time: 30.27 s

doris-robot avatar May 30 '24 09:05 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 30 '24 14:05 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar May 30 '24 14:05 github-actions[bot]

run buildall

morningman avatar May 31 '24 13:05 morningman

TPC-H: Total hot run time: 40274 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ebc2033a6c7266baefedb430ede8a63a4c70ea7f, data reload: false

------ Round 1 ----------------------------------
q1	17615	4441	4298	4298
q2	2044	204	215	204
q3	10408	1336	1175	1175
q4	10152	763	866	763
q5	7504	2771	2667	2667
q6	220	134	134	134
q7	946	614	593	593
q8	9224	2093	2105	2093
q9	10574	6565	6580	6565
q10	8978	3762	3729	3729
q11	475	243	242	242
q12	413	225	229	225
q13	18269	2991	2986	2986
q14	271	229	228	228
q15	525	485	473	473
q16	531	399	410	399
q17	994	681	690	681
q18	8211	7495	7492	7492
q19	1646	1520	1478	1478
q20	640	312	302	302
q21	4956	3270	3223	3223
q22	384	324	329	324
Total cold run time: 114980 ms
Total hot run time: 40274 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4294	4215	4221	4215
q2	370	262	278	262
q3	3002	2810	2740	2740
q4	1884	1634	1562	1562
q5	5272	5292	5263	5263
q6	219	126	129	126
q7	2083	1752	1791	1752
q8	3253	3358	3323	3323
q9	8439	8413	8406	8406
q10	3898	3676	3690	3676
q11	588	491	491	491
q12	767	599	606	599
q13	17294	3003	2959	2959
q14	298	275	291	275
q15	518	479	477	477
q16	480	410	418	410
q17	1804	1493	1486	1486
q18	7552	7526	7400	7400
q19	1717	1532	1694	1532
q20	2026	1770	1797	1770
q21	4991	4948	4791	4791
q22	598	531	517	517
Total cold run time: 71347 ms
Total hot run time: 54032 ms

doris-robot avatar May 31 '24 14:05 doris-robot

run buildall

zy-kkk avatar Jun 02 '24 15:06 zy-kkk

run performance

zy-kkk avatar Jun 03 '24 07:06 zy-kkk

TPC-H: Total hot run time: 40262 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ebc2033a6c7266baefedb430ede8a63a4c70ea7f, data reload: false

------ Round 1 ----------------------------------
q1	17928	4610	4415	4415
q2	2650	204	189	189
q3	11468	1183	1117	1117
q4	10608	784	889	784
q5	7578	2726	2673	2673
q6	224	141	143	141
q7	957	625	608	608
q8	9596	2090	2109	2090
q9	8896	6548	6450	6450
q10	8906	3785	3700	3700
q11	476	241	241	241
q12	419	230	225	225
q13	17765	2966	2991	2966
q14	265	209	213	209
q15	515	464	472	464
q16	504	380	387	380
q17	975	681	817	681
q18	8132	7533	7524	7524
q19	5098	1527	1528	1527
q20	641	304	307	304
q21	5010	3236	3930	3236
q22	392	340	338	338
Total cold run time: 119003 ms
Total hot run time: 40262 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4379	4298	4235	4235
q2	364	277	266	266
q3	3037	2763	2723	2723
q4	1848	1630	1672	1630
q5	5252	5296	5258	5258
q6	223	132	131	131
q7	2156	1776	1723	1723
q8	3231	3356	3294	3294
q9	8361	8317	8327	8317
q10	3940	3705	3693	3693
q11	580	487	485	485
q12	770	597	611	597
q13	17524	3011	2970	2970
q14	292	263	255	255
q15	523	488	471	471
q16	485	408	428	408
q17	1771	1508	1451	1451
q18	7751	7449	7356	7356
q19	4419	1647	1684	1647
q20	2023	1822	1770	1770
q21	4947	4802	4816	4802
q22	609	534	525	525
Total cold run time: 74485 ms
Total hot run time: 54007 ms

doris-robot avatar Jun 03 '24 08:06 doris-robot

TPC-DS: Total hot run time: 170328 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ebc2033a6c7266baefedb430ede8a63a4c70ea7f, data reload: false

query1	943	380	374	374
query2	6480	2459	2353	2353
query3	6651	206	201	201
query4	19276	17361	17298	17298
query5	4118	482	501	482
query6	245	165	192	165
query7	4584	290	291	290
query8	333	290	291	290
query9	8426	2389	2372	2372
query10	451	291	283	283
query11	10464	10089	9999	9999
query12	132	94	87	87
query13	1633	371	358	358
query14	10177	7777	7148	7148
query15	229	195	185	185
query16	7887	282	283	282
query17	1816	543	524	524
query18	1997	280	277	277
query19	208	163	161	161
query20	95	92	95	92
query21	205	131	131	131
query22	4222	3989	3998	3989
query23	34114	33092	33221	33092
query24	12106	2884	2823	2823
query25	697	389	424	389
query26	1790	159	159	159
query27	2990	320	320	320
query28	7697	2063	2059	2059
query29	1109	624	587	587
query30	292	155	148	148
query31	979	737	746	737
query32	96	57	53	53
query33	770	296	295	295
query34	976	470	500	470
query35	764	622	626	622
query36	1079	929	956	929
query37	288	69	71	69
query38	2856	2751	2731	2731
query39	863	803	798	798
query40	284	129	129	129
query41	58	57	59	57
query42	126	97	100	97
query43	632	562	557	557
query44	1230	742	752	742
query45	202	165	168	165
query46	1079	696	696	696
query47	1855	1765	1755	1755
query48	386	297	294	294
query49	1188	410	415	410
query50	777	395	405	395
query51	6951	6805	6783	6783
query52	99	94	88	88
query53	356	299	288	288
query54	979	460	447	447
query55	76	74	78	74
query56	289	265	284	265
query57	1171	1066	1028	1028
query58	262	288	251	251
query59	3542	3262	3491	3262
query60	305	295	270	270
query61	97	94	93	93
query62	664	471	459	459
query63	317	292	293	292
query64	9809	2222	1825	1825
query65	3223	3111	3124	3111
query66	1374	337	320	320
query67	15407	14852	14920	14852
query68	5370	550	539	539
query69	606	464	400	400
query70	1122	1025	1138	1025
query71	469	284	280	280
query72	7622	2727	2594	2594
query73	767	327	327	327
query74	5912	5561	5479	5479
query75	3842	2669	2699	2669
query76	3745	948	873	873
query77	650	311	291	291
query78	10382	9949	9668	9668
query79	2500	518	515	515
query80	2481	481	474	474
query81	565	221	221	221
query82	1353	109	103	103
query83	317	179	174	174
query84	267	92	86	86
query85	1565	343	275	275
query86	486	326	300	300
query87	3250	3042	3080	3042
query88	3714	2363	2348	2348
query89	493	401	387	387
query90	1798	189	192	189
query91	134	98	98	98
query92	66	50	50	50
query93	2195	518	494	494
query94	1230	187	187	187
query95	403	314	315	314
query96	593	268	272	268
query97	3229	3016	2976	2976
query98	245	219	217	217
query99	1328	866	838	838
Total cold run time: 281475 ms
Total hot run time: 170328 ms

doris-robot avatar Jun 03 '24 08:06 doris-robot

ClickBench: Total hot run time: 30.23 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ebc2033a6c7266baefedb430ede8a63a4c70ea7f, data reload: false

query1	0.03	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.06
query4	1.66	0.10	0.10
query5	0.50	0.48	0.50
query6	1.13	0.71	0.72
query7	0.02	0.01	0.01
query8	0.05	0.05	0.04
query9	0.54	0.50	0.50
query10	0.55	0.56	0.55
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.60
query14	0.78	0.79	0.79
query15	0.83	0.83	0.83
query16	0.36	0.35	0.35
query17	1.03	1.04	0.98
query18	0.24	0.24	0.24
query19	1.80	1.70	1.72
query20	0.02	0.01	0.01
query21	15.46	0.70	0.70
query22	4.81	6.93	1.46
query23	18.23	1.38	1.29
query24	1.33	0.24	0.37
query25	0.15	0.08	0.09
query26	0.27	0.19	0.18
query27	0.08	0.08	0.07
query28	13.37	1.02	0.99
query29	12.74	3.35	3.37
query30	0.25	0.06	0.06
query31	2.87	0.40	0.40
query32	3.26	0.48	0.47
query33	2.94	2.83	2.92
query34	17.16	4.37	4.42
query35	4.48	4.46	4.57
query36	0.66	0.47	0.46
query37	0.18	0.17	0.15
query38	0.15	0.14	0.14
query39	0.05	0.04	0.03
query40	0.17	0.15	0.14
query41	0.09	0.05	0.04
query42	0.06	0.05	0.06
query43	0.04	0.04	0.03
Total cold run time: 109.54 s
Total hot run time: 30.23 s

doris-robot avatar Jun 03 '24 08:06 doris-robot