doris icon indicating copy to clipboard operation
doris copied to clipboard

[Feature](Planner) Support `SET_VAR` hint in insert statement

Open bobhan1 opened this issue 1 year ago • 10 comments

Proposed changes

Currently, when doing partial update using insert statement, we need to set enable_unique_key_partial_update=true and always need to set enable_insert_strict=true, which may pollute the session variables if the users forget to set them to the original values after executing the statements. So we allow to set variables in insert statement using comment to keep the influence only available in the current statement.

Example:

insert /*+ SET_VAR(enable_unique_key_partial_update=true, enable_insert_strict = false)*/
into tbl(id,score) values(2,400),(1,200),(4,400);

bobhan1 avatar Jun 20 '24 03:06 bobhan1

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Jun 20 '24 03:06 doris-robot

run buildall

bobhan1 avatar Jun 20 '24 03:06 bobhan1

run buildall

bobhan1 avatar Jun 20 '24 06:06 bobhan1

TPC-H: Total hot run time: 39400 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b59ffe497640b29a99de78c792d999d1263c4c09, data reload: false

------ Round 1 ----------------------------------
q1	17760	5097	4229	4229
q2	2044	196	200	196
q3	10502	1088	1097	1088
q4	10220	754	777	754
q5	7459	2675	2603	2603
q6	220	133	132	132
q7	973	588	577	577
q8	9220	2068	2094	2068
q9	9164	6476	6476	6476
q10	8893	3719	3680	3680
q11	443	240	241	240
q12	545	230	218	218
q13	17766	2950	3008	2950
q14	263	221	214	214
q15	518	475	489	475
q16	518	395	372	372
q17	956	766	716	716
q18	7977	7473	7246	7246
q19	2257	1447	1374	1374
q20	638	309	326	309
q21	4897	3178	3151	3151
q22	389	341	332	332
Total cold run time: 113622 ms
Total hot run time: 39400 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4370	4217	4217	4217
q2	375	257	272	257
q3	2931	2748	2790	2748
q4	2006	1757	1741	1741
q5	5519	5642	5487	5487
q6	224	125	126	125
q7	2228	1804	1786	1786
q8	3336	3428	3428	3428
q9	8678	8682	8773	8682
q10	4147	3788	3906	3788
q11	593	471	499	471
q12	805	609	590	590
q13	17070	3209	3129	3129
q14	310	277	273	273
q15	525	474	488	474
q16	508	416	431	416
q17	1830	1531	1516	1516
q18	8025	7967	8090	7967
q19	2584	1735	1702	1702
q20	2108	1878	1881	1878
q21	5111	5002	4944	4944
q22	637	542	544	542
Total cold run time: 73920 ms
Total hot run time: 56161 ms

doris-robot avatar Jun 20 '24 07:06 doris-robot

TPC-DS: Total hot run time: 173884 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b59ffe497640b29a99de78c792d999d1263c4c09, data reload: false

query1	932	391	379	379
query2	6430	2426	2518	2426
query3	6631	202	211	202
query4	21597	17316	17445	17316
query5	3586	462	460	460
query6	233	161	164	161
query7	4576	291	289	289
query8	320	284	285	284
query9	8651	2414	2399	2399
query10	609	305	282	282
query11	10459	10064	10034	10034
query12	119	89	84	84
query13	1640	372	374	372
query14	9964	7631	7769	7631
query15	269	198	202	198
query16	7721	267	262	262
query17	1917	549	537	537
query18	1858	296	290	290
query19	205	157	168	157
query20	105	83	80	80
query21	195	131	137	131
query22	4573	4275	4288	4275
query23	34201	33527	33557	33527
query24	10557	2863	2748	2748
query25	576	370	374	370
query26	703	149	149	149
query27	2184	310	308	308
query28	5546	2072	2042	2042
query29	864	635	613	613
query30	251	156	156	156
query31	980	734	725	725
query32	93	52	56	52
query33	646	271	268	268
query34	861	468	450	450
query35	715	603	598	598
query36	1071	931	911	911
query37	133	68	67	67
query38	2886	2749	2728	2728
query39	851	802	811	802
query40	209	123	116	116
query41	54	49	50	49
query42	113	96	102	96
query43	576	532	543	532
query44	1074	716	716	716
query45	198	171	170	170
query46	1055	736	717	717
query47	1835	1790	1762	1762
query48	369	301	296	296
query49	845	404	420	404
query50	757	377	382	377
query51	6754	6691	6722	6691
query52	104	89	92	89
query53	347	291	282	282
query54	854	422	427	422
query55	75	73	73	73
query56	277	247	256	247
query57	1104	1020	1042	1020
query58	240	251	247	247
query59	3495	3137	3241	3137
query60	313	268	274	268
query61	95	95	94	94
query62	588	452	444	444
query63	319	284	286	284
query64	8606	2253	1749	1749
query65	3147	3073	3095	3073
query66	763	320	319	319
query67	15383	15012	14905	14905
query68	4522	527	512	512
query69	587	362	349	349
query70	1208	1158	1174	1158
query71	380	273	263	263
query72	8340	5364	5446	5364
query73	727	316	312	312
query74	5941	5567	5495	5495
query75	3432	2639	2644	2639
query76	2494	979	934	934
query77	621	348	304	304
query78	10310	9829	9741	9741
query79	2288	503	499	499
query80	1112	451	454	451
query81	540	225	216	216
query82	899	100	104	100
query83	318	165	161	161
query84	258	84	81	81
query85	1858	287	269	269
query86	465	297	310	297
query87	3252	3055	3079	3055
query88	4071	2330	2324	2324
query89	466	382	379	379
query90	1778	185	186	185
query91	127	96	100	96
query92	61	49	49	49
query93	2579	488	498	488
query94	1171	183	178	178
query95	393	303	366	303
query96	597	259	267	259
query97	3238	3052	3085	3052
query98	242	197	197	197
query99	1101	839	832	832
Total cold run time: 270633 ms
Total hot run time: 173884 ms

doris-robot avatar Jun 20 '24 07:06 doris-robot

ClickBench: Total hot run time: 30.64 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b59ffe497640b29a99de78c792d999d1263c4c09, data reload: false

query1	0.03	0.03	0.04
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.69	0.06	0.07
query5	0.49	0.49	0.48
query6	1.15	0.73	0.73
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.54	0.49	0.47
query10	0.55	0.54	0.55
query11	0.14	0.11	0.12
query12	0.14	0.12	0.12
query13	0.59	0.59	0.60
query14	0.77	0.78	0.77
query15	0.82	0.81	0.81
query16	0.35	0.37	0.36
query17	1.02	1.04	1.03
query18	0.20	0.20	0.28
query19	1.91	1.66	1.84
query20	0.02	0.01	0.01
query21	15.41	0.65	0.66
query22	4.35	6.73	2.17
query23	18.31	1.31	1.25
query24	2.14	0.22	0.21
query25	0.15	0.09	0.08
query26	0.27	0.18	0.17
query27	0.07	0.08	0.07
query28	13.24	1.00	0.99
query29	12.64	3.28	3.24
query30	0.26	0.06	0.06
query31	2.86	0.39	0.38
query32	3.28	0.47	0.46
query33	2.92	2.89	2.89
query34	17.17	4.40	4.41
query35	4.47	4.46	4.46
query36	0.66	0.50	0.45
query37	0.18	0.16	0.15
query38	0.14	0.15	0.14
query39	0.04	0.03	0.04
query40	0.17	0.14	0.14
query41	0.10	0.05	0.05
query42	0.06	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.71 s
Total hot run time: 30.64 s

doris-robot avatar Jun 20 '24 07:06 doris-robot

run buildall

bobhan1 avatar Jul 01 '24 08:07 bobhan1

TPC-H: Total hot run time: 40221 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 037796ba175290e2e44ca2c293e19f8540405d13, data reload: false

------ Round 1 ----------------------------------
q1	17627	4421	4314	4314
q2	2029	201	202	201
q3	10534	1214	1122	1122
q4	10304	819	805	805
q5	7534	2701	2655	2655
q6	223	140	138	138
q7	966	600	598	598
q8	9233	2106	2098	2098
q9	9042	6561	6542	6542
q10	8983	3725	3706	3706
q11	459	241	254	241
q12	435	237	232	232
q13	17769	3001	2992	2992
q14	267	221	220	220
q15	528	487	480	480
q16	512	384	380	380
q17	983	680	729	680
q18	8208	7570	7463	7463
q19	1681	1572	1493	1493
q20	656	316	325	316
q21	4990	3210	3895	3210
q22	400	335	336	335
Total cold run time: 113363 ms
Total hot run time: 40221 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4298	4286	4251	4251
q2	388	267	277	267
q3	3015	2754	2760	2754
q4	2012	1578	1619	1578
q5	5253	5244	5303	5244
q6	224	129	130	129
q7	2101	1733	1724	1724
q8	3210	3350	3322	3322
q9	8384	8397	8348	8348
q10	3927	3703	3706	3703
q11	577	506	492	492
q12	797	627	630	627
q13	12448	2985	2991	2985
q14	298	260	269	260
q15	508	488	479	479
q16	466	415	414	414
q17	1785	1497	1448	1448
q18	7648	7513	7535	7513
q19	1702	1621	1555	1555
q20	1994	1816	1798	1798
q21	5056	4897	4659	4659
q22	650	559	558	558
Total cold run time: 66741 ms
Total hot run time: 54108 ms

doris-robot avatar Jul 01 '24 08:07 doris-robot

TPC-DS: Total hot run time: 172595 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 037796ba175290e2e44ca2c293e19f8540405d13, data reload: false

query1	920	399	370	370
query2	6465	2450	2347	2347
query3	6659	211	216	211
query4	18716	17608	17123	17123
query5	4141	471	473	471
query6	270	167	171	167
query7	4603	284	289	284
query8	323	292	290	290
query9	8489	2425	2383	2383
query10	645	333	282	282
query11	10575	10191	9998	9998
query12	133	86	88	86
query13	1632	368	367	367
query14	10073	7719	7673	7673
query15	292	182	189	182
query16	8077	274	264	264
query17	1909	538	512	512
query18	1947	267	265	265
query19	193	147	149	147
query20	92	83	81	81
query21	226	147	129	129
query22	4374	4077	3930	3930
query23	34002	33215	33040	33040
query24	10784	2844	2809	2809
query25	566	365	367	365
query26	696	151	156	151
query27	2231	305	315	305
query28	5508	2067	2070	2067
query29	857	620	597	597
query30	302	151	150	150
query31	1009	729	741	729
query32	98	52	58	52
query33	669	289	289	289
query34	870	464	500	464
query35	736	617	633	617
query36	1077	966	943	943
query37	136	80	74	74
query38	2876	2751	2728	2728
query39	845	801	801	801
query40	203	125	129	125
query41	54	52	53	52
query42	119	98	100	98
query43	584	553	508	508
query44	1084	732	724	724
query45	197	161	165	161
query46	1064	715	728	715
query47	1839	1745	1752	1745
query48	371	289	293	289
query49	1053	423	409	409
query50	763	383	385	383
query51	6903	6747	6723	6723
query52	100	95	93	93
query53	363	293	290	290
query54	878	449	442	442
query55	73	77	74	74
query56	323	267	269	267
query57	1159	1037	1054	1037
query58	262	253	249	249
query59	3488	3082	3102	3082
query60	298	279	280	279
query61	98	109	93	93
query62	647	436	456	436
query63	330	290	284	284
query64	8615	2310	1740	1740
query65	3171	3122	3099	3099
query66	808	331	328	328
query67	15326	14838	14949	14838
query68	4603	542	558	542
query69	481	307	311	307
query70	1132	1140	1142	1140
query71	375	278	275	275
query72	7161	5483	5112	5112
query73	743	325	321	321
query74	5874	5463	5531	5463
query75	3374	2681	2663	2663
query76	2411	908	891	891
query77	475	299	300	299
query78	10291	9658	9924	9658
query79	2718	515	509	509
query80	1209	491	539	491
query81	594	221	218	218
query82	754	106	105	105
query83	237	175	170	170
query84	225	86	81	81
query85	1447	279	266	266
query86	478	311	315	311
query87	3333	3081	3076	3076
query88	3910	2369	2374	2369
query89	470	372	373	372
query90	1760	189	191	189
query91	127	99	97	97
query92	60	52	49	49
query93	1913	502	507	502
query94	1155	191	185	185
query95	404	317	320	317
query96	598	269	268	268
query97	3209	3003	3050	3003
query98	213	201	193	193
query99	1164	847	870	847
Total cold run time: 267087 ms
Total hot run time: 172595 ms

doris-robot avatar Jul 01 '24 08:07 doris-robot

ClickBench: Total hot run time: 30.03 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 037796ba175290e2e44ca2c293e19f8540405d13, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.04	0.05
query4	1.69	0.10	0.11
query5	0.50	0.49	0.48
query6	1.14	0.73	0.73
query7	0.01	0.01	0.02
query8	0.05	0.05	0.06
query9	0.55	0.50	0.48
query10	0.55	0.54	0.54
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.59
query14	0.77	0.78	0.77
query15	0.87	0.82	0.82
query16	0.37	0.38	0.35
query17	1.01	1.02	1.03
query18	0.23	0.24	0.26
query19	1.81	1.73	1.70
query20	0.01	0.01	0.01
query21	15.45	0.76	0.66
query22	4.80	7.25	1.25
query23	18.21	1.42	1.30
query24	2.14	0.23	0.22
query25	0.16	0.09	0.09
query26	0.27	0.17	0.19
query27	0.09	0.08	0.09
query28	13.28	1.03	1.02
query29	12.65	3.29	3.25
query30	0.26	0.06	0.05
query31	2.86	0.38	0.39
query32	3.28	0.48	0.48
query33	2.93	2.91	2.88
query34	17.29	4.41	4.40
query35	4.49	4.54	4.48
query36	0.65	0.48	0.47
query37	0.20	0.16	0.16
query38	0.16	0.16	0.14
query39	0.04	0.03	0.04
query40	0.17	0.15	0.14
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.39 s
Total hot run time: 30.03 s

doris-robot avatar Jul 01 '24 09:07 doris-robot

run buildall

bobhan1 avatar Jul 01 '24 14:07 bobhan1

TPC-H: Total hot run time: 39865 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0fd668358844d64fcd32c1e701802f032825b073, data reload: false

------ Round 1 ----------------------------------
q1	18022	5378	4435	4435
q2	2901	196	195	195
q3	11594	1166	1142	1142
q4	10390	742	765	742
q5	7891	2697	2679	2679
q6	228	137	141	137
q7	983	608	615	608
q8	9422	2055	2077	2055
q9	9034	6460	6442	6442
q10	8811	3709	3658	3658
q11	454	239	232	232
q12	393	235	219	219
q13	18684	2943	2952	2943
q14	268	225	223	223
q15	545	477	480	477
q16	478	382	372	372
q17	953	633	717	633
q18	8216	7394	7551	7394
q19	1671	1537	1426	1426
q20	654	310	319	310
q21	4999	3207	3813	3207
q22	401	342	336	336
Total cold run time: 116992 ms
Total hot run time: 39865 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4321	4215	4170	4170
q2	385	276	265	265
q3	2956	2769	2734	2734
q4	1841	1581	1556	1556
q5	5245	5279	5260	5260
q6	215	131	131	131
q7	2116	1756	1728	1728
q8	3171	3336	3284	3284
q9	8341	8327	8311	8311
q10	3887	3730	3652	3652
q11	598	478	480	478
q12	823	601	619	601
q13	17528	2998	2961	2961
q14	298	273	258	258
q15	518	483	489	483
q16	468	420	407	407
q17	1785	1464	1458	1458
q18	7737	7512	7247	7247
q19	1661	1669	1456	1456
q20	2008	1787	1779	1779
q21	4957	4668	4730	4668
q22	628	543	561	543
Total cold run time: 71487 ms
Total hot run time: 53430 ms

doris-robot avatar Jul 01 '24 14:07 doris-robot

TPC-DS: Total hot run time: 169859 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0fd668358844d64fcd32c1e701802f032825b073, data reload: false

query1	910	380	372	372
query2	6467	2273	2241	2241
query3	6648	213	221	213
query4	18920	17569	17420	17420
query5	4167	484	479	479
query6	276	172	181	172
query7	4594	306	294	294
query8	323	309	302	302
query9	8532	2396	2358	2358
query10	589	297	267	267
query11	10601	10032	9915	9915
query12	129	86	82	82
query13	1648	364	355	355
query14	9467	6955	7077	6955
query15	240	188	183	183
query16	7411	273	262	262
query17	1411	527	540	527
query18	1943	267	265	265
query19	188	146	148	146
query20	88	78	78	78
query21	208	130	126	126
query22	4270	4056	4211	4056
query23	33697	32944	33164	32944
query24	12410	2862	2823	2823
query25	676	364	391	364
query26	1787	149	149	149
query27	2917	313	318	313
query28	7383	2050	2026	2026
query29	1227	626	598	598
query30	274	152	153	152
query31	973	743	755	743
query32	92	51	54	51
query33	773	289	292	289
query34	971	461	477	461
query35	735	605	605	605
query36	1106	935	928	928
query37	288	74	75	74
query38	2878	2745	2734	2734
query39	877	798	817	798
query40	280	127	125	125
query41	57	58	55	55
query42	116	100	105	100
query43	601	565	540	540
query44	1171	718	719	718
query45	192	163	161	161
query46	1073	722	730	722
query47	1840	1759	1778	1759
query48	361	288	297	288
query49	1187	414	400	400
query50	769	381	381	381
query51	6778	6776	6782	6776
query52	103	93	95	93
query53	361	295	296	295
query54	947	443	442	442
query55	80	73	76	73
query56	315	270	273	270
query57	1137	1037	1049	1037
query58	248	239	245	239
query59	3301	3164	3082	3082
query60	303	280	312	280
query61	93	95	94	94
query62	689	455	453	453
query63	325	290	292	290
query64	9994	2258	1741	1741
query65	3242	3102	3072	3072
query66	1446	348	347	347
query67	15337	14963	14868	14868
query68	4588	531	547	531
query69	680	446	331	331
query70	1110	1075	1130	1075
query71	412	273	267	267
query72	7249	5409	2797	2797
query73	740	326	321	321
query74	5987	5452	5427	5427
query75	3506	2647	2711	2647
query76	3059	941	897	897
query77	672	310	300	300
query78	10300	9968	9857	9857
query79	2558	522	508	508
query80	929	467	454	454
query81	570	217	219	217
query82	1405	114	107	107
query83	258	170	168	168
query84	255	86	84	84
query85	1555	289	276	276
query86	477	335	314	314
query87	3321	3118	3125	3118
query88	3659	2363	2341	2341
query89	481	385	389	385
query90	1874	197	187	187
query91	128	101	102	101
query92	59	50	47	47
query93	2349	496	489	489
query94	1182	186	188	186
query95	396	310	308	308
query96	582	270	262	262
query97	3181	2991	2994	2991
query98	214	194	200	194
query99	1318	854	851	851
Total cold run time: 275494 ms
Total hot run time: 169859 ms

doris-robot avatar Jul 01 '24 15:07 doris-robot

ClickBench: Total hot run time: 30.79 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0fd668358844d64fcd32c1e701802f032825b073, data reload: false

query1	0.04	0.04	0.02
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.67	0.08	0.08
query5	0.49	0.49	0.50
query6	1.13	0.72	0.72
query7	0.02	0.02	0.01
query8	0.05	0.04	0.04
query9	0.55	0.48	0.49
query10	0.55	0.53	0.55
query11	0.14	0.11	0.11
query12	0.14	0.12	0.13
query13	0.60	0.60	0.58
query14	0.78	0.78	0.76
query15	0.82	0.81	0.82
query16	0.38	0.37	0.35
query17	0.94	0.98	1.00
query18	0.20	0.26	0.25
query19	1.86	1.72	1.71
query20	0.01	0.00	0.00
query21	15.44	0.75	0.66
query22	4.29	7.31	2.12
query23	18.31	1.30	1.30
query24	2.17	0.24	0.23
query25	0.15	0.09	0.08
query26	0.27	0.18	0.18
query27	0.09	0.08	0.08
query28	13.16	1.02	0.99
query29	12.61	3.32	3.33
query30	0.25	0.06	0.06
query31	2.86	0.39	0.39
query32	3.27	0.48	0.45
query33	2.91	2.91	2.94
query34	17.12	4.39	4.42
query35	4.51	4.58	4.45
query36	0.65	0.46	0.46
query37	0.18	0.15	0.15
query38	0.15	0.15	0.15
query39	0.04	0.03	0.04
query40	0.17	0.14	0.15
query41	0.09	0.05	0.04
query42	0.04	0.04	0.04
query43	0.05	0.04	0.04
Total cold run time: 109.46 s
Total hot run time: 30.79 s

doris-robot avatar Jul 01 '24 15:07 doris-robot

run buildall

bobhan1 avatar Jul 03 '24 05:07 bobhan1

TPC-H: Total hot run time: 40092 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 57046ad6cdaacbda92fc43dd96177cf44c23314b, data reload: false

------ Round 1 ----------------------------------
q1	17988	4570	4393	4393
q2	2206	192	186	186
q3	10511	1222	1137	1137
q4	10199	722	768	722
q5	7490	2644	2637	2637
q6	218	138	140	138
q7	959	592	606	592
q8	9238	2101	2066	2066
q9	8824	6503	6505	6503
q10	8952	3725	3720	3720
q11	446	237	235	235
q12	407	239	230	230
q13	17766	2983	2977	2977
q14	273	222	236	222
q15	522	485	484	484
q16	515	369	375	369
q17	956	705	702	702
q18	7982	7407	7373	7373
q19	4811	1546	1516	1516
q20	653	328	339	328
q21	4948	3224	3918	3224
q22	410	338	341	338
Total cold run time: 116274 ms
Total hot run time: 40092 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4417	4250	4246	4246
q2	366	266	271	266
q3	2968	2671	2734	2671
q4	1869	1576	1652	1576
q5	5249	5296	5273	5273
q6	222	134	134	134
q7	2095	1735	1740	1735
q8	3242	3353	3306	3306
q9	8291	8351	8309	8309
q10	3863	3682	3634	3634
q11	569	479	471	471
q12	799	635	615	615
q13	16465	3012	2970	2970
q14	298	261	271	261
q15	516	477	479	477
q16	493	397	421	397
q17	1802	1504	1464	1464
q18	7503	7549	7319	7319
q19	1731	1536	1525	1525
q20	1994	1787	1756	1756
q21	4944	4798	4713	4713
q22	625	563	525	525
Total cold run time: 70321 ms
Total hot run time: 53643 ms

doris-robot avatar Jul 03 '24 05:07 doris-robot

TPC-DS: Total hot run time: 172877 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 57046ad6cdaacbda92fc43dd96177cf44c23314b, data reload: false

query1	923	382	364	364
query2	6453	2424	2418	2418
query3	6656	203	211	203
query4	19633	17495	17522	17495
query5	4174	461	490	461
query6	269	158	160	158
query7	4602	311	302	302
query8	323	309	285	285
query9	8503	2366	2353	2353
query10	610	298	289	289
query11	10478	9945	10125	9945
query12	131	88	83	83
query13	1652	383	372	372
query14	9495	7182	6211	6211
query15	226	188	185	185
query16	7824	280	270	270
query17	1543	572	544	544
query18	1973	283	281	281
query19	205	167	152	152
query20	91	82	84	82
query21	214	126	141	126
query22	4333	4121	3962	3962
query23	33599	33031	33062	33031
query24	12239	2856	2850	2850
query25	705	381	393	381
query26	1816	161	155	155
query27	3054	315	312	312
query28	7630	2085	2063	2063
query29	1188	641	622	622
query30	290	163	155	155
query31	944	731	753	731
query32	90	57	56	56
query33	789	324	309	309
query34	928	469	492	469
query35	720	632	639	632
query36	1127	917	952	917
query37	282	78	80	78
query38	2872	2738	2728	2728
query39	864	794	784	784
query40	287	131	126	126
query41	53	53	54	53
query42	117	100	103	100
query43	595	550	552	550
query44	1190	744	747	744
query45	194	163	158	158
query46	1085	744	711	711
query47	1874	1787	1768	1768
query48	384	305	306	305
query49	1229	432	431	431
query50	767	391	418	391
query51	6832	6750	6812	6750
query52	113	89	103	89
query53	367	302	297	297
query54	943	458	455	455
query55	76	75	76	75
query56	302	284	297	284
query57	1157	1061	1069	1061
query58	266	259	359	259
query59	3500	3255	3229	3229
query60	309	318	286	286
query61	91	92	92	92
query62	672	451	453	451
query63	318	288	285	285
query64	9820	2235	1796	1796
query65	3154	3157	3078	3078
query66	1365	338	327	327
query67	15812	14853	15111	14853
query68	7151	547	577	547
query69	751	475	349	349
query70	1184	1096	1146	1096
query71	551	277	285	277
query72	9052	5505	5770	5505
query73	826	326	326	326
query74	5894	5488	5500	5488
query75	5066	2651	2655	2651
query76	5203	1003	1010	1003
query77	792	300	301	300
query78	10458	9898	9818	9818
query79	7762	506	516	506
query80	976	477	469	469
query81	545	221	220	220
query82	793	109	110	109
query83	340	168	167	167
query84	269	85	86	85
query85	1427	275	268	268
query86	447	311	311	311
query87	3273	3086	3096	3086
query88	4603	2512	2445	2445
query89	513	379	373	373
query90	2053	181	182	181
query91	133	98	102	98
query92	63	50	50	50
query93	5926	518	523	518
query94	1323	189	187	187
query95	410	318	325	318
query96	614	270	267	267
query97	3162	3032	2985	2985
query98	208	205	200	200
query99	1142	860	856	856
Total cold run time: 295230 ms
Total hot run time: 172877 ms

doris-robot avatar Jul 03 '24 06:07 doris-robot

ClickBench: Total hot run time: 30.97 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 57046ad6cdaacbda92fc43dd96177cf44c23314b, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.04	0.05
query4	1.67	0.07	0.07
query5	0.49	0.47	0.50
query6	1.14	0.73	0.73
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.47	0.49
query10	0.54	0.55	0.53
query11	0.16	0.11	0.12
query12	0.15	0.13	0.12
query13	0.59	0.60	0.58
query14	0.79	0.76	0.79
query15	0.85	0.82	0.82
query16	0.37	0.35	0.36
query17	1.03	1.00	1.04
query18	0.24	0.25	0.26
query19	1.78	1.66	1.67
query20	0.02	0.01	0.01
query21	15.45	0.77	0.66
query22	4.67	6.75	2.48
query23	18.32	1.40	1.25
query24	2.09	0.25	0.21
query25	0.16	0.09	0.08
query26	0.25	0.18	0.17
query27	0.08	0.08	0.08
query28	13.26	1.02	1.00
query29	12.61	3.26	3.25
query30	0.25	0.06	0.05
query31	2.87	0.38	0.38
query32	3.30	0.46	0.47
query33	2.91	2.89	2.91
query34	17.14	4.38	4.39
query35	4.51	4.48	4.45
query36	0.66	0.50	0.48
query37	0.18	0.16	0.16
query38	0.16	0.16	0.15
query39	0.05	0.03	0.03
query40	0.18	0.14	0.15
query41	0.09	0.05	0.05
query42	0.05	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.06 s
Total hot run time: 30.97 s

doris-robot avatar Jul 03 '24 06:07 doris-robot

Also need to update documents

zhannngchen avatar Jul 05 '24 09:07 zhannngchen

run buildall

bobhan1 avatar Jul 15 '24 14:07 bobhan1

TPC-H: Total hot run time: 39652 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c8e3a0b39e10b3faea8c0186212262d636e2e080, data reload: false

------ Round 1 ----------------------------------
q1	17632	4302	4267	4267
q2	2027	191	184	184
q3	10568	1187	1090	1090
q4	10195	754	749	749
q5	7525	2655	2611	2611
q6	222	136	134	134
q7	977	597	588	588
q8	9224	2031	2061	2031
q9	8763	6537	6564	6537
q10	8670	3741	3774	3741
q11	451	234	236	234
q12	486	224	225	224
q13	18742	2963	2967	2963
q14	270	237	248	237
q15	507	477	472	472
q16	482	391	393	391
q17	948	683	709	683
q18	8053	7403	7445	7403
q19	7769	1361	1318	1318
q20	666	325	320	320
q21	4933	3189	3251	3189
q22	341	290	286	286
Total cold run time: 119451 ms
Total hot run time: 39652 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4346	4276	4360	4276
q2	369	270	264	264
q3	2985	2903	2897	2897
q4	1976	1687	1748	1687
q5	5537	5547	5483	5483
q6	227	133	132	132
q7	2210	1893	1819	1819
q8	3276	3414	3388	3388
q9	8668	8699	8727	8699
q10	4120	3744	3793	3744
q11	587	524	500	500
q12	787	639	632	632
q13	16307	3168	3253	3168
q14	322	282	288	282
q15	536	477	494	477
q16	486	445	443	443
q17	1823	1504	1485	1485
q18	8030	7921	7718	7718
q19	1764	1531	1622	1531
q20	2212	1871	1879	1871
q21	9414	4857	4722	4722
q22	593	538	534	534
Total cold run time: 76575 ms
Total hot run time: 55752 ms

doris-robot avatar Jul 15 '24 14:07 doris-robot

TPC-DS: Total hot run time: 173551 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c8e3a0b39e10b3faea8c0186212262d636e2e080, data reload: false

query1	909	373	371	371
query2	6437	1986	1922	1922
query3	6636	204	215	204
query4	26590	17479	17417	17417
query5	3604	477	482	477
query6	260	159	163	159
query7	4584	287	292	287
query8	235	198	190	190
query9	8536	2471	2479	2471
query10	441	286	270	270
query11	10841	10171	10023	10023
query12	112	88	82	82
query13	1628	370	375	370
query14	10171	7697	7143	7143
query15	212	166	180	166
query16	7749	322	312	312
query17	1658	551	538	538
query18	1966	289	279	279
query19	197	156	160	156
query20	94	83	84	83
query21	202	131	127	127
query22	4555	4193	4179	4179
query23	33970	33943	33489	33489
query24	11427	2938	2954	2938
query25	665	404	434	404
query26	1214	152	155	152
query27	2439	303	279	279
query28	7014	2135	2107	2107
query29	917	669	659	659
query30	243	152	153	152
query31	982	757	807	757
query32	101	55	58	55
query33	760	320	319	319
query34	1023	500	505	500
query35	720	590	616	590
query36	1131	967	960	960
query37	146	85	83	83
query38	2977	2953	2878	2878
query39	906	809	831	809
query40	202	117	118	117
query41	45	46	44	44
query42	120	95	96	95
query43	505	479	473	473
query44	1178	724	733	724
query45	198	160	162	160
query46	1074	736	710	710
query47	1879	1828	1818	1818
query48	362	307	288	288
query49	833	427	409	409
query50	780	388	386	386
query51	6932	6806	6718	6718
query52	108	95	94	94
query53	364	289	291	289
query54	897	441	443	441
query55	76	73	72	72
query56	299	273	269	269
query57	1117	1082	1026	1026
query58	236	254	241	241
query59	3020	2748	2628	2628
query60	295	272	276	272
query61	98	110	98	98
query62	787	649	634	634
query63	316	290	283	283
query64	9289	2207	1697	1697
query65	3142	3207	3128	3128
query66	842	319	332	319
query67	15711	14969	15118	14969
query68	5764	554	539	539
query69	762	439	344	344
query70	1192	1142	1102	1102
query71	499	280	279	279
query72	8368	5451	6019	5451
query73	779	327	326	326
query74	6410	5735	5766	5735
query75	4846	2651	2676	2651
query76	4046	916	968	916
query77	716	309	292	292
query78	9644	9171	8945	8945
query79	8177	543	534	534
query80	1347	471	472	471
query81	598	219	220	219
query82	1532	129	132	129
query83	406	173	166	166
query84	271	83	85	83
query85	1496	368	305	305
query86	436	303	311	303
query87	3344	3167	3158	3158
query88	5112	2380	2389	2380
query89	495	390	385	385
query90	2027	188	190	188
query91	127	99	97	97
query92	63	47	47	47
query93	6215	515	509	509
query94	1373	206	206	206
query95	403	316	309	309
query96	616	265	271	265
query97	3198	2998	3063	2998
query98	224	205	199	199
query99	1548	1309	1261	1261
Total cold run time: 296991 ms
Total hot run time: 173551 ms

doris-robot avatar Jul 15 '24 14:07 doris-robot

ClickBench: Total hot run time: 30.77 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c8e3a0b39e10b3faea8c0186212262d636e2e080, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.03	0.04
query3	0.22	0.05	0.05
query4	1.69	0.07	0.06
query5	0.47	0.50	0.49
query6	1.14	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.54	0.49	0.48
query10	0.54	0.54	0.54
query11	0.15	0.12	0.11
query12	0.14	0.12	0.12
query13	0.58	0.59	0.58
query14	0.78	0.75	0.79
query15	0.85	0.81	0.81
query16	0.36	0.37	0.36
query17	1.02	0.99	1.05
query18	0.23	0.21	0.22
query19	1.78	1.73	1.82
query20	0.01	0.00	0.01
query21	15.40	0.83	0.76
query22	4.59	6.60	1.94
query23	18.28	1.35	1.32
query24	2.10	0.23	0.23
query25	0.15	0.08	0.08
query26	0.30	0.22	0.21
query27	0.46	0.23	0.22
query28	13.34	1.01	1.00
query29	12.61	3.31	3.27
query30	0.26	0.06	0.05
query31	2.90	0.39	0.38
query32	3.28	0.48	0.48
query33	2.89	2.94	2.92
query34	17.05	4.34	4.35
query35	4.41	4.40	4.40
query36	0.65	0.47	0.49
query37	0.18	0.16	0.16
query38	0.15	0.15	0.16
query39	0.04	0.03	0.04
query40	0.15	0.12	0.12
query41	0.09	0.04	0.04
query42	0.05	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.06 s
Total hot run time: 30.77 s

doris-robot avatar Jul 15 '24 14:07 doris-robot

run buildall

bobhan1 avatar Jul 16 '24 01:07 bobhan1

run buildall

bobhan1 avatar Jul 16 '24 03:07 bobhan1

TPC-H: Total hot run time: 39974 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 07665b2ba03c34df067cf9fa8315770a6703bb68, data reload: false

------ Round 1 ----------------------------------
q1	18051	4441	4449	4441
q2	2237	193	187	187
q3	10440	1211	1077	1077
q4	10208	804	821	804
q5	7554	2646	2675	2646
q6	223	138	137	137
q7	964	593	593	593
q8	9216	2057	2081	2057
q9	8762	6598	6591	6591
q10	8762	3801	3819	3801
q11	441	230	233	230
q12	403	228	226	226
q13	17758	3033	2988	2988
q14	272	244	237	237
q15	542	482	488	482
q16	471	393	374	374
q17	964	617	696	617
q18	8323	7484	7412	7412
q19	6508	1299	1428	1299
q20	688	328	341	328
q21	4939	3169	3263	3169
q22	335	287	278	278
Total cold run time: 118061 ms
Total hot run time: 39974 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4356	4245	4216	4216
q2	378	263	261	261
q3	3031	2796	2741	2741
q4	1859	1567	1610	1567
q5	5966	5281	5265	5265
q6	212	131	129	129
q7	2082	1763	1692	1692
q8	3174	3355	3296	3296
q9	8434	8404	8396	8396
q10	3858	3707	3664	3664
q11	571	482	505	482
q12	787	625	588	588
q13	16389	2997	3007	2997
q14	316	271	260	260
q15	504	478	479	478
q16	467	419	412	412
q17	1755	1470	1471	1470
q18	7558	7545	7293	7293
q19	2090	1633	1644	1633
q20	1974	1788	1790	1788
q21	4764	4662	4784	4662
q22	555	494	500	494
Total cold run time: 71080 ms
Total hot run time: 53784 ms

doris-robot avatar Jul 16 '24 04:07 doris-robot

TPC-DS: Total hot run time: 173950 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 07665b2ba03c34df067cf9fa8315770a6703bb68, data reload: false

query1	920	371	373	371
query2	6451	1867	1835	1835
query3	6667	205	217	205
query4	27775	17184	17040	17040
query5	4228	512	474	474
query6	279	166	185	166
query7	4594	289	291	289
query8	249	202	199	199
query9	8487	2444	2423	2423
query10	453	298	275	275
query11	12266	10145	9953	9953
query12	144	96	83	83
query13	1653	391	391	391
query14	10302	7827	7862	7827
query15	244	165	171	165
query16	7823	318	325	318
query17	1805	560	546	546
query18	1967	291	283	283
query19	201	172	157	157
query20	94	83	83	83
query21	219	126	132	126
query22	4563	4128	4104	4104
query23	33674	33026	33146	33026
query24	12133	2868	2885	2868
query25	682	388	392	388
query26	1828	155	156	155
query27	2975	275	280	275
query28	7736	2032	2017	2017
query29	1162	663	627	627
query30	283	155	152	152
query31	959	757	741	741
query32	96	59	58	58
query33	787	317	312	312
query34	947	501	492	492
query35	692	574	587	574
query36	1141	947	934	934
query37	292	82	82	82
query38	2874	2804	2759	2759
query39	890	831	816	816
query40	285	125	123	123
query41	54	47	49	47
query42	128	98	102	98
query43	549	491	462	462
query44	1243	748	737	737
query45	197	164	166	164
query46	1104	733	732	732
query47	1869	1768	1785	1768
query48	373	292	298	292
query49	1213	426	427	426
query50	793	401	399	399
query51	6855	6850	6847	6847
query52	116	94	99	94
query53	360	303	302	302
query54	1001	468	456	456
query55	78	78	77	77
query56	303	289	291	289
query57	1153	1034	1059	1034
query58	265	363	254	254
query59	2831	2662	2729	2662
query60	322	281	280	280
query61	95	98	92	92
query62	875	637	642	637
query63	333	292	301	292
query64	10521	2262	7754	2262
query65	3150	3107	3107	3107
query66	1389	327	342	327
query67	15616	14910	14960	14910
query68	8716	565	568	565
query69	755	474	342	342
query70	1224	1149	1133	1133
query71	534	282	276	276
query72	8895	5821	5765	5765
query73	901	326	326	326
query74	6075	5639	5626	5626
query75	4702	2676	2708	2676
query76	5273	983	958	958
query77	772	331	305	305
query78	9880	9066	9899	9066
query79	10619	537	529	529
query80	1190	482	477	477
query81	588	226	226	226
query82	760	129	138	129
query83	272	183	174	174
query84	286	87	85	85
query85	1423	310	293	293
query86	336	291	313	291
query87	3422	3098	3135	3098
query88	4577	2367	2368	2367
query89	536	381	383	381
query90	1584	194	190	190
query91	135	99	97	97
query92	62	55	51	51
query93	6757	537	520	520
query94	594	217	209	209
query95	391	312	307	307
query96	629	277	271	271
query97	3218	3003	3029	3003
query98	215	207	190	190
query99	1614	1286	1265	1265
Total cold run time: 310541 ms
Total hot run time: 173950 ms

doris-robot avatar Jul 16 '24 04:07 doris-robot

ClickBench: Total hot run time: 30.56 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 07665b2ba03c34df067cf9fa8315770a6703bb68, data reload: false

query1	0.04	0.03	0.04
query2	0.08	0.03	0.03
query3	0.22	0.04	0.05
query4	1.68	0.07	0.06
query5	0.48	0.49	0.48
query6	1.13	0.72	0.73
query7	0.02	0.01	0.01
query8	0.05	0.05	0.04
query9	0.54	0.48	0.49
query10	0.53	0.54	0.55
query11	0.15	0.12	0.11
query12	0.16	0.12	0.13
query13	0.60	0.60	0.59
query14	0.77	0.77	0.79
query15	0.85	0.80	0.81
query16	0.39	0.37	0.36
query17	1.03	0.98	1.01
query18	0.23	0.22	0.21
query19	1.82	1.67	1.69
query20	0.01	0.02	0.03
query21	15.40	0.72	0.65
query22	3.90	7.03	2.09
query23	18.25	1.40	1.23
query24	2.14	0.22	0.22
query25	0.16	0.08	0.09
query26	0.30	0.21	0.20
query27	0.46	0.23	0.23
query28	13.30	1.03	1.01
query29	12.60	3.24	3.25
query30	0.26	0.05	0.05
query31	2.85	0.39	0.40
query32	3.26	0.49	0.48
query33	2.86	2.90	2.90
query34	17.31	4.33	4.36
query35	4.40	4.34	4.40
query36	0.66	0.48	0.51
query37	0.19	0.16	0.15
query38	0.16	0.14	0.15
query39	0.05	0.03	0.03
query40	0.16	0.13	0.12
query41	0.10	0.05	0.06
query42	0.06	0.05	0.05
query43	0.04	0.05	0.04
Total cold run time: 109.65 s
Total hot run time: 30.56 s

doris-robot avatar Jul 16 '24 04:07 doris-robot

run buildall

bobhan1 avatar Jul 16 '24 06:07 bobhan1

TPC-H: Total hot run time: 39865 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fae4a5b2e7d31ea29f6f8f5b452dcb2ef7e87f60, data reload: false

------ Round 1 ----------------------------------
q1	17632	4320	4320	4320
q2	2005	188	189	188
q3	10452	1178	1102	1102
q4	10195	845	804	804
q5	7639	2714	2678	2678
q6	217	134	134	134
q7	954	595	585	585
q8	9215	2083	2076	2076
q9	8911	6553	6509	6509
q10	8840	3746	3729	3729
q11	459	233	235	233
q12	419	224	224	224
q13	18290	3006	2968	2968
q14	268	235	242	235
q15	526	474	482	474
q16	501	386	375	375
q17	973	686	708	686
q18	8047	7500	7320	7320
q19	5652	1462	1455	1455
q20	686	324	321	321
q21	4864	3170	3265	3170
q22	335	279	282	279
Total cold run time: 117080 ms
Total hot run time: 39865 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4399	4238	4249	4238
q2	378	272	254	254
q3	3020	2856	2892	2856
q4	2019	1688	1711	1688
q5	5672	5585	5512	5512
q6	225	135	137	135
q7	2213	1898	1871	1871
q8	3260	3401	3428	3401
q9	8876	8782	8917	8782
q10	4118	3865	3828	3828
q11	590	535	507	507
q12	815	673	687	673
q13	16332	3175	3210	3175
q14	307	286	284	284
q15	508	491	487	487
q16	474	479	445	445
q17	1809	1495	1501	1495
q18	8191	7990	7927	7927
q19	1733	1681	1624	1624
q20	2059	1861	1879	1861
q21	5735	4843	4901	4843
q22	606	500	497	497
Total cold run time: 73339 ms
Total hot run time: 56383 ms

doris-robot avatar Jul 16 '24 06:07 doris-robot