doris icon indicating copy to clipboard operation
doris copied to clipboard

[fix](export) fix that export table retry with same label should succeed when first export job failed

Open caiconghui opened this issue 1 year ago • 11 comments

Proposed changes

Issue Number: close #xxx

caiconghui avatar May 30 '24 13:05 caiconghui

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 30 '24 13:05 doris-robot

run buildall

caiconghui avatar May 30 '24 13:05 caiconghui

TPC-H: Total hot run time: 40048 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a95cd2462425f60c11ce4d7933ffdae32b219137, data reload: false

------ Round 1 ----------------------------------
q1	17806	4348	4212	4212
q2	2027	195	197	195
q3	10581	1386	1173	1173
q4	10804	837	776	776
q5	7806	2672	2777	2672
q6	217	136	136	136
q7	960	638	619	619
q8	9997	2078	2077	2077
q9	9672	6650	6563	6563
q10	9376	3627	3702	3627
q11	459	253	238	238
q12	445	236	228	228
q13	17789	2989	3040	2989
q14	269	225	220	220
q15	532	494	476	476
q16	513	375	379	375
q17	978	642	691	642
q18	8167	7462	7491	7462
q19	7255	1596	1535	1535
q20	657	322	318	318
q21	4975	3973	3195	3195
q22	375	320	328	320
Total cold run time: 121660 ms
Total hot run time: 40048 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4302	4170	4198	4170
q2	377	277	262	262
q3	2924	2752	2751	2751
q4	1901	1611	1626	1611
q5	5210	5319	5240	5240
q6	206	123	127	123
q7	2138	1789	1733	1733
q8	3196	3325	3290	3290
q9	8352	8348	8419	8348
q10	3891	3636	3663	3636
q11	582	499	476	476
q12	763	587	601	587
q13	16447	2990	3012	2990
q14	290	257	258	257
q15	516	467	480	467
q16	472	410	446	410
q17	1764	1461	1493	1461
q18	7617	7429	7502	7429
q19	1674	1576	1577	1576
q20	1967	1780	1806	1780
q21	4960	4763	4733	4733
q22	603	524	527	524
Total cold run time: 70152 ms
Total hot run time: 53854 ms

doris-robot avatar May 30 '24 14:05 doris-robot

TPC-DS: Total hot run time: 169606 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a95cd2462425f60c11ce4d7933ffdae32b219137, data reload: false

query1	918	378	373	373
query2	6451	2512	2366	2366
query3	6651	209	213	209
query4	22547	17387	17172	17172
query5	4154	417	438	417
query6	241	172	153	153
query7	4584	292	289	289
query8	333	290	293	290
query9	8459	2414	2394	2394
query10	452	278	261	261
query11	10603	10096	9995	9995
query12	139	92	86	86
query13	1662	348	358	348
query14	10072	7151	7424	7151
query15	242	189	189	189
query16	7714	256	265	256
query17	1837	518	509	509
query18	1739	276	268	268
query19	202	152	158	152
query20	95	88	93	88
query21	197	125	128	125
query22	4391	4025	3921	3921
query23	33603	33258	33249	33249
query24	11879	2810	2728	2728
query25	632	353	355	353
query26	1578	152	154	152
query27	2881	317	310	310
query28	7528	2070	2056	2056
query29	1005	601	605	601
query30	282	152	154	152
query31	976	763	748	748
query32	94	52	56	52
query33	811	261	261	261
query34	1012	483	472	472
query35	727	612	595	595
query36	1084	938	918	918
query37	145	63	71	63
query38	2946	2795	2765	2765
query39	861	794	790	790
query40	273	126	123	123
query41	53	50	51	50
query42	110	95	97	95
query43	594	559	540	540
query44	1194	727	752	727
query45	184	170	164	164
query46	1081	713	708	708
query47	1846	1780	1786	1780
query48	356	294	288	288
query49	1141	381	382	381
query50	769	387	373	373
query51	6976	6791	6808	6791
query52	100	92	96	92
query53	356	293	284	284
query54	1013	436	423	423
query55	77	72	71	71
query56	252	247	241	241
query57	1164	1053	1049	1049
query58	230	207	224	207
query59	3376	3209	3018	3018
query60	271	255	245	245
query61	88	89	90	89
query62	654	456	447	447
query63	316	287	285	285
query64	9878	2261	1687	1687
query65	3184	3117	3118	3117
query66	1338	333	331	331
query67	15300	15096	15199	15096
query68	4578	527	525	525
query69	453	269	272	269
query70	1174	1058	1095	1058
query71	405	275	269	269
query72	7748	2697	2543	2543
query73	707	314	314	314
query74	6131	5605	5579	5579
query75	3385	2634	2635	2634
query76	2440	992	1004	992
query77	409	261	265	261
query78	10250	9862	9778	9778
query79	2419	517	510	510
query80	1960	440	426	426
query81	533	224	221	221
query82	1337	94	96	94
query83	362	178	174	174
query84	264	82	87	82
query85	1527	270	260	260
query86	493	306	278	278
query87	3251	3128	3091	3091
query88	3829	2309	2306	2306
query89	475	385	370	370
query90	1987	183	183	183
query91	123	152	93	93
query92	62	50	48	48
query93	2136	495	483	483
query94	1223	181	178	178
query95	400	309	304	304
query96	580	260	260	260
query97	3231	2970	3060	2970
query98	259	223	218	218
query99	1225	884	856	856
Total cold run time: 279257 ms
Total hot run time: 169606 ms

doris-robot avatar May 30 '24 14:05 doris-robot

ClickBench: Total hot run time: 30.65 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a95cd2462425f60c11ce4d7933ffdae32b219137, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.23	0.05	0.05
query4	1.68	0.07	0.07
query5	0.51	0.47	0.50
query6	1.13	0.72	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.50	0.49
query10	0.55	0.54	0.54
query11	0.16	0.12	0.11
query12	0.14	0.12	0.12
query13	0.60	0.59	0.59
query14	0.78	0.78	0.78
query15	0.83	0.81	0.82
query16	0.36	0.37	0.37
query17	1.03	0.96	0.95
query18	0.22	0.22	0.23
query19	1.82	1.80	1.72
query20	0.01	0.01	0.02
query21	15.77	0.66	0.65
query22	3.52	8.40	1.97
query23	18.25	1.46	1.24
query24	1.83	0.25	0.22
query25	0.14	0.09	0.08
query26	0.26	0.17	0.17
query27	0.08	0.08	0.07
query28	13.30	1.00	1.05
query29	12.98	3.36	3.35
query30	0.24	0.06	0.05
query31	2.90	0.38	0.37
query32	3.28	0.47	0.46
query33	2.90	2.93	2.95
query34	17.11	4.40	4.46
query35	4.47	4.46	4.51
query36	0.66	0.49	0.49
query37	0.17	0.15	0.16
query38	0.15	0.14	0.14
query39	0.04	0.03	0.04
query40	0.17	0.15	0.15
query41	0.10	0.05	0.04
query42	0.05	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.19 s
Total hot run time: 30.65 s

doris-robot avatar May 30 '24 14:05 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 31 '24 01:05 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar May 31 '24 01:05 github-actions[bot]

run buildall

caiconghui avatar May 31 '24 02:05 caiconghui

TPC-H: Total hot run time: 41774 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5d02cc28e5c2be39cf959c5d781592c3ba36590b, data reload: false

------ Round 1 ----------------------------------
q1	17614	4359	4231	4231
q2	2030	194	189	189
q3	10484	1177	1167	1167
q4	10203	834	817	817
q5	7473	2683	2642	2642
q6	231	131	134	131
q7	930	613	624	613
q8	9217	2108	2087	2087
q9	9435	6676	6696	6676
q10	9810	3904	3864	3864
q11	458	248	242	242
q12	502	240	227	227
q13	18203	3152	3320	3152
q14	254	215	208	208
q15	515	463	476	463
q16	482	394	391	391
q17	971	716	701	701
q18	8351	7780	7744	7744
q19	7659	1665	1575	1575
q20	650	317	318	317
q21	5140	4011	4135	4011
q22	406	326	334	326
Total cold run time: 121018 ms
Total hot run time: 41774 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4599	4396	4409	4396
q2	386	271	273	271
q3	3134	2984	2757	2757
q4	1888	1586	1673	1586
q5	5497	5494	5455	5455
q6	219	123	122	122
q7	2212	1825	1886	1825
q8	3267	3403	3391	3391
q9	8657	8724	8659	8659
q10	3866	3809	3878	3809
q11	584	488	497	488
q12	801	629	640	629
q13	17108	3181	3167	3167
q14	282	287	273	273
q15	546	481	466	466
q16	481	414	423	414
q17	1774	1500	1509	1500
q18	7879	7707	7349	7349
q19	1680	1588	1597	1588
q20	2012	1811	1797	1797
q21	10297	4734	4772	4734
q22	595	522	530	522
Total cold run time: 77764 ms
Total hot run time: 55198 ms

doris-robot avatar May 31 '24 03:05 doris-robot

TPC-DS: Total hot run time: 171956 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5d02cc28e5c2be39cf959c5d781592c3ba36590b, data reload: false

query1	926	388	367	367
query2	6428	2502	2567	2502
query3	6641	208	203	203
query4	23011	17340	17474	17340
query5	4120	429	408	408
query6	253	162	166	162
query7	4597	294	289	289
query8	312	296	281	281
query9	8514	2363	2366	2363
query10	480	285	260	260
query11	10693	10343	10164	10164
query12	139	94	86	86
query13	1648	356	360	356
query14	9386	6895	6655	6655
query15	233	198	184	184
query16	7316	271	255	255
query17	1308	517	529	517
query18	1923	267	299	267
query19	204	154	157	154
query20	89	87	89	87
query21	199	133	129	129
query22	4105	3913	3864	3864
query23	33729	32910	32914	32910
query24	6920	2825	2891	2825
query25	550	355	358	355
query26	705	160	152	152
query27	2047	328	320	320
query28	3884	2048	2058	2048
query29	856	594	599	594
query30	239	150	153	150
query31	961	735	733	733
query32	96	52	53	52
query33	507	271	261	261
query34	847	480	463	463
query35	714	592	612	592
query36	1046	905	917	905
query37	103	71	72	71
query38	2965	2793	2757	2757
query39	824	806	808	806
query40	193	126	122	122
query41	52	50	52	50
query42	101	94	98	94
query43	570	579	581	579
query44	1096	722	740	722
query45	184	175	167	167
query46	1058	725	729	725
query47	1850	1749	1801	1749
query48	359	309	294	294
query49	770	387	388	387
query50	773	376	384	376
query51	6723	6602	6692	6602
query52	107	85	93	85
query53	361	289	291	289
query54	526	437	442	437
query55	72	70	72	70
query56	286	240	243	240
query57	1098	1037	1050	1037
query58	218	213	232	213
query59	3733	3367	3050	3050
query60	274	255	249	249
query61	90	89	88	88
query62	580	451	436	436
query63	326	293	287	287
query64	8518	2232	1750	1750
query65	3173	3079	3104	3079
query66	881	325	330	325
query67	15224	14819	14668	14668
query68	5917	534	539	534
query69	500	274	273	273
query70	1142	1107	1181	1107
query71	467	272	264	264
query72	8378	5677	5713	5677
query73	802	337	325	325
query74	6319	5701	5597	5597
query75	3732	2646	2598	2598
query76	3267	1037	1003	1003
query77	583	258	265	258
query78	10289	9764	9745	9745
query79	2649	508	510	508
query80	1915	442	426	426
query81	508	224	221	221
query82	1365	93	100	93
query83	274	170	173	170
query84	266	90	81	81
query85	1134	287	348	287
query86	456	294	291	291
query87	3267	3152	3093	3093
query88	3760	2329	2331	2329
query89	471	388	376	376
query90	2114	187	182	182
query91	120	98	107	98
query92	56	49	48	48
query93	2767	506	494	494
query94	1123	185	183	183
query95	392	299	308	299
query96	598	275	263	263
query97	3206	3011	3035	3011
query98	243	229	212	212
query99	1182	870	853	853
Total cold run time: 267976 ms
Total hot run time: 171956 ms

doris-robot avatar May 31 '24 03:05 doris-robot

ClickBench: Total hot run time: 30.13 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5d02cc28e5c2be39cf959c5d781592c3ba36590b, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.22	0.05	0.05
query4	1.68	0.07	0.08
query5	0.50	0.49	0.49
query6	1.13	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.54	0.50	0.48
query10	0.54	0.55	0.54
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.59	0.59	0.59
query14	0.76	0.79	0.77
query15	0.82	0.81	0.82
query16	0.35	0.35	0.37
query17	0.97	0.97	0.95
query18	0.23	0.23	0.26
query19	1.77	1.78	1.82
query20	0.02	0.01	0.01
query21	15.45	0.71	0.69
query22	4.46	7.89	1.56
query23	18.28	1.57	1.21
query24	1.36	0.46	0.21
query25	0.17	0.08	0.07
query26	0.27	0.17	0.18
query27	0.08	0.08	0.08
query28	13.30	1.03	1.00
query29	13.26	3.30	3.27
query30	0.24	0.05	0.06
query31	2.88	0.39	0.37
query32	3.31	0.47	0.46
query33	2.90	2.92	2.84
query34	17.06	4.47	4.46
query35	4.55	4.42	4.61
query36	0.66	0.48	0.49
query37	0.18	0.15	0.16
query38	0.16	0.15	0.15
query39	0.05	0.03	0.04
query40	0.18	0.14	0.14
query41	0.09	0.05	0.05
query42	0.06	0.04	0.04
query43	0.03	0.03	0.04
Total cold run time: 109.59 s
Total hot run time: 30.13 s

doris-robot avatar May 31 '24 03:05 doris-robot

run buildall

caiconghui avatar Jun 01 '24 10:06 caiconghui

TPC-H: Total hot run time: 40904 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 27b289e21f5661e8ed7018e1dd840c13629eaa59, data reload: false

------ Round 1 ----------------------------------
q1	17610	4365	4275	4275
q2	2015	204	207	204
q3	10425	1237	1149	1149
q4	10196	833	848	833
q5	7485	2685	2730	2685
q6	221	133	138	133
q7	956	609	598	598
q8	9222	2129	2095	2095
q9	9403	6679	6728	6679
q10	9225	3844	3836	3836
q11	446	232	236	232
q12	435	229	232	229
q13	17787	3266	3137	3137
q14	261	209	218	209
q15	514	484	468	468
q16	529	413	401	401
q17	967	594	648	594
q18	8317	7769	7733	7733
q19	4988	1496	1512	1496
q20	656	315	333	315
q21	5102	3977	3282	3282
q22	382	321	334	321
Total cold run time: 117142 ms
Total hot run time: 40904 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4522	4536	4450	4450
q2	377	272	268	268
q3	3164	2949	2955	2949
q4	1956	1570	1611	1570
q5	5377	5509	5473	5473
q6	229	131	131	131
q7	2143	1789	1805	1789
q8	3181	3368	3369	3368
q9	8606	8582	8683	8582
q10	4121	3829	3857	3829
q11	578	479	485	479
q12	781	602	599	599
q13	16847	3145	3152	3145
q14	303	263	260	260
q15	519	496	481	481
q16	477	431	442	431
q17	1815	1497	1483	1483
q18	7992	7736	7279	7279
q19	1760	1472	1479	1472
q20	3063	1808	1793	1793
q21	8100	4862	4862	4862
q22	619	533	514	514
Total cold run time: 76530 ms
Total hot run time: 55207 ms

doris-robot avatar Jun 01 '24 11:06 doris-robot

TPC-DS: Total hot run time: 169275 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 27b289e21f5661e8ed7018e1dd840c13629eaa59, data reload: false

query1	934	396	374	374
query2	6464	2344	2204	2204
query3	6643	204	198	198
query4	18759	17328	17283	17283
query5	4119	448	448	448
query6	247	156	162	156
query7	4590	309	291	291
query8	329	302	286	286
query9	8674	2416	2421	2416
query10	426	296	310	296
query11	10659	9967	10075	9967
query12	137	90	90	90
query13	1632	359	347	347
query14	10187	7771	6832	6832
query15	232	191	190	190
query16	7831	273	267	267
query17	1699	537	513	513
query18	1948	272	272	272
query19	199	153	156	153
query20	92	82	81	81
query21	209	131	124	124
query22	4098	3943	3843	3843
query23	33617	33059	33418	33059
query24	11015	2932	2852	2852
query25	606	345	357	345
query26	1154	156	152	152
query27	2420	317	318	317
query28	6950	2050	2046	2046
query29	896	611	598	598
query30	272	148	153	148
query31	963	776	749	749
query32	96	53	57	53
query33	782	282	283	282
query34	956	475	461	461
query35	754	610	604	604
query36	1080	911	957	911
query37	153	67	73	67
query38	2874	2777	2746	2746
query39	848	786	793	786
query40	206	128	122	122
query41	53	51	51	51
query42	116	94	98	94
query43	621	550	544	544
query44	1201	722	720	720
query45	205	171	169	169
query46	1074	715	678	678
query47	1828	1755	1746	1746
query48	360	287	294	287
query49	1017	405	407	405
query50	777	391	390	390
query51	6775	6626	6674	6626
query52	108	92	91	91
query53	354	296	291	291
query54	873	445	445	445
query55	74	72	74	72
query56	280	248	256	248
query57	1112	1006	1065	1006
query58	245	239	249	239
query59	3377	3219	3220	3219
query60	288	266	262	262
query61	92	88	89	88
query62	622	442	430	430
query63	320	296	323	296
query64	8902	2227	1741	1741
query65	3182	3081	3141	3081
query66	813	337	330	330
query67	15020	14696	14762	14696
query68	4580	542	531	531
query69	584	441	355	355
query70	1191	1160	1027	1027
query71	404	293	289	289
query72	7786	2876	2705	2705
query73	760	335	325	325
query74	6027	5587	5504	5504
query75	3435	2619	2656	2619
query76	2792	943	899	899
query77	669	326	304	304
query78	10280	9750	9898	9750
query79	2067	517	505	505
query80	2600	479	495	479
query81	592	223	217	217
query82	905	108	107	107
query83	317	181	178	178
query84	273	96	91	91
query85	1472	319	311	311
query86	465	323	284	284
query87	3326	3121	3165	3121
query88	3527	2426	2419	2419
query89	477	399	389	389
query90	1807	189	188	188
query91	141	108	110	108
query92	69	49	52	49
query93	1947	514	492	492
query94	1217	207	195	195
query95	420	330	325	325
query96	593	281	269	269
query97	3178	2991	3026	2991
query98	247	230	218	218
query99	1209	857	869	857
Total cold run time: 270796 ms
Total hot run time: 169275 ms

doris-robot avatar Jun 01 '24 11:06 doris-robot

ClickBench: Total hot run time: 30.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 27b289e21f5661e8ed7018e1dd840c13629eaa59, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.67	0.10	0.08
query5	0.51	0.52	0.50
query6	1.12	0.73	0.73
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.53	0.49	0.48
query10	0.54	0.54	0.53
query11	0.16	0.10	0.11
query12	0.16	0.12	0.12
query13	0.60	0.59	0.59
query14	0.76	0.80	0.77
query15	0.85	0.81	0.81
query16	0.36	0.38	0.36
query17	0.96	0.94	1.01
query18	0.23	0.26	0.24
query19	1.74	1.67	1.64
query20	0.01	0.02	0.01
query21	15.43	0.68	0.67
query22	4.03	7.28	1.90
query23	18.30	1.39	1.23
query24	1.36	0.41	0.20
query25	0.16	0.09	0.08
query26	0.25	0.16	0.17
query27	0.08	0.08	0.09
query28	13.39	1.03	1.00
query29	13.27	3.38	3.29
query30	0.24	0.06	0.05
query31	2.87	0.38	0.38
query32	3.31	0.47	0.48
query33	2.93	2.98	2.87
query34	17.14	4.39	4.45
query35	4.50	4.48	4.64
query36	0.64	0.46	0.46
query37	0.17	0.15	0.15
query38	0.16	0.14	0.15
query39	0.04	0.04	0.03
query40	0.16	0.14	0.14
query41	0.09	0.04	0.05
query42	0.05	0.04	0.04
query43	0.03	0.04	0.03
Total cold run time: 109.22 s
Total hot run time: 30.36 s

doris-robot avatar Jun 01 '24 11:06 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Jun 03 '24 02:06 github-actions[bot]