Simple digits training loss not converging

[BMukhtar]

Hello, I tried to train on simple digits vocab, but loss didn't converge, where is the issue?:

python references/recognition/train_pytorch.py parseq --epochs 5 --vocab digits --train-samples 1000 --val-samples 20 --name Test2 --lr 0.001
Namespace(arch='parseq', train_path=None, val_path=None, train_samples=1000, val_samples=20, min_chars=1, max_chars=12, name='Test2', epochs=5, batch_size=64, device=None, input_size=32, lr=0.001, weight_decay=0, workers=None, resume=None, vocab='digits', test_only=False, freeze_backbone=False, show_samples=False, wb=False, push_to_hub=False, pretrained=False, sched='cosine', amp=False, find_lr=False, early_stop=False, early_stop_epochs=5, early_stop_delta=0.01)
Validation set loaded in 0.1614s (200 samples in 4 batches)
Train set loaded in 0.001299s (10000 samples in 156 batches)
Training loss: 2.36602: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:41<00:00,  3.74it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  5.58it/s]
Validation loss decreased inf --> 2.39846: saving state...
Epoch 1/5 - Validation loss: 2.39846 (Exact: 0.00% | Partial: 0.00%)
Training loss: 2.35916: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:41<00:00,  3.73it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  7.25it/s]
Validation loss decreased 2.39846 --> 2.37885: saving state...
Epoch 2/5 - Validation loss: 2.37885 (Exact: 0.00% | Partial: 0.00%)
Training loss: 2.3387: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:41<00:00,  3.76it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  5.48it/s]
Validation loss decreased 2.37885 --> 2.37407: saving state...
Epoch 3/5 - Validation loss: 2.37407 (Exact: 0.00% | Partial: 0.00%)
Training loss: 2.33693: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:41<00:00,  3.78it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  6.19it/s]
Validation loss decreased 2.37407 --> 2.3518: saving state...
Epoch 4/5 - Validation loss: 2.3518 (Exact: 0.00% | Partial: 0.00%)
Training loss: 2.33229: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:41<00:00,  3.80it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  5.81it/s]
Validation loss decreased 2.3518 --> 2.34674: saving state...
Epoch 5/5 - Validation loss: 2.34674 (Exact: 0.00% | Partial: 0.00%)