-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathrun_onlyvis_train.sh
More file actions
36 lines (36 loc) · 1.22 KB
/
Copy pathrun_onlyvis_train.sh
File metadata and controls
36 lines (36 loc) · 1.22 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#!/bin/sh
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --master_port 29501 /CODEDIR/run_train_mmbart_enc_self_onlyvis_retrieve_crossattn.py --seed 684331 \
--gpu_ids 0 --num_workers 16 \
--article_max_length 512 --caption_max_length 100 \
--plm_type facebook/bart-base \
--clip_type ViT-B/16 \
--ent_start_token "<ENT>" --ent_end_token "<ENT>" \
--enc_fusion_layer 0 1 2 3 4 5 6 7 8 9 10 11 \
--dim_common 1024 \
--warmup_rate 0.05 --train_batch_size 32 --val_batch_size 1 --test_batch_size 1 \
--beam_size 5 --max_length 50 \
--num_epoch 16 --lr_bart 3e-5 --lr_clip 1e-7 \
--weight_decay 0.01 --clip_norm 0.1 \
--no_clip_norm True \
--data_type goodnews \
--data_dir /DATADIR \
--out_dir /OUTPUTDIR \
--mapping_loss_type contrastive \
--trained_clip CLIPNAME.pt \
--clip_dir /CLIPDIR \
--no_clip_loss True \
--prompt_size 20 --use_vis_cls True \
--max_ner_type_len 80 --max_ner_type_len_gt 20 \
--freeze_clip True \
--prompt_mlp_type clipcap --map_size 196 256 64 16 \
--no_mapping True --mapping_loss_weight 1 \
--img_size 768 \
--only_image True \
--use_secla False \
--num_sentences 8 \
--project_name news_cap \
--experiment_name crossattn_goodnews_onlyvis \
--offline_wandb False \
--perturb False \
--init_attn_weight False \
--do_retrieval