Hugging Face's logo

henry984
/
Mobius

PyTorch
mobius
Model card Files
xet
 Community
1
henry984 commited on
Commit
c4b43ee
·
verified ·
1 Parent(s): 93d4ca4

Upload folder using huggingface_hub

Browse files
Files changed (9) hide show
  1. added_tokens.json +263 -0
  2. config.json +52 -0
  3. generation_config.json +30 -0
  4. pytorch_model-00001-of-00002.bin +3 -0
  5. pytorch_model-00002-of-00002.bin +3 -0
  6. pytorch_model.bin.index.json +0 -0
  7. special_tokens_map.json +24 -0
  8. tokenizer.model +3 -0
  9. tokenizer_config.json +35 -0
added_tokens.json ADDED
@@ -0,0 +1,263 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "</region>": 32002,
3
+ "<SEG>": 32000,
4
+ "<gen_100>": 32102,
5
+ "<gen_101>": 32103,
6
+ "<gen_102>": 32104,
7
+ "<gen_103>": 32105,
8
+ "<gen_104>": 32106,
9
+ "<gen_105>": 32107,
10
+ "<gen_106>": 32108,
11
+ "<gen_107>": 32109,
12
+ "<gen_108>": 32110,
13
+ "<gen_109>": 32111,
14
+ "<gen_10>": 32012,
15
+ "<gen_110>": 32112,
16
+ "<gen_111>": 32113,
17
+ "<gen_112>": 32114,
18
+ "<gen_113>": 32115,
19
+ "<gen_114>": 32116,
20
+ "<gen_115>": 32117,
21
+ "<gen_116>": 32118,
22
+ "<gen_117>": 32119,
23
+ "<gen_118>": 32120,
24
+ "<gen_119>": 32121,
25
+ "<gen_11>": 32013,
26
+ "<gen_120>": 32122,
27
+ "<gen_121>": 32123,
28
+ "<gen_122>": 32124,
29
+ "<gen_123>": 32125,
30
+ "<gen_124>": 32126,
31
+ "<gen_125>": 32127,
32
+ "<gen_126>": 32128,
33
+ "<gen_127>": 32129,
34
+ "<gen_128>": 32130,
35
+ "<gen_129>": 32131,
36
+ "<gen_12>": 32014,
37
+ "<gen_130>": 32132,
38
+ "<gen_131>": 32133,
39
+ "<gen_132>": 32134,
40
+ "<gen_133>": 32135,
41
+ "<gen_134>": 32136,
42
+ "<gen_135>": 32137,
43
+ "<gen_136>": 32138,
44
+ "<gen_137>": 32139,
45
+ "<gen_138>": 32140,
46
+ "<gen_139>": 32141,
47
+ "<gen_13>": 32015,
48
+ "<gen_140>": 32142,
49
+ "<gen_141>": 32143,
50
+ "<gen_142>": 32144,
51
+ "<gen_143>": 32145,
52
+ "<gen_144>": 32146,
53
+ "<gen_145>": 32147,
54
+ "<gen_146>": 32148,
55
+ "<gen_147>": 32149,
56
+ "<gen_148>": 32150,
57
+ "<gen_149>": 32151,
58
+ "<gen_14>": 32016,
59
+ "<gen_150>": 32152,
60
+ "<gen_151>": 32153,
61
+ "<gen_152>": 32154,
62
+ "<gen_153>": 32155,
63
+ "<gen_154>": 32156,
64
+ "<gen_155>": 32157,
65
+ "<gen_156>": 32158,
66
+ "<gen_157>": 32159,
67
+ "<gen_158>": 32160,
68
+ "<gen_159>": 32161,
69
+ "<gen_15>": 32017,
70
+ "<gen_160>": 32162,
71
+ "<gen_161>": 32163,
72
+ "<gen_162>": 32164,
73
+ "<gen_163>": 32165,
74
+ "<gen_164>": 32166,
75
+ "<gen_165>": 32167,
76
+ "<gen_166>": 32168,
77
+ "<gen_167>": 32169,
78
+ "<gen_168>": 32170,
79
+ "<gen_169>": 32171,
80
+ "<gen_16>": 32018,
81
+ "<gen_170>": 32172,
82
+ "<gen_171>": 32173,
83
+ "<gen_172>": 32174,
84
+ "<gen_173>": 32175,
85
+ "<gen_174>": 32176,
86
+ "<gen_175>": 32177,
87
+ "<gen_176>": 32178,
88
+ "<gen_177>": 32179,
89
+ "<gen_178>": 32180,
90
+ "<gen_179>": 32181,
91
+ "<gen_17>": 32019,
92
+ "<gen_180>": 32182,
93
+ "<gen_181>": 32183,
94
+ "<gen_182>": 32184,
95
+ "<gen_183>": 32185,
96
+ "<gen_184>": 32186,
97
+ "<gen_185>": 32187,
98
+ "<gen_186>": 32188,
99
+ "<gen_187>": 32189,
100
+ "<gen_188>": 32190,
101
+ "<gen_189>": 32191,
102
+ "<gen_18>": 32020,
103
+ "<gen_190>": 32192,
104
+ "<gen_191>": 32193,
105
+ "<gen_192>": 32194,
106
+ "<gen_193>": 32195,
107
+ "<gen_194>": 32196,
108
+ "<gen_195>": 32197,
109
+ "<gen_196>": 32198,
110
+ "<gen_197>": 32199,
111
+ "<gen_198>": 32200,
112
+ "<gen_199>": 32201,
113
+ "<gen_19>": 32021,
114
+ "<gen_1>": 32003,
115
+ "<gen_200>": 32202,
116
+ "<gen_201>": 32203,
117
+ "<gen_202>": 32204,
118
+ "<gen_203>": 32205,
119
+ "<gen_204>": 32206,
120
+ "<gen_205>": 32207,
121
+ "<gen_206>": 32208,
122
+ "<gen_207>": 32209,
123
+ "<gen_208>": 32210,
124
+ "<gen_209>": 32211,
125
+ "<gen_20>": 32022,
126
+ "<gen_210>": 32212,
127
+ "<gen_211>": 32213,
128
+ "<gen_212>": 32214,
129
+ "<gen_213>": 32215,
130
+ "<gen_214>": 32216,
131
+ "<gen_215>": 32217,
132
+ "<gen_216>": 32218,
133
+ "<gen_217>": 32219,
134
+ "<gen_218>": 32220,
135
+ "<gen_219>": 32221,
136
+ "<gen_21>": 32023,
137
+ "<gen_220>": 32222,
138
+ "<gen_221>": 32223,
139
+ "<gen_222>": 32224,
140
+ "<gen_223>": 32225,
141
+ "<gen_224>": 32226,
142
+ "<gen_225>": 32227,
143
+ "<gen_226>": 32228,
144
+ "<gen_227>": 32229,
145
+ "<gen_228>": 32230,
146
+ "<gen_229>": 32231,
147
+ "<gen_22>": 32024,
148
+ "<gen_230>": 32232,
149
+ "<gen_231>": 32233,
150
+ "<gen_232>": 32234,
151
+ "<gen_233>": 32235,
152
+ "<gen_234>": 32236,
153
+ "<gen_235>": 32237,
154
+ "<gen_236>": 32238,
155
+ "<gen_237>": 32239,
156
+ "<gen_238>": 32240,
157
+ "<gen_239>": 32241,
158
+ "<gen_23>": 32025,
159
+ "<gen_240>": 32242,
160
+ "<gen_241>": 32243,
161
+ "<gen_242>": 32244,
162
+ "<gen_243>": 32245,
163
+ "<gen_244>": 32246,
164
+ "<gen_245>": 32247,
165
+ "<gen_246>": 32248,
166
+ "<gen_247>": 32249,
167
+ "<gen_248>": 32250,
168
+ "<gen_249>": 32251,
169
+ "<gen_24>": 32026,
170
+ "<gen_250>": 32252,
171
+ "<gen_251>": 32253,
172
+ "<gen_252>": 32254,
173
+ "<gen_253>": 32255,
174
+ "<gen_254>": 32256,
175
+ "<gen_255>": 32257,
176
+ "<gen_256>": 32258,
177
+ "<gen_25>": 32027,
178
+ "<gen_26>": 32028,
179
+ "<gen_27>": 32029,
180
+ "<gen_28>": 32030,
181
+ "<gen_29>": 32031,
182
+ "<gen_2>": 32004,
183
+ "<gen_30>": 32032,
184
+ "<gen_31>": 32033,
185
+ "<gen_32>": 32034,
186
+ "<gen_33>": 32035,
187
+ "<gen_34>": 32036,
188
+ "<gen_35>": 32037,
189
+ "<gen_36>": 32038,
190
+ "<gen_37>": 32039,
191
+ "<gen_38>": 32040,
192
+ "<gen_39>": 32041,
193
+ "<gen_3>": 32005,
194
+ "<gen_40>": 32042,
195
+ "<gen_41>": 32043,
196
+ "<gen_42>": 32044,
197
+ "<gen_43>": 32045,
198
+ "<gen_44>": 32046,
199
+ "<gen_45>": 32047,
200
+ "<gen_46>": 32048,
201
+ "<gen_47>": 32049,
202
+ "<gen_48>": 32050,
203
+ "<gen_49>": 32051,
204
+ "<gen_4>": 32006,
205
+ "<gen_50>": 32052,
206
+ "<gen_51>": 32053,
207
+ "<gen_52>": 32054,
208
+ "<gen_53>": 32055,
209
+ "<gen_54>": 32056,
210
+ "<gen_55>": 32057,
211
+ "<gen_56>": 32058,
212
+ "<gen_57>": 32059,
213
+ "<gen_58>": 32060,
214
+ "<gen_59>": 32061,
215
+ "<gen_5>": 32007,
216
+ "<gen_60>": 32062,
217
+ "<gen_61>": 32063,
218
+ "<gen_62>": 32064,
219
+ "<gen_63>": 32065,
220
+ "<gen_64>": 32066,
221
+ "<gen_65>": 32067,
222
+ "<gen_66>": 32068,
223
+ "<gen_67>": 32069,
224
+ "<gen_68>": 32070,
225
+ "<gen_69>": 32071,
226
+ "<gen_6>": 32008,
227
+ "<gen_70>": 32072,
228
+ "<gen_71>": 32073,
229
+ "<gen_72>": 32074,
230
+ "<gen_73>": 32075,
231
+ "<gen_74>": 32076,
232
+ "<gen_75>": 32077,
233
+ "<gen_76>": 32078,
234
+ "<gen_77>": 32079,
235
+ "<gen_78>": 32080,
236
+ "<gen_79>": 32081,
237
+ "<gen_7>": 32009,
238
+ "<gen_80>": 32082,
239
+ "<gen_81>": 32083,
240
+ "<gen_82>": 32084,
241
+ "<gen_83>": 32085,
242
+ "<gen_84>": 32086,
243
+ "<gen_85>": 32087,
244
+ "<gen_86>": 32088,
245
+ "<gen_87>": 32089,
246
+ "<gen_88>": 32090,
247
+ "<gen_89>": 32091,
248
+ "<gen_8>": 32010,
249
+ "<gen_90>": 32092,
250
+ "<gen_91>": 32093,
251
+ "<gen_92>": 32094,
252
+ "<gen_93>": 32095,
253
+ "<gen_94>": 32096,
254
+ "<gen_95>": 32097,
255
+ "<gen_96>": 32098,
256
+ "<gen_97>": 32099,
257
+ "<gen_98>": 32100,
258
+ "<gen_99>": 32101,
259
+ "<gen_9>": 32011,
260
+ "<im_end>": 32260,
261
+ "<im_start>": 32259,
262
+ "<region>": 32001
263
+ }
config.json ADDED
@@ -0,0 +1,52 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/data/huggingface/llava-v1.5-7b",
3
+ "architectures": [
4
+ "LISAForCausalLM"
5
+ ],
6
+ "bos_token_id": 1,
7
+ "eos_token_id": 2,
8
+ "freeze_mm_mlp_adapter": true,
9
+ "freeze_mm_vision_resampler": false,
10
+ "hidden_act": "silu",
11
+ "hidden_size": 4096,
12
+ "image_aspect_ratio": "square",
13
+ "image_grid_pinpoints": null,
14
+ "initializer_range": 0.02,
15
+ "intermediate_size": 11008,
16
+ "max_length": 4096,
17
+ "max_position_embeddings": 4096,
18
+ "max_sample_point": 512,
19
+ "mm_hidden_size": 1024,
20
+ "mm_projector_type": "mlp2x_gelu",
21
+ "mm_resampler_type": null,
22
+ "mm_use_im_patch_token": false,
23
+ "mm_use_im_start_end": true,
24
+ "mm_vision_select_feature": "patch",
25
+ "mm_vision_select_layer": -2,
26
+ "mm_vision_tower": "/data/huggingface/clip-vit-large-patch14-336",
27
+ "model_type": "mobius",
28
+ "num_attention_heads": 32,
29
+ "num_hidden_layers": 32,
30
+ "num_key_value_heads": 32,
31
+ "out_dim": 768,
32
+ "pad_token_id": 0,
33
+ "pretrain_mm_mlp_adapter": null,
34
+ "pretraining_tp": 1,
35
+ "region_fea_adapter": false,
36
+ "region_geo_sampler": false,
37
+ "rms_norm_eps": 1e-05,
38
+ "rope_scaling": null,
39
+ "sampler_pooler_mode": "max",
40
+ "tie_word_embeddings": false,
41
+ "torch_dtype": "bfloat16",
42
+ "train_mask_decoder": false,
43
+ "train_prompt_encoder": true,
44
+ "transformers_version": "4.31.0",
45
+ "tune_mm_mlp_adapter": false,
46
+ "tune_mm_vision_resampler": false,
47
+ "unfreeze_mm_vision_tower": false,
48
+ "use_cache": false,
49
+ "use_mm_proj": true,
50
+ "vision_tower": "/data/huggingface/clip-vit-large-patch14-336",
51
+ "vocab_size": 32261
52
+ }
generation_config.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token_id": 1,
3
+ "conv_type": "llava_v1",
4
+ "eos_token_id": 2,
5
+ "imis_sam_checkpoint": "/data/huggingface/IMISNet-B.pth",
6
+ "local_rank": 0,
7
+ "lora_alpha": 16,
8
+ "lora_dropout": 0.05,
9
+ "lora_r": 8,
10
+ "lora_target_modules": "q_proj,v_proj,gate_proj,up_proj,down_proj",
11
+ "max_length": 4096,
12
+ "model_max_length": 2048,
13
+ "out_dim": 768,
14
+ "pad_token_id": 0,
15
+ "precision": "bf16",
16
+ "pretrain_sam": null,
17
+ "region_fea_adapter": false,
18
+ "sam_img_size": 1024,
19
+ "save_path": "/data/checkpoints/imis-stage4-loop-alllong-bs48-3e-5-5e-5-trainfcs-gradaccu5-vlmearlystop70-60/",
20
+ "seg_token_idx": 32000,
21
+ "sft_modules": "lm_head,embed_tokens,input_layernorm,post_attention_layernorm,mm_projector",
22
+ "train_mask_decoder": false,
23
+ "transformers_version": "4.31.0",
24
+ "use_mm_start_end": true,
25
+ "version": "/data/huggingface/llava-v1.5-7b",
26
+ "vis_save_path": "./vis_output",
27
+ "vision_pretrained": "/data/huggingface/sam-med2d_b.pth",
28
+ "vision_tower": "/data/huggingface/clip-vit-large-patch14-336",
29
+ "weight": "/data/IMIS_runs/imis-stage4-loop-alllong-bs48-3e-5-5e-5-trainfcs-gradaccu5-vlmearlystop70/ckpt_model_60/global_step60/mp_rank_00_model_states.pt"
30
+ }
pytorch_model-00001-of-00002.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4c4bfac40f7a4b5f4023f130fecca2bdc2874bbe5cf10bf1b4c43ce08f2abbd3
3
+ size 9978773157
pytorch_model-00002-of-00002.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:52d34490aa3d2f7c5b8cb79b8dc1626ccf297df77a3d6397843e38aa12b000d9
3
+ size 4572547490
pytorch_model.bin.index.json ADDED
The diff for this file is too large to render. See raw diff
 
special_tokens_map.json ADDED
@@ -0,0 +1,24 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "eos_token": {
10
+ "content": "</s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": "<unk>",
17
+ "unk_token": {
18
+ "content": "<unk>",
19
+ "lstrip": false,
20
+ "normalized": false,
21
+ "rstrip": false,
22
+ "single_word": false
23
+ }
24
+ }
tokenizer.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9e556afd44213b6bd1be2b850ebbbd98f5481437a8021afaf58ee7fb1818d347
3
+ size 499723
tokenizer_config.json ADDED
@@ -0,0 +1,35 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_bos_token": true,
3
+ "add_eos_token": false,
4
+ "bos_token": {
5
+ "__type": "AddedToken",
6
+ "content": "<s>",
7
+ "lstrip": false,
8
+ "normalized": false,
9
+ "rstrip": false,
10
+ "single_word": false
11
+ },
12
+ "clean_up_tokenization_spaces": false,
13
+ "eos_token": {
14
+ "__type": "AddedToken",
15
+ "content": "</s>",
16
+ "lstrip": false,
17
+ "normalized": false,
18
+ "rstrip": false,
19
+ "single_word": false
20
+ },
21
+ "legacy": false,
22
+ "model_max_length": 2048,
23
+ "pad_token": null,
24
+ "padding_side": "right",
25
+ "sp_model_kwargs": {},
26
+ "tokenizer_class": "LlamaTokenizer",
27
+ "unk_token": {
28
+ "__type": "AddedToken",
29
+ "content": "<unk>",
30
+ "lstrip": false,
31
+ "normalized": false,
32
+ "rstrip": false,
33
+ "single_word": false
34
+ }
35
+ }