| { |
| "source": "/home/users/jeesup/svd_safety/assets/models/Llama-2-7b-chat-hf", |
| "upstream": "AIoT-MLSys-Lab/SVD-LLM", |
| "stage": "finetuned", |
| "ratio_removed": 0.3, |
| "internal_ratio_kept": 0.7, |
| "from_pt": "/home/users/jeesup/svd_safety/results/svdllm_full/llama2_7b_chat_remove_30_seed42/finetune_v/merge.pt", |
| "mean_rel_err": 0.4730055419994252, |
| "max_rel_err": 1.5126593112945557, |
| "param_fraction": 0.6997563653659327, |
| "ranks": { |
| "0.q_proj": 1433, |
| "0.k_proj": 1433, |
| "0.v_proj": 1433, |
| "0.o_proj": 1433, |
| "0.gate_proj": 2089, |
| "0.up_proj": 2089, |
| "0.down_proj": 2089, |
| "1.q_proj": 1433, |
| "1.k_proj": 1433, |
| "1.v_proj": 1433, |
| "1.o_proj": 1433, |
| "1.gate_proj": 2089, |
| "1.up_proj": 2089, |
| "1.down_proj": 2089, |
| "2.q_proj": 1433, |
| "2.k_proj": 1433, |
| "2.v_proj": 1433, |
| "2.o_proj": 1433, |
| "2.gate_proj": 2089, |
| "2.up_proj": 2089, |
| "2.down_proj": 2089, |
| "3.q_proj": 1433, |
| "3.k_proj": 1433, |
| "3.v_proj": 1433, |
| "3.o_proj": 1433, |
| "3.gate_proj": 2089, |
| "3.up_proj": 2089, |
| "3.down_proj": 2089, |
| "4.q_proj": 1433, |
| "4.k_proj": 1433, |
| "4.v_proj": 1433, |
| "4.o_proj": 1433, |
| "4.gate_proj": 2089, |
| "4.up_proj": 2089, |
| "4.down_proj": 2089, |
| "5.q_proj": 1433, |
| "5.k_proj": 1433, |
| "5.v_proj": 1433, |
| "5.o_proj": 1433, |
| "5.gate_proj": 2089, |
| "5.up_proj": 2089, |
| "5.down_proj": 2089, |
| "6.q_proj": 1433, |
| "6.k_proj": 1433, |
| "6.v_proj": 1433, |
| "6.o_proj": 1433, |
| "6.gate_proj": 2089, |
| "6.up_proj": 2089, |
| "6.down_proj": 2089, |
| "7.q_proj": 1433, |
| "7.k_proj": 1433, |
| "7.v_proj": 1433, |
| "7.o_proj": 1433, |
| "7.gate_proj": 2089, |
| "7.up_proj": 2089, |
| "7.down_proj": 2089, |
| "8.q_proj": 1433, |
| "8.k_proj": 1433, |
| "8.v_proj": 1433, |
| "8.o_proj": 1433, |
| "8.gate_proj": 2089, |
| "8.up_proj": 2089, |
| "8.down_proj": 2089, |
| "9.q_proj": 1433, |
| "9.k_proj": 1433, |
| "9.v_proj": 1433, |
| "9.o_proj": 1433, |
| "9.gate_proj": 2089, |
| "9.up_proj": 2089, |
| "9.down_proj": 2089, |
| "10.q_proj": 1433, |
| "10.k_proj": 1433, |
| "10.v_proj": 1433, |
| "10.o_proj": 1433, |
| "10.gate_proj": 2089, |
| "10.up_proj": 2089, |
| "10.down_proj": 2089, |
| "11.q_proj": 1433, |
| "11.k_proj": 1433, |
| "11.v_proj": 1433, |
| "11.o_proj": 1433, |
| "11.gate_proj": 2089, |
| "11.up_proj": 2089, |
| "11.down_proj": 2089, |
| "12.q_proj": 1433, |
| "12.k_proj": 1433, |
| "12.v_proj": 1433, |
| "12.o_proj": 1433, |
| "12.gate_proj": 2089, |
| "12.up_proj": 2089, |
| "12.down_proj": 2089, |
| "13.q_proj": 1433, |
| "13.k_proj": 1433, |
| "13.v_proj": 1433, |
| "13.o_proj": 1433, |
| "13.gate_proj": 2089, |
| "13.up_proj": 2089, |
| "13.down_proj": 2089, |
| "14.q_proj": 1433, |
| "14.k_proj": 1433, |
| "14.v_proj": 1433, |
| "14.o_proj": 1433, |
| "14.gate_proj": 2089, |
| "14.up_proj": 2089, |
| "14.down_proj": 2089, |
| "15.q_proj": 1433, |
| "15.k_proj": 1433, |
| "15.v_proj": 1433, |
| "15.o_proj": 1433, |
| "15.gate_proj": 2089, |
| "15.up_proj": 2089, |
| "15.down_proj": 2089, |
| "16.q_proj": 1433, |
| "16.k_proj": 1433, |
| "16.v_proj": 1433, |
| "16.o_proj": 1433, |
| "16.gate_proj": 2089, |
| "16.up_proj": 2089, |
| "16.down_proj": 2089, |
| "17.q_proj": 1433, |
| "17.k_proj": 1433, |
| "17.v_proj": 1433, |
| "17.o_proj": 1433, |
| "17.gate_proj": 2089, |
| "17.up_proj": 2089, |
| "17.down_proj": 2089, |
| "18.q_proj": 1433, |
| "18.k_proj": 1433, |
| "18.v_proj": 1433, |
| "18.o_proj": 1433, |
| "18.gate_proj": 2089, |
| "18.up_proj": 2089, |
| "18.down_proj": 2089, |
| "19.q_proj": 1433, |
| "19.k_proj": 1433, |
| "19.v_proj": 1433, |
| "19.o_proj": 1433, |
| "19.gate_proj": 2089, |
| "19.up_proj": 2089, |
| "19.down_proj": 2089, |
| "20.q_proj": 1433, |
| "20.k_proj": 1433, |
| "20.v_proj": 1433, |
| "20.o_proj": 1433, |
| "20.gate_proj": 2089, |
| "20.up_proj": 2089, |
| "20.down_proj": 2089, |
| "21.q_proj": 1433, |
| "21.k_proj": 1433, |
| "21.v_proj": 1433, |
| "21.o_proj": 1433, |
| "21.gate_proj": 2089, |
| "21.up_proj": 2089, |
| "21.down_proj": 2089, |
| "22.q_proj": 1433, |
| "22.k_proj": 1433, |
| "22.v_proj": 1433, |
| "22.o_proj": 1433, |
| "22.gate_proj": 2089, |
| "22.up_proj": 2089, |
| "22.down_proj": 2089, |
| "23.q_proj": 1433, |
| "23.k_proj": 1433, |
| "23.v_proj": 1433, |
| "23.o_proj": 1433, |
| "23.gate_proj": 2089, |
| "23.up_proj": 2089, |
| "23.down_proj": 2089, |
| "24.q_proj": 1433, |
| "24.k_proj": 1433, |
| "24.v_proj": 1433, |
| "24.o_proj": 1433, |
| "24.gate_proj": 2089, |
| "24.up_proj": 2089, |
| "24.down_proj": 2089, |
| "25.q_proj": 1433, |
| "25.k_proj": 1433, |
| "25.v_proj": 1433, |
| "25.o_proj": 1433, |
| "25.gate_proj": 2089, |
| "25.up_proj": 2089, |
| "25.down_proj": 2089, |
| "26.q_proj": 1433, |
| "26.k_proj": 1433, |
| "26.v_proj": 1433, |
| "26.o_proj": 1433, |
| "26.gate_proj": 2089, |
| "26.up_proj": 2089, |
| "26.down_proj": 2089, |
| "27.q_proj": 1433, |
| "27.k_proj": 1433, |
| "27.v_proj": 1433, |
| "27.o_proj": 1433, |
| "27.gate_proj": 2089, |
| "27.up_proj": 2089, |
| "27.down_proj": 2089, |
| "28.q_proj": 1433, |
| "28.k_proj": 1433, |
| "28.v_proj": 1433, |
| "28.o_proj": 1433, |
| "28.gate_proj": 2089, |
| "28.up_proj": 2089, |
| "28.down_proj": 2089, |
| "29.q_proj": 1433, |
| "29.k_proj": 1433, |
| "29.v_proj": 1433, |
| "29.o_proj": 1433, |
| "29.gate_proj": 2089, |
| "29.up_proj": 2089, |
| "29.down_proj": 2089, |
| "30.q_proj": 1433, |
| "30.k_proj": 1433, |
| "30.v_proj": 1433, |
| "30.o_proj": 1433, |
| "30.gate_proj": 2089, |
| "30.up_proj": 2089, |
| "30.down_proj": 2089, |
| "31.q_proj": 1433, |
| "31.k_proj": 1433, |
| "31.v_proj": 1433, |
| "31.o_proj": 1433, |
| "31.gate_proj": 2089, |
| "31.up_proj": 2089, |
| "31.down_proj": 2089 |
| }, |
| "rel_err": { |
| "0.q_proj": 0.2638789415359497, |
| "0.k_proj": 0.24428915977478027, |
| "0.v_proj": 0.3230976462364197, |
| "0.o_proj": 0.32055002450942993, |
| "0.gate_proj": 0.3934003710746765, |
| "0.up_proj": 0.40384721755981445, |
| "0.down_proj": 0.46913155913352966, |
| "1.q_proj": 0.12744243443012238, |
| "1.k_proj": 0.10619036853313446, |
| "1.v_proj": 0.4350556433200836, |
| "1.o_proj": 0.3586537539958954, |
| "1.gate_proj": 0.3726191222667694, |
| "1.up_proj": 0.421332985162735, |
| "1.down_proj": 0.5195378661155701, |
| "2.q_proj": 1.5126593112945557, |
| "2.k_proj": 1.1596426963806152, |
| "2.v_proj": 0.5593438744544983, |
| "2.o_proj": 0.5160764455795288, |
| "2.gate_proj": 0.43808260560035706, |
| "2.up_proj": 0.4702407121658325, |
| "2.down_proj": 0.5171810388565063, |
| "3.q_proj": 0.3470538556575775, |
| "3.k_proj": 0.3458937406539917, |
| "3.v_proj": 0.48410987854003906, |
| "3.o_proj": 0.5081279277801514, |
| "3.gate_proj": 0.4904467761516571, |
| "3.up_proj": 0.5103293061256409, |
| "3.down_proj": 0.48427608609199524, |
| "4.q_proj": 0.33870506286621094, |
| "4.k_proj": 0.34127670526504517, |
| "4.v_proj": 0.48137059807777405, |
| "4.o_proj": 0.5115706324577332, |
| "4.gate_proj": 0.49196216464042664, |
| "4.up_proj": 0.5171425938606262, |
| "4.down_proj": 0.4882524013519287, |
| "5.q_proj": 0.3578092157840729, |
| "5.k_proj": 0.39306017756462097, |
| "5.v_proj": 0.48500555753707886, |
| "5.o_proj": 0.5174497961997986, |
| "5.gate_proj": 0.4884851276874542, |
| "5.up_proj": 0.5185422301292419, |
| "5.down_proj": 0.48009902238845825, |
| "6.q_proj": 0.33896493911743164, |
| "6.k_proj": 0.3450828790664673, |
| "6.v_proj": 0.4691804051399231, |
| "6.o_proj": 0.4856448769569397, |
| "6.gate_proj": 0.4831441342830658, |
| "6.up_proj": 0.5191494226455688, |
| "6.down_proj": 0.47933968901634216, |
| "7.q_proj": 0.3439261317253113, |
| "7.k_proj": 0.35036954283714294, |
| "7.v_proj": 0.4616941511631012, |
| "7.o_proj": 0.5028979182243347, |
| "7.gate_proj": 0.4806528687477112, |
| "7.up_proj": 0.5192749500274658, |
| "7.down_proj": 0.47329553961753845, |
| "8.q_proj": 0.35282039642333984, |
| "8.k_proj": 0.36465984582901, |
| "8.v_proj": 0.4491901099681854, |
| "8.o_proj": 0.5003641247749329, |
| "8.gate_proj": 0.47779229283332825, |
| "8.up_proj": 0.514290988445282, |
| "8.down_proj": 0.46873506903648376, |
| "9.q_proj": 0.3753316402435303, |
| "9.k_proj": 0.37813398241996765, |
| "9.v_proj": 0.4470948576927185, |
| "9.o_proj": 0.5032142996788025, |
| "9.gate_proj": 0.4744439423084259, |
| "9.up_proj": 0.5091663002967834, |
| "9.down_proj": 0.46805188059806824, |
| "10.q_proj": 0.3480997681617737, |
| "10.k_proj": 0.3585994243621826, |
| "10.v_proj": 0.4421290159225464, |
| "10.o_proj": 0.46419933438301086, |
| "10.gate_proj": 0.46966490149497986, |
| "10.up_proj": 0.5049556493759155, |
| "10.down_proj": 0.46466192603111267, |
| "11.q_proj": 0.5040561556816101, |
| "11.k_proj": 0.4372955858707428, |
| "11.v_proj": 0.46092310547828674, |
| "11.o_proj": 0.45416173338890076, |
| "11.gate_proj": 0.4698515832424164, |
| "11.up_proj": 0.5050870776176453, |
| "11.down_proj": 0.47095024585723877, |
| "12.q_proj": 0.3648054301738739, |
| "12.k_proj": 0.3648250699043274, |
| "12.v_proj": 0.44569331407546997, |
| "12.o_proj": 0.4935523271560669, |
| "12.gate_proj": 0.47371482849121094, |
| "12.up_proj": 0.5056821703910828, |
| "12.down_proj": 0.4707104563713074, |
| "13.q_proj": 0.3712807595729828, |
| "13.k_proj": 0.38730093836784363, |
| "13.v_proj": 0.4723396897315979, |
| "13.o_proj": 0.4840855300426483, |
| "13.gate_proj": 0.47660788893699646, |
| "13.up_proj": 0.5085921287536621, |
| "13.down_proj": 0.48243236541748047, |
| "14.q_proj": 0.35595130920410156, |
| "14.k_proj": 0.3595927059650421, |
| "14.v_proj": 0.46564677357673645, |
| "14.o_proj": 0.4814101755619049, |
| "14.gate_proj": 0.4763757288455963, |
| "14.up_proj": 0.5075187087059021, |
| "14.down_proj": 0.48406943678855896, |
| "15.q_proj": 0.3731783330440521, |
| "15.k_proj": 0.3758021593093872, |
| "15.v_proj": 0.47111350297927856, |
| "15.o_proj": 0.48978739976882935, |
| "15.gate_proj": 0.4806150794029236, |
| "15.up_proj": 0.5115954875946045, |
| "15.down_proj": 0.4970822334289551, |
| "16.q_proj": 0.3705540895462036, |
| "16.k_proj": 0.37459397315979004, |
| "16.v_proj": 0.49725541472435, |
| "16.o_proj": 0.5177887082099915, |
| "16.gate_proj": 0.4796677231788635, |
| "16.up_proj": 0.5090513229370117, |
| "16.down_proj": 0.5091651082038879, |
| "17.q_proj": 0.40841779112815857, |
| "17.k_proj": 0.4066918194293976, |
| "17.v_proj": 0.5115513801574707, |
| "17.o_proj": 0.5279818773269653, |
| "17.gate_proj": 0.48257580399513245, |
| "17.up_proj": 0.5097872018814087, |
| "17.down_proj": 0.5066430568695068, |
| "18.q_proj": 0.43102189898490906, |
| "18.k_proj": 0.43672242760658264, |
| "18.v_proj": 0.5175670385360718, |
| "18.o_proj": 0.555429995059967, |
| "18.gate_proj": 0.49074050784111023, |
| "18.up_proj": 0.5160115361213684, |
| "18.down_proj": 0.5070920586585999, |
| "19.q_proj": 0.41574573516845703, |
| "19.k_proj": 0.41305169463157654, |
| "19.v_proj": 0.5032801628112793, |
| "19.o_proj": 0.5431704521179199, |
| "19.gate_proj": 0.494171142578125, |
| "19.up_proj": 0.5165461897850037, |
| "19.down_proj": 0.5072869658470154, |
| "20.q_proj": 0.40833142399787903, |
| "20.k_proj": 0.40923988819122314, |
| "20.v_proj": 0.5155133008956909, |
| "20.o_proj": 0.5440360307693481, |
| "20.gate_proj": 0.4924008846282959, |
| "20.up_proj": 0.5139086842536926, |
| "20.down_proj": 0.5174738764762878, |
| "21.q_proj": 0.42123833298683167, |
| "21.k_proj": 0.42304572463035583, |
| "21.v_proj": 0.510250985622406, |
| "21.o_proj": 0.5582568049430847, |
| "21.gate_proj": 0.4935862123966217, |
| "21.up_proj": 0.5134307146072388, |
| "21.down_proj": 0.5133378505706787, |
| "22.q_proj": 0.43094196915626526, |
| "22.k_proj": 0.43492409586906433, |
| "22.v_proj": 0.5210184454917908, |
| "22.o_proj": 0.5554924607276917, |
| "22.gate_proj": 0.49326834082603455, |
| "22.up_proj": 0.5126309990882874, |
| "22.down_proj": 0.5109620094299316, |
| "23.q_proj": 0.46697673201560974, |
| "23.k_proj": 0.4631512761116028, |
| "23.v_proj": 0.5204659104347229, |
| "23.o_proj": 0.5463399887084961, |
| "23.gate_proj": 0.4969041645526886, |
| "23.up_proj": 0.5140611529350281, |
| "23.down_proj": 0.5036541223526001, |
| "24.q_proj": 0.4103415310382843, |
| "24.k_proj": 0.4143800437450409, |
| "24.v_proj": 0.513566792011261, |
| "24.o_proj": 0.551834225654602, |
| "24.gate_proj": 0.49717947840690613, |
| "24.up_proj": 0.5147280693054199, |
| "24.down_proj": 0.497147798538208, |
| "25.q_proj": 0.4564190208911896, |
| "25.k_proj": 0.4625423550605774, |
| "25.v_proj": 0.5208844542503357, |
| "25.o_proj": 0.5451972484588623, |
| "25.gate_proj": 0.5002732276916504, |
| "25.up_proj": 0.5169780850410461, |
| "25.down_proj": 0.4910596013069153, |
| "26.q_proj": 0.4226527214050293, |
| "26.k_proj": 0.43092188239097595, |
| "26.v_proj": 0.5104947090148926, |
| "26.o_proj": 0.570036768913269, |
| "26.gate_proj": 0.5017056465148926, |
| "26.up_proj": 0.5187948346138, |
| "26.down_proj": 0.48979616165161133, |
| "27.q_proj": 0.46921342611312866, |
| "27.k_proj": 0.4772071838378906, |
| "27.v_proj": 0.5283357501029968, |
| "27.o_proj": 0.5468299984931946, |
| "27.gate_proj": 0.5042707920074463, |
| "27.up_proj": 0.5206716060638428, |
| "27.down_proj": 0.48872560262680054, |
| "28.q_proj": 0.4515182673931122, |
| "28.k_proj": 0.46281927824020386, |
| "28.v_proj": 0.5250551700592041, |
| "28.o_proj": 0.5440265536308289, |
| "28.gate_proj": 0.5045785903930664, |
| "28.up_proj": 0.5195929408073425, |
| "28.down_proj": 0.49704694747924805, |
| "29.q_proj": 0.4215550720691681, |
| "29.k_proj": 0.4286504089832306, |
| "29.v_proj": 0.5170712471008301, |
| "29.o_proj": 0.5458757281303406, |
| "29.gate_proj": 0.5034677982330322, |
| "29.up_proj": 0.5155128836631775, |
| "29.down_proj": 0.504467785358429, |
| "30.q_proj": 0.45243164896965027, |
| "30.k_proj": 0.45975393056869507, |
| "30.v_proj": 0.5304623246192932, |
| "30.o_proj": 0.5538689494132996, |
| "30.gate_proj": 0.49804413318634033, |
| "30.up_proj": 0.5037949681282043, |
| "30.down_proj": 0.51221764087677, |
| "31.q_proj": 0.3994641900062561, |
| "31.k_proj": 0.4071868658065796, |
| "31.v_proj": 0.5113434791564941, |
| "31.o_proj": 0.5228148698806763, |
| "31.gate_proj": 0.4881819486618042, |
| "31.up_proj": 0.48963794112205505, |
| "31.down_proj": 0.5110781192779541 |
| } |
| } |
