{ "ratio_removed": 0.4, "rule": "r = int(m*n*(1-ratio_removed)/(m+n)), keep components 0..r-1 of the basis", "ranks": { "0.q_proj": 1228, "0.k_proj": 1228, "0.v_proj": 1228, "0.o_proj": 1228, "0.gate_proj": 1791, "0.up_proj": 1791, "0.down_proj": 1791, "1.q_proj": 1228, "1.k_proj": 1228, "1.v_proj": 1228, "1.o_proj": 1228, "1.gate_proj": 1791, "1.up_proj": 1791, "1.down_proj": 1791, "2.q_proj": 1228, "2.k_proj": 1228, "2.v_proj": 1228, "2.o_proj": 1228, "2.gate_proj": 1791, "2.up_proj": 1791, "2.down_proj": 1791, "3.q_proj": 1228, "3.k_proj": 1228, "3.v_proj": 1228, "3.o_proj": 1228, "3.gate_proj": 1791, "3.up_proj": 1791, "3.down_proj": 1791, "4.q_proj": 1228, "4.k_proj": 1228, "4.v_proj": 1228, "4.o_proj": 1228, "4.gate_proj": 1791, "4.up_proj": 1791, "4.down_proj": 1791, "5.q_proj": 1228, "5.k_proj": 1228, "5.v_proj": 1228, "5.o_proj": 1228, "5.gate_proj": 1791, "5.up_proj": 1791, "5.down_proj": 1791, "6.q_proj": 1228, "6.k_proj": 1228, "6.v_proj": 1228, "6.o_proj": 1228, "6.gate_proj": 1791, "6.up_proj": 1791, "6.down_proj": 1791, "7.q_proj": 1228, "7.k_proj": 1228, "7.v_proj": 1228, "7.o_proj": 1228, "7.gate_proj": 1791, "7.up_proj": 1791, "7.down_proj": 1791, "8.q_proj": 1228, "8.k_proj": 1228, "8.v_proj": 1228, "8.o_proj": 1228, "8.gate_proj": 1791, "8.up_proj": 1791, "8.down_proj": 1791, "9.q_proj": 1228, "9.k_proj": 1228, "9.v_proj": 1228, "9.o_proj": 1228, "9.gate_proj": 1791, "9.up_proj": 1791, "9.down_proj": 1791, "10.q_proj": 1228, "10.k_proj": 1228, "10.v_proj": 1228, "10.o_proj": 1228, "10.gate_proj": 1791, "10.up_proj": 1791, "10.down_proj": 1791, "11.q_proj": 1228, "11.k_proj": 1228, "11.v_proj": 1228, "11.o_proj": 1228, "11.gate_proj": 1791, "11.up_proj": 1791, "11.down_proj": 1791, "12.q_proj": 1228, "12.k_proj": 1228, "12.v_proj": 1228, "12.o_proj": 1228, "12.gate_proj": 1791, "12.up_proj": 1791, "12.down_proj": 1791, "13.q_proj": 1228, "13.k_proj": 1228, "13.v_proj": 1228, "13.o_proj": 1228, "13.gate_proj": 1791, "13.up_proj": 1791, "13.down_proj": 1791, "14.q_proj": 1228, "14.k_proj": 1228, "14.v_proj": 1228, "14.o_proj": 1228, "14.gate_proj": 1791, "14.up_proj": 1791, "14.down_proj": 1791, "15.q_proj": 1228, "15.k_proj": 1228, "15.v_proj": 1228, "15.o_proj": 1228, "15.gate_proj": 1791, "15.up_proj": 1791, "15.down_proj": 1791, "16.q_proj": 1228, "16.k_proj": 1228, "16.v_proj": 1228, "16.o_proj": 1228, "16.gate_proj": 1791, "16.up_proj": 1791, "16.down_proj": 1791, "17.q_proj": 1228, "17.k_proj": 1228, "17.v_proj": 1228, "17.o_proj": 1228, "17.gate_proj": 1791, "17.up_proj": 1791, "17.down_proj": 1791, "18.q_proj": 1228, "18.k_proj": 1228, "18.v_proj": 1228, "18.o_proj": 1228, "18.gate_proj": 1791, "18.up_proj": 1791, "18.down_proj": 1791, "19.q_proj": 1228, "19.k_proj": 1228, "19.v_proj": 1228, "19.o_proj": 1228, "19.gate_proj": 1791, "19.up_proj": 1791, "19.down_proj": 1791, "20.q_proj": 1228, "20.k_proj": 1228, "20.v_proj": 1228, "20.o_proj": 1228, "20.gate_proj": 1791, "20.up_proj": 1791, "20.down_proj": 1791, "21.q_proj": 1228, "21.k_proj": 1228, "21.v_proj": 1228, "21.o_proj": 1228, "21.gate_proj": 1791, "21.up_proj": 1791, "21.down_proj": 1791, "22.q_proj": 1228, "22.k_proj": 1228, "22.v_proj": 1228, "22.o_proj": 1228, "22.gate_proj": 1791, "22.up_proj": 1791, "22.down_proj": 1791, "23.q_proj": 1228, "23.k_proj": 1228, "23.v_proj": 1228, "23.o_proj": 1228, "23.gate_proj": 1791, "23.up_proj": 1791, "23.down_proj": 1791, "24.q_proj": 1228, "24.k_proj": 1228, "24.v_proj": 1228, "24.o_proj": 1228, "24.gate_proj": 1791, "24.up_proj": 1791, "24.down_proj": 1791, "25.q_proj": 1228, "25.k_proj": 1228, "25.v_proj": 1228, "25.o_proj": 1228, "25.gate_proj": 1791, "25.up_proj": 1791, "25.down_proj": 1791, "26.q_proj": 1228, "26.k_proj": 1228, "26.v_proj": 1228, "26.o_proj": 1228, "26.gate_proj": 1791, "26.up_proj": 1791, "26.down_proj": 1791, "27.q_proj": 1228, "27.k_proj": 1228, "27.v_proj": 1228, "27.o_proj": 1228, "27.gate_proj": 1791, "27.up_proj": 1791, "27.down_proj": 1791, "28.q_proj": 1228, "28.k_proj": 1228, "28.v_proj": 1228, "28.o_proj": 1228, "28.gate_proj": 1791, "28.up_proj": 1791, "28.down_proj": 1791, "29.q_proj": 1228, "29.k_proj": 1228, "29.v_proj": 1228, "29.o_proj": 1228, "29.gate_proj": 1791, "29.up_proj": 1791, "29.down_proj": 1791, "30.q_proj": 1228, "30.k_proj": 1228, "30.v_proj": 1228, "30.o_proj": 1228, "30.gate_proj": 1791, "30.up_proj": 1791, "30.down_proj": 1791, "31.q_proj": 1228, "31.k_proj": 1228, "31.v_proj": 1228, "31.o_proj": 1228, "31.gate_proj": 1791, "31.up_proj": 1791, "31.down_proj": 1791 } }