ranks/remove_50.json

{
 "ratio_removed": 0.5,
 "rule": "r = int(m*n*(1-ratio_removed)/(m+n)), keep components 0..r-1 of the basis",
 "ranks": {
  "0.q_proj": 1024,
  "0.k_proj": 1024,
  "0.v_proj": 1024,
  "0.o_proj": 1024,
  "0.gate_proj": 1492,
  "0.up_proj": 1492,
  "0.down_proj": 1492,
  "1.q_proj": 1024,
  "1.k_proj": 1024,
  "1.v_proj": 1024,
  "1.o_proj": 1024,
  "1.gate_proj": 1492,
  "1.up_proj": 1492,
  "1.down_proj": 1492,
  "2.q_proj": 1024,
  "2.k_proj": 1024,
  "2.v_proj": 1024,
  "2.o_proj": 1024,
  "2.gate_proj": 1492,
  "2.up_proj": 1492,
  "2.down_proj": 1492,
  "3.q_proj": 1024,
  "3.k_proj": 1024,
  "3.v_proj": 1024,
  "3.o_proj": 1024,
  "3.gate_proj": 1492,
  "3.up_proj": 1492,
  "3.down_proj": 1492,
  "4.q_proj": 1024,
  "4.k_proj": 1024,
  "4.v_proj": 1024,
  "4.o_proj": 1024,
  "4.gate_proj": 1492,
  "4.up_proj": 1492,
  "4.down_proj": 1492,
  "5.q_proj": 1024,
  "5.k_proj": 1024,
  "5.v_proj": 1024,
  "5.o_proj": 1024,
  "5.gate_proj": 1492,
  "5.up_proj": 1492,
  "5.down_proj": 1492,
  "6.q_proj": 1024,
  "6.k_proj": 1024,
  "6.v_proj": 1024,
  "6.o_proj": 1024,
  "6.gate_proj": 1492,
  "6.up_proj": 1492,
  "6.down_proj": 1492,
  "7.q_proj": 1024,
  "7.k_proj": 1024,
  "7.v_proj": 1024,
  "7.o_proj": 1024,
  "7.gate_proj": 1492,
  "7.up_proj": 1492,
  "7.down_proj": 1492,
  "8.q_proj": 1024,
  "8.k_proj": 1024,
  "8.v_proj": 1024,
  "8.o_proj": 1024,
  "8.gate_proj": 1492,
  "8.up_proj": 1492,
  "8.down_proj": 1492,
  "9.q_proj": 1024,
  "9.k_proj": 1024,
  "9.v_proj": 1024,
  "9.o_proj": 1024,
  "9.gate_proj": 1492,
  "9.up_proj": 1492,
  "9.down_proj": 1492,
  "10.q_proj": 1024,
  "10.k_proj": 1024,
  "10.v_proj": 1024,
  "10.o_proj": 1024,
  "10.gate_proj": 1492,
  "10.up_proj": 1492,
  "10.down_proj": 1492,
  "11.q_proj": 1024,
  "11.k_proj": 1024,
  "11.v_proj": 1024,
  "11.o_proj": 1024,
  "11.gate_proj": 1492,
  "11.up_proj": 1492,
  "11.down_proj": 1492,
  "12.q_proj": 1024,
  "12.k_proj": 1024,
  "12.v_proj": 1024,
  "12.o_proj": 1024,
  "12.gate_proj": 1492,
  "12.up_proj": 1492,
  "12.down_proj": 1492,
  "13.q_proj": 1024,
  "13.k_proj": 1024,
  "13.v_proj": 1024,
  "13.o_proj": 1024,
  "13.gate_proj": 1492,
  "13.up_proj": 1492,
  "13.down_proj": 1492,
  "14.q_proj": 1024,
  "14.k_proj": 1024,
  "14.v_proj": 1024,
  "14.o_proj": 1024,
  "14.gate_proj": 1492,
  "14.up_proj": 1492,
  "14.down_proj": 1492,
  "15.q_proj": 1024,
  "15.k_proj": 1024,
  "15.v_proj": 1024,
  "15.o_proj": 1024,
  "15.gate_proj": 1492,
  "15.up_proj": 1492,
  "15.down_proj": 1492,
  "16.q_proj": 1024,
  "16.k_proj": 1024,
  "16.v_proj": 1024,
  "16.o_proj": 1024,
  "16.gate_proj": 1492,
  "16.up_proj": 1492,
  "16.down_proj": 1492,
  "17.q_proj": 1024,
  "17.k_proj": 1024,
  "17.v_proj": 1024,
  "17.o_proj": 1024,
  "17.gate_proj": 1492,
  "17.up_proj": 1492,
  "17.down_proj": 1492,
  "18.q_proj": 1024,
  "18.k_proj": 1024,
  "18.v_proj": 1024,
  "18.o_proj": 1024,
  "18.gate_proj": 1492,
  "18.up_proj": 1492,
  "18.down_proj": 1492,
  "19.q_proj": 1024,
  "19.k_proj": 1024,
  "19.v_proj": 1024,
  "19.o_proj": 1024,
  "19.gate_proj": 1492,
  "19.up_proj": 1492,
  "19.down_proj": 1492,
  "20.q_proj": 1024,
  "20.k_proj": 1024,
  "20.v_proj": 1024,
  "20.o_proj": 1024,
  "20.gate_proj": 1492,
  "20.up_proj": 1492,
  "20.down_proj": 1492,
  "21.q_proj": 1024,
  "21.k_proj": 1024,
  "21.v_proj": 1024,
  "21.o_proj": 1024,
  "21.gate_proj": 1492,
  "21.up_proj": 1492,
  "21.down_proj": 1492,
  "22.q_proj": 1024,
  "22.k_proj": 1024,
  "22.v_proj": 1024,
  "22.o_proj": 1024,
  "22.gate_proj": 1492,
  "22.up_proj": 1492,
  "22.down_proj": 1492,
  "23.q_proj": 1024,
  "23.k_proj": 1024,
  "23.v_proj": 1024,
  "23.o_proj": 1024,
  "23.gate_proj": 1492,
  "23.up_proj": 1492,
  "23.down_proj": 1492,
  "24.q_proj": 1024,
  "24.k_proj": 1024,
  "24.v_proj": 1024,
  "24.o_proj": 1024,
  "24.gate_proj": 1492,
  "24.up_proj": 1492,
  "24.down_proj": 1492,
  "25.q_proj": 1024,
  "25.k_proj": 1024,
  "25.v_proj": 1024,
  "25.o_proj": 1024,
  "25.gate_proj": 1492,
  "25.up_proj": 1492,
  "25.down_proj": 1492,
  "26.q_proj": 1024,
  "26.k_proj": 1024,
  "26.v_proj": 1024,
  "26.o_proj": 1024,
  "26.gate_proj": 1492,
  "26.up_proj": 1492,
  "26.down_proj": 1492,
  "27.q_proj": 1024,
  "27.k_proj": 1024,
  "27.v_proj": 1024,
  "27.o_proj": 1024,
  "27.gate_proj": 1492,
  "27.up_proj": 1492,
  "27.down_proj": 1492,
  "28.q_proj": 1024,
  "28.k_proj": 1024,
  "28.v_proj": 1024,
  "28.o_proj": 1024,
  "28.gate_proj": 1492,
  "28.up_proj": 1492,
  "28.down_proj": 1492,
  "29.q_proj": 1024,
  "29.k_proj": 1024,
  "29.v_proj": 1024,
  "29.o_proj": 1024,
  "29.gate_proj": 1492,
  "29.up_proj": 1492,
  "29.down_proj": 1492,
  "30.q_proj": 1024,
  "30.k_proj": 1024,
  "30.v_proj": 1024,
  "30.o_proj": 1024,
  "30.gate_proj": 1492,
  "30.up_proj": 1492,
  "30.down_proj": 1492,
  "31.q_proj": 1024,
  "31.k_proj": 1024,
  "31.v_proj": 1024,
  "31.o_proj": 1024,
  "31.gate_proj": 1492,
  "31.up_proj": 1492,
  "31.down_proj": 1492
 }
}