swiglu

meta ,  paper ,  meta-ai ,  optimizing ,  small-llm ,  on-device ,  mobilellm ,  sub-billion-scale ,  layer-sharing ,  embedding-sharing ,  group-query-attention ,  swiglu ,  executorch