parameter-efficient-moe

pytorch ,  stability-ai ,  tldr-ai ,  llama2 ,  mistral-7b ,  stable-3d ,  isambard-ai ,  rope ,  soulchat ,  mistral-7b-128k ,  tigerlab ,  parameter-efficient-moe ,  talk-llama ,  julius