🏵 gpt-fast - 高效PyTorch文本生成
🍥 简介：
gpt-fast 是一款基于 PyTorch 的极简高效 Transformer 文本生成工具，核心代码不足1000行，仅依赖 PyTorch 和 sentencepiece，无需额外复杂依赖。支持 int8/int4 量化、推测式解码、张量并行，并兼容 Nvidia 与 AMD GPU，具备极低延迟。适配 LLaMA、Mixtral 8x7B 等主流模型，适合开发者用于快速实验、定制和性能优化。该项目不做大型框架，仅作为高性能 PyTorch 推理实现的参考和起点，便于学习和二次开发。
🎈 【进入项目】
🗣 羊毛撸货线报 | 合作/投稿
