🏵 gpt-fast - 高效PyTorch文本生成
🍥 简介:
gpt-fast 是一款基于 PyTorch 的极简高效 Transformer 文本生成工具,核心代码不足1000行,仅依赖 PyTorch 和 sentencepiece,无需额外复杂依赖。支持 int8/int4 量化、推测式解码、张量并行,并兼容 Nvidia 与 AMD GPU,具备极低延迟。适配 LLaMA、Mixtral 8x7B 等主流模型,适合开发者用于快速实验、定制和性能优化。该项目不做大型框架,仅作为高性能 PyTorch 推理实现的参考和起点,便于学习和二次开发。
🎈 【进入项目】
🗣 羊毛撸货线报 | 合作/投稿
🏵 Byte Latent Transformer - 字节级LLM架构
🍥 简介:
Byte Latent Transformer(BLT)是一种创新的字节级大模型架构,无需分词即可端到端处理原始字节流,极大提升了推理效率和健壮性。它通过动态分割字节为可变长度的“Patch”片段,实现按需分配算力,适应不同数据复杂度。BLT引入了新的注意力机制,增强了字节与Patch间的信息流动,并包含专用的字节序列记忆。官方代码支持大规模模型训练和推理,可直接加载权重并生成文本,适合探索高效、灵活的LLM新范式和大规模预训练研究。
🎈 【进入项目】
🗣 羊毛撸货线报 | 合作/投稿