🏵 gpt-fast - 高效PyTorch文本生成
🍥 简介:
gpt-fast 是一款基于 PyTorch 的极简高效 Transformer 文本生成工具,核心代码不足1000行,仅依赖 PyTorch 和 sentencepiece,无需额外复杂依赖。支持 int8/int4 量化、推测式解码、张量并行,并兼容 Nvidia 与 AMD GPU,具备极低延迟。适配 LLaMA、Mixtral 8x7B 等主流模型,适合开发者用于快速实验、定制和性能优化。该项目不做大型框架,仅作为高性能 PyTorch 推理实现的参考和起点,便于学习和二次开发。
🎈 【进入项目】
🗣 羊毛撸货线报 | 合作/投稿
🏵 Byte Latent Transformer - 字节级LLM架构
🍥 简介:
Byte Latent Transformer(BLT)是一种创新的字节级大模型架构,无需分词即可端到端处理原始字节流,极大提升了推理效率和健壮性。它通过动态分割字节为可变长度的“Patch”片段,实现按需分配算力,适应不同数据复杂度。BLT引入了新的注意力机制,增强了字节与Patch间的信息流动,并包含专用的字节序列记忆。官方代码支持大规模模型训练和推理,可直接加载权重并生成文本,适合探索高效、灵活的LLM新范式和大规模预训练研究。
🎈 【进入项目】
🗣 羊毛撸货线报 | 合作/投稿
🏵 Watermark Segmentation - 图像水印精确分割
🍥 简介:
Watermark Segmentation 是由 DiffusionDynamics.ai 和 clear.photo 开源的项目,专注于图像中水印(如图标、文字)的精确分割。该项目利用深度学习技术,结合 PyTorch 框架与合成数据增强方法,生成准确的水印区域遮罩 (mask)。其代码参考了相关领域的前沿研究,旨在提供一个简洁、可扩展的水印识别基线代码。这是实现高级水印移除(如 clear.photo 所用技术)的关键第一步,代码易于理解和修改,并支持在本地硬件上进行微调。
🍭 #图像处理 #深度学习
🎈 【进入项目】
🎯 关注频道 🤖 合作/投稿