🍭 #LLM #本地部署


🏵 Awesome local LLM - 本地大模型工具集

🍥 简介：
这是一个精心整理的开源项目清单，涵盖了用于在本地环境运行大型语言模型（LLM）的各种优秀平台、工具、实践方法与参考资源。旨在为开发者和研究人员提供一套全面的解决方案，以高效部署和管理本地化LLM应用。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #云服务模拟 #本地开发 #AWS工具 #CI集成


🏵 LocalStack - 云服务本地模拟

🍥 简介：
LocalStack是一款高效的云服务模拟器，可在本地或持续集成环境中以单容器方式运行。它使开发者无需连接远程云服务，即可在本地完整运行AWS应用程序和Lambda函数。无论是测试复杂的CDK应用、Terraform配置，还是初学AWS服务，LocalStack都能大幅加速和简化测试与开发流程。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #本地大模型 #推理加速


🏵 Lemonade - 本地LLM高效部署

🍥 简介：
Lemonade 是一款支持本地大语言模型（LLM）推理加速的部署工具，面向 GPU、NPU 和 CPU 硬件自动优化主流推理引擎配置。用户可通过 GUI 或命令行一键安装、拉取模型并启动内置聊天界面，亦可作为 OpenAI 兼容服务与现有应用无缝集成。支持 GGUF、ONNX 等多种模型格式和多平台（Windows、Linux、macOS），内置模型管理、性能测试和内存分析功能，极大简化本地 AI 推理环境搭建，适合开发者和企业灵活扩展 LLM 能力。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #向量数据库 #本地AI检索


🏵 LEANN - 超轻量本地RAG系统

🍥 简介：
LEANN 是一款极致轻量化的本地向量数据库及RAG（检索增强生成）应用，主打高效存储与完全隐私。它采用独特的图结构与按需计算嵌入技术，能在不损失检索准确度的前提下，节省高达97%的存储空间。支持多种文档格式、邮件、浏览器历史、聊天记录乃至代码库的本地语义检索，数据始终保留在设备本地，无需云端依赖。LEANN还兼容主流大模型和Claude Code，具备灵活的扩展性，非常适合个人AI助手、智能知识库等隐私和效率并重的开发场景。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #分布式AI #本地推理集群


🏵 exo - 家用AI分布式算力整合

🍥 简介：
exo 是一款开源分布式AI推理框架，支持将家中多种设备（如手机、平板、PC、树莓派等）统一为本地AI算力集群。exo可自动发现和组网多台设备，动态分配大模型的推理任务，实现大模型在多设备间高效协同运行。支持主流开源大模型如LLaMA、Mistral、Qwen等，兼容ChatGPT API，方便接入各类AI应用。无需复杂配置，设备平等参与，无主从架构，充分利用现有硬件，适合个人和小型团队低成本搭建私有AI推理平台。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #本地AI助手 #隐私保护


🏵 NativeMind - 私有本地智能助手

🍥 简介：
NativeMind 是一款完全本地运行的开源AI助手浏览器扩展，专注隐私保护，无需云端依赖。它集成 Ollama 与 WebLLM，可在 Chrome、Firefox、Edge 等主流浏览器内直接调用本地大模型，实现网页内容理解、智能搜索、PDF与图片对话、多语言翻译、写作辅助等多项功能。所有数据均在本地处理，不上传服务器，保障个人信息安全。安装简单，支持模型灵活切换，适合对隐私和效率有高要求的用户和开发者，助力打造个性化AI工作流。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🗣 每日羊毛线报 👈


🏵 XandAI Extension - 浏览器AI交互助手

🍥 简介：
XandAI Extension 是一款现代化 Chrome 扩展，支持与本地 Ollama LLM 模型直接交互。用户可在任意网页选取文本，通过右键菜单或独立聊天窗口即时调用 AI 进行分析、总结、翻译等多种操作。插件支持自动模型下载与管理，实时状态监控，自带高级 Markdown 渲染与代码高亮，所有数据本地处理，保障隐私安全。无需云端依赖，适合开发者与知识工作者高效利用本地大模型提升工作效率。

🍭 #Chrome扩展 #本地大模型


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿

🗣 每日羊毛线报 👈


🏵 Dyad - 本地AI应用构建器

🍥 简介：
Dyad 是一款本地、开源的 AI 应用构建器，旨在提供快速、私密且完全受用户控制的 AI 应用开发体验。类似 Lovable、v0 或 Bolt，但 Dyad 直接在本地运行。用户可以使用自己的 AI API 密钥，避免厂商锁定。Dyad 支持跨平台运行，可在 Mac 或 Windows 上轻松部署。

🍭 #AI应用 #本地部署


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿

🗣 每日羊毛线报 👈


🏵 Clippy - 本地运行复古AI助手

🍥 简介：
Clippy 是一款致敬经典 Office 助手的桌面应用，它允许用户在本地计算机上运行多种大型语言模型 (LLM)。项目基于 Llama.cpp，支持主流 GGUF 格式模型，并内置了对 Google Gemma、Meta Llama 3 等模型的便捷一键安装。用户可以通过熟悉的复古 Clippy 界面与本地 AI 进行离线交互，无需复杂配置，同时它也为 Electron 开发者提供了本地 LLM 集成的参考实现。

🍭 #本地LLM #桌面应用


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿

0:42

Media is too big

VIEW IN TELEGRAM

🗣 每日羊毛线报 👈


🏵 LocalAI - OpenAI 本地替代方案

🍥 简介：
LocalAI 是一个免费、开源的项目，旨在提供 OpenAI、Claude 等云 AI 服务的本地化、自托管替代方案。它扮演着一个与 OpenAI API 规范兼容的“直接替换”(drop-in replacement) REST API 角色，允许开发者在本地或私有服务器上运行 AI 推理任务。其核心特点是支持在消费级硬件上运行多种 AI 模型（包括 LLM 文本生成、图像生成、音频处理等），且无需 GPU。支持 gguf、transformers 等多种模型架构，实现本地 AI 能力部署。

🍭 #本地AI #开源AI


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿