挖掘有趣 Github 的猫。


有事联系:https://t.me/qumao?direct
🍭 #本地大模型 #推理加速


🏵 Lemonade - 本地LLM高效部署

🍥 简介:
Lemonade 是一款支持本地大语言模型(LLM)推理加速的部署工具,面向 GPU、NPU 和 CPU 硬件自动优化主流推理引擎配置。用户可通过 GUI 或命令行一键安装、拉取模型并启动内置聊天界面,亦可作为 OpenAI 兼容服务与现有应用无缝集成。支持 GGUF、ONNX 等多种模型格式和多平台(Windows、Linux、macOS),内置模型管理、性能测试和内存分析功能,极大简化本地 AI 推理环境搭建,适合开发者和企业灵活扩展 LLM 能力。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
🗣 每日羊毛线报 👈


🏵 XandAI Extension - 浏览器AI交互助手

🍥 简介:
XandAI Extension 是一款现代化 Chrome 扩展,支持与本地 Ollama LLM 模型直接交互。用户可在任意网页选取文本,通过右键菜单或独立聊天窗口即时调用 AI 进行分析、总结、翻译等多种操作。插件支持自动模型下载与管理,实时状态监控,自带高级 Markdown 渲染与代码高亮,所有数据本地处理,保障隐私安全。无需云端依赖,适合开发者与知识工作者高效利用本地大模型提升工作效率。

🍭 #Chrome扩展 #本地大模型


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿
 
 
Back to Top