挖掘有趣 Github 的猫。


有事联系:https://t.me/qumaobot
🍭 #开源项目 #大模型部署

🏵 Project Maya - 本地多模态大模型运行引擎

🍥 简介:
Project Maya 是一款高性能本地模型部署引擎,支持在 NVIDIA 或 AMD GPU(单卡至 16 卡配置)上运行 GLM-5.3-Flash、DeepSeek-V4.1-Flash 及 MiniMax-M3.1-Flash 等超大规模参数模型。该系统提供完整服务端架构、可视化控制面板、量化处理工具,并兼容 OpenAI 与 Anthropic API 接口,适用于 Linux 及 Windows 系统环境。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #大语言模型 #模型量化 #显存优化


🏵 ExVRAM Lab - 低显存运行大语言模型


🍥 简介:
ExVRAM Lab 是一个开源研究项目,旨在解决大语言模型在消费级显卡中显存不足的问题。该项目通过超低比特量化技术、显存驻留优化方案以及内存感知的运行时配置,有效降低了模型推理的硬件门槛。该工具整合了现有的开源推理技术,使配置较低的计算设备能够支持更大规模参数模型的运行,提升了模型部署的灵活性与资源利用效率。


🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #人工智能 #大模型训练 #个人助手


🏵 WeClone - 基于聊天记录的AI数字分身克隆工具

🍥 简介:
WeClone 是一款集成化解决方案,支持用户导入个人历史聊天记录,对大语言模型进行针对性微调与训练。该工具旨在通过学习用户的语言习惯、交互逻辑与思维方式,精准复刻个人表达风格。训练完成后,用户可将模型部署至聊天机器人平台,实现智能化、个性化的数字分身交互体验。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #人工智能 #大模型工具 #开发资源


🏵 LLMs-local - 本地运行大语言模型资源聚合


🍥 简介:
该项目整理了适用于本地部署大语言模型(LLM)的各类平台、开发工具及相关技术资源。内容涵盖了模型推理引擎、图形化管理界面以及部署环境配置方案,旨在帮助开发者在个人终端或本地服务器环境中高效运行、测试和集成大规模预训练模型,是进行本地化人工智能开发的重要参考库。


🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #AI工具 #本地部署 #大模型交互

🏵 Open WebUI - 自托管ChatGPT风格AI界面

🍥 简介:
Open WebUI 是一款专为本地大模型设计的自托管Web交互平台。该程序支持集成 Ollama 及兼容 OpenAI API 的模型,内置 RAG(检索增强生成)引擎、文件上传解析、实时网页搜索及多用户权限管理功能。通过 Docker 命令即可完成私有化部署,实现完全离线、自主可控的 AI 交互环境,适用于需要保护数据隐私及深度定制化服务的应用场景。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #医疗AI #大语言模型


🏵 MedLLMsPracticalGuide - 医疗大模型实践指南

🍥 简介:
本项目旨在提供医疗领域大语言模型(LLMs)的实践指导。内容涵盖LLMs在医疗场景的应用方法、技术框架及相关资源,系统性地汇集了包括概念树、数据表格与学术文章在内的专业资料,以支持医疗AI应用的开发与部署。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #大语言模型 #开发运维工具


🏵 Harbor - 一键本地LLM环境搭建

🍥 简介:
Harbor 是一款面向本地大语言模型(LLM)开发环境的集成工具,支持通过简单命令快速启动 LLM 后端、API、前端和相关服务。它基于容器化架构,提供 CLI 和配套应用,支持常见主流推理引擎和多种 Web UI,适配图像生成、语音识别、RAG 检索等多种 AI 工作流。Harbor 集成配置管理、命令历史、配置导出等功能,方便开发者灵活扩展和定制本地 AI 堆栈,极大简化 LLM 环境部署和日常运维。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
 
 
Back to Top