🍭 #分布式AI #本地推理集群


🏵 exo - 家用AI分布式算力整合

🍥 简介：
exo 是一款开源分布式AI推理框架，支持将家中多种设备（如手机、平板、PC、树莓派等）统一为本地AI算力集群。exo可自动发现和组网多台设备，动态分配大模型的推理任务，实现大模型在多设备间高效协同运行。支持主流开源大模型如LLaMA、Mistral、Qwen等，兼容ChatGPT API，方便接入各类AI应用。无需复杂配置，设备平等参与，无主从架构，充分利用现有硬件，适合个人和小型团队低成本搭建私有AI推理平台。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿