挖掘有趣 Github 的猫。


有事联系:https://t.me/qumao?direct
🍭 #数据处理 #AI模型训练


🏵 NeMo Curator - 多模态数据高效清洗

🍥 简介:
NeMo Curator 是 NVIDIA 推出的多模态数据预处理和整理工具,专为大模型(LLM)训练数据优化设计。它利用 GPU 加速,支持文本、图片、视频和音频等多种数据类型的去重、质量过滤、分类、语言检测、嵌入生成等任务,能从单机扩展到多节点集群。内置模块化流水线,适配主流数据源和格式,提升数据质量与处理效率,为大规模 AI 和多模态模型训练提供高效可靠的数据支撑。适用于科研、企业和自动化AI数据管道场景。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
🗣 每日羊毛线报 👈


🏵 Hugging Face AI Sheets - 无代码AI数据处理平台

🍥 简介:
Hugging Face AI Sheets 是一款开源的数据集构建与增强工具,支持通过无代码方式调用多种AI模型,实现数据的生成、处理和转换。用户可直接在网页端操作,或本地/云端部署,灵活对接 Hugging Face Hub 上的数千开源模型,亦支持自定义和本地大模型接入。系统支持简单拖拽、批量推理及自动化脚本扩展,方便快速构建高质量AI数据集,适用于数据标注、NLP、机器学习等多种场景,大幅提升数据工程效率。

🍭 #AI无代码 #数据处理


🎈 【进入项目】


🎯 关注频道 🤖 合作/投稿
 
 
Back to Top