🍭 #数据处理 #AI模型训练


🏵 NeMo Curator - 多模态数据高效清洗

🍥 简介：
NeMo Curator 是 NVIDIA 推出的多模态数据预处理和整理工具，专为大模型（LLM）训练数据优化设计。它利用 GPU 加速，支持文本、图片、视频和音频等多种数据类型的去重、质量过滤、分类、语言检测、嵌入生成等任务，能从单机扩展到多节点集群。内置模块化流水线，适配主流数据源和格式，提升数据质量与处理效率，为大规模 AI 和多模态模型训练提供高效可靠的数据支撑。适用于科研、企业和自动化AI数据管道场景。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿