🍭 #JavaScript #数据可视化 #JSON工具


🏵 Jsontr.ee - JSON数据树状可视化渲染


🍥 简介：
Jsontr.ee 是一款轻量级 JavaScript 库，旨在将 JSON 数据转换为交互式 SVG 树状图。该工具支持处理数组及嵌套对象结构，通过直观的视觉呈现方式，帮助开发者清晰解析和展示复杂的 JSON 数据格式，具有良好的灵活性与易用性。


🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据隐私 #安全工具 #本地部署


🏵 PasteGuard - 敏感数据本地拦截防护程序

🍥 简介：
PasteGuard 是一款专为团队设计的隐私保护中间件。该程序支持在本地环境中运行，旨在防止敏感信息在未经处理的情况下直接发送至大模型供应商。系统能够有效拦截并过滤原始客户端数据、用户记录、系统日志、登录凭证及生产环境数据，确保数据在传输至云端模型服务前已完成脱敏处理，从而保障企业数据资产的安全性与合规性。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #人工智能 #知识管理 #数据提取


🏵 Hyper-Extract - AI驱动的非结构化文档分析工具


🍥 简介：
该程序利用人工智能技术，将复杂的文档内容转化为结构化的数据列表、关联图谱及可视化报表。它支持快速检索与预设模板功能，旨在简化信息提取流程，辅助用户在无需重构基础架构的前提下，实现高效的知识沉淀与多源文档的数据整合处理。


🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据分析 #人工智能 #Python工具

🏵 NumpyAI - 自然语言数据分析工具

🍥 简介：
NumpyAI 是一款基于 NumPy 与大型语言模型构建的数据分析工具集。该程序支持用户通过自然语言指令直接进行数据处理与统计分析，简化了复杂的数据计算流程。通过集成 LLM 的语义理解能力，系统能够自动将文本描述转化为高效的 NumPy 代码，从而提升数据科学任务的自动化水平与交互效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据分析 #前端可视化


🏵 Perspective - 大规模流式数据交互分析组件

🍥 简介：
Perspective 是一款专为大规模且动态更新的数据集设计的高性能分析与可视化组件。该工具利用 WebAssembly、Python 和 Rust 编译的高效查询引擎，支持构建高度定制化的报表、仪表盘、交互式笔记及应用程序，能够实现复杂数据的实时处理与直观展示，满足高性能数据分析需求。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据库 #备份工具 #PostgreSQL


🏵 pgBackRest - PostgreSQL高性能备份解决方案

🍥 简介：
pgBackRest 是一款专为 PostgreSQL 设计的备份与恢复工具。该程序支持多线程并行处理、增量备份、异地远程传输、数据加密以及 S3、Azure、GCS 等主流云存储集成。通过其高效的架构，可实现大规模数据库的快速备份与复杂环境下的数据恢复。目前该项目已停止维护。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据工具 #终端应用


🏵 DataTUI - 终端数据快速查看器

🍥 简介：
DataTUI是一款基于Rust和Ratatui构建的快速终端数据查看工具。它支持键盘操作，旨在高效处理数据。该工具可用于浏览CSV/TSV、Excel和SQLite文件中的数据，并提供多标签页视图、数据排序、过滤、以及通过Polars实现的SQL查询等核心功能，以满足终端数据分析需求。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #OSINT工具 #数据分析


🏵 Flowsint - 开源情报分析

🍥 简介：
Flowsint是一款开源的OSINT数据分析工具，致力于伦理调查、信息透明化及数据验证。该工具提供了一套高效方法，用于收集、处理和解读公开来源情报。它支持安全研究和风险评估，强调情报来源合法性与分析严谨性，旨在提升数据获取的准确性和可靠性。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据提取 #AI工具


🏵 LangExtract - 提取结构化数据

🍥 简介：
LangExtract 是一个免费的 Python 库。它利用 Gemini 等人工智能模型，从报告、书籍等非结构化文本中提取结构化数据，如人名、情感或药物信息。该库旨在简化数据解析过程，提高数据处理效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #AI工具 #数据处理工具 #开源项目


🏵 CocoIndex - AI数据格式转换

🍥 简介：
CocoIndex是一款快速开源的数据处理工具，其核心使用Rust，外部接口采用Python。该工具专注于将原始数据高效转换为AI模型所需的特定格式，包括向量索引和知识图谱，以支持人工智能应用的数据预处理阶段。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据抓取 #爬虫框架


🏵 Scrapy - 强大的网站数据提取工具

🍥 简介：
Scrapy 是一款强大的网站数据提取工具，免费且运行稳定。它能够高效处理复杂的爬取任务，并支持同时管理大量请求，在大规模数据抓取场景下展现出卓越的速度和效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据工具 #Python库


🏵 Pandas-datareader - 从网络源提取数据

🍥 简介：
Pandas-datareader 是一个 Python 库，用于从各种互联网数据源提取数据。该工具能够将获取的数据直接加载到 pandas DataFrame 结构中，旨在简化数据采集和预处理流程。它为开发者和数据科学家提供了一个高效、标准化的数据获取方案，便于快速集成外部数据进行分析和应用，提升工作效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #网络工具 #数据包处理


🏵 B4 - 网络包处理器，规避DPI

🍥 简介：
B4是一款专业的网络数据包处理器，主要功能是规避深度包检测（DPI）。它通过精确利用Linux内核的Netfilter框架及其队列管理机制，对网络数据包进行细粒度控制。通过优化数据包的处理路径和时序，B4能有效绕过传统DPI系统的检测与干预，提升数据传输的隐蔽性和顺畅性，为用户提供可靠的DPI规避解决方案。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据库工具 #备份工具 #开源项目


🏵 Databasus - 数据库备份

🍥 简介：
Databasus是一款免费且开源的数据库备份工具，专注于提供自助式数据库备份解决方案，尤其擅长处理PostgreSQL数据库的备份需求。该工具具备灵活的存储选项，允许用户将备份数据安全存储至Amazon S3、Google Drive、FTP等多种云端及本地存储服务。为提升运维效率，Databasus还内置了实时通知系统，支持通过Slack、Discord等平台发送备份任务的进度及完成状态通知，确保用户及时掌握数据库健康状况。

🎈 【进入项目】


🗣 活动线报 | 掘金项目

🍭 #数据处理 #数据清洗


🏵 OpenRefine - 数据清洗与整合

🍥 简介：
OpenRefine是一款基于Java的强大数据处理工具。它允许用户在本地计算机的网页浏览器中执行数据加载、分析、清洗、规范化和网络数据扩充等操作。该工具旨在提供一个安全、私密的环境，高效管理和优化数据集。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #数据处理 #开源项目 #智能代理 #数据分析工具


🏵 Datus - 数据处理智能代理

🍥 简介：
Datus是一款开源数据处理智能代理，旨在为数据系统构建可扩展的上下文。其核心理念是将数据处理范式从传统的“创建数据表和管道”转变为“为分析师和业务用户提供专门的智能代理”，以提升数据管理与利用的效率及灵活性。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #图像处理 #数据分析


🏵 Fastdup - 图像视频数据分析

🍥 简介：
Fastdup是一款高效的开源工具，专为图像与视频数据集设计。它能快速识别并优化数据集中的图像与标注问题，提升数据质量。通过减少冗余处理，有效降低数据处理成本，并展现出卓越的扩展性，适用于大规模数据分析。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #数据处理 #AI模型训练


🏵 NeMo Curator - 多模态数据高效清洗

🍥 简介：
NeMo Curator 是 NVIDIA 推出的多模态数据预处理和整理工具，专为大模型（LLM）训练数据优化设计。它利用 GPU 加速，支持文本、图片、视频和音频等多种数据类型的去重、质量过滤、分类、语言检测、嵌入生成等任务，能从单机扩展到多节点集群。内置模块化流水线，适配主流数据源和格式，提升数据质量与处理效率，为大规模 AI 和多模态模型训练提供高效可靠的数据支撑。适用于科研、企业和自动化AI数据管道场景。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿

🍭 #数据处理框架 #AI工具


🏵 CocoIndex - 高性能AI数据变换框架

🍥 简介：
CocoIndex 是一款专为 AI 场景设计的高性能数据处理与变换框架，核心引擎采用 Rust 编写，支持增量式处理和数据血缘追踪。开发者只需用简洁的数据流声明方式，即可灵活实现文本、图片、代码等多类型数据的切分、嵌入、转换和导出，适用于知识图谱构建、向量检索、文本嵌入等多种AI应用。支持本地、云端多种数据源与目标库，内置丰富算子和插件，极大提升数据处理效率与可维护性，开箱即用，适合生产环境和快速研发场景。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿