挖掘有趣 Github 的猫。


有事联系:https://t.me/qumaobot
🍭 #数据处理 #格式转换


🏵 Edit Banana - 统计格式转换框架

🍥 简介:
Edit Banana 是一款专为统计数据格式转换设计的框架。它提供了一套工具和接口,能够高效地将各种统计数据格式解析并转化为可编辑的结构,便于用户进行后续的数据处理、分析与操作。该框架旨在简化数据格式转换的复杂性,提升数据处理的灵活性和效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #AI工具 #数据存储


🏵 MemU - AI记忆管理系统

🍥 简介:
MemU使AI系统能摄取对话、文档和媒体,将其转换为结构化记忆,并存储在三级文件系统中。它提供快速嵌入搜索和深度基于LLM的数据检索,支持多种数据类型以及云端或自托管部署,并配有简洁的API。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据提取 #AI工具


🏵 LangExtract - 提取结构化数据

🍥 简介:
LangExtract 是一个免费的 Python 库。它利用 Gemini 等人工智能模型,从报告、书籍等非结构化文本中提取结构化数据,如人名、情感或药物信息。该库旨在简化数据解析过程,提高数据处理效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #AI工具 #数据处理工具 #开源项目


🏵 CocoIndex - AI数据格式转换

🍥 简介:
CocoIndex是一款快速开源的数据处理工具,其核心使用Rust,外部接口采用Python。该工具专注于将原始数据高效转换为AI模型所需的特定格式,包括向量索引和知识图谱,以支持人工智能应用的数据预处理阶段。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据库工具 #模式迁移


🏵 Pgschema - PostgreSQL声明式模式迁移

🍥 简介:
Pgschema是一款命令行工具,专为PostgreSQL提供Terraform风格的声明式模式迁移功能。用户无需手动编写迁移文件,只需定义期望的数据库模式状态,Pgschema便能自动生成并执行相应的迁移计划。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据抓取 #爬虫框架


🏵 Scrapy - 强大的网站数据提取工具

🍥 简介:
Scrapy 是一款强大的网站数据提取工具,免费且运行稳定。它能够高效处理复杂的爬取任务,并支持同时管理大量请求,在大规模数据抓取场景下展现出卓越的速度和效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据层 #状态管理


🏵 LiveStore - 响应式SQLite数据层


🍥 简介:
LiveStore 是一个强大的应用程序数据层,利用响应式 SQLite 数据库管理数据,并实现设备间即时同步,包括离线模式。它取代了 Redux 等传统状态管理工具,支持以响应式方式查询和更新数据,通过事件溯源(event-sourcing)提供实时同步功能。


🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #备份工具 #数据安全


🏵 Kopia - 跨平台备份工具

🍥 简介:
Kopia是一款跨平台的备份工具,支持Windows、macOS和Linux系统。它提供快速增量备份、端到端加密、客户端数据压缩和去重功能。Kopia内置命令行界面(CLI)和图形用户界面(GUI),旨在高效、安全地管理用户数据备份,确保数据完整性与保密性。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #网络爬虫 #数据抓取 #开发框架


🏵 Scrapy - 网页数据抓取框架

🍥 简介:
Scrapy是一个开源的网络爬虫框架,专为从网站高效提取结构化数据而设计。它提供了一整套工具集,用于构建、部署和管理复杂的爬虫项目,实现自动化数据收集。Scrapy支持多平台运行,具备高度可扩展性,并且要求Python 3.10或更高版本作为其运行环境,以确保最佳兼容性和性能。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据工具 #Python库


🏵 Pandas-datareader - 从网络源提取数据

🍥 简介:
Pandas-datareader 是一个 Python 库,用于从各种互联网数据源提取数据。该工具能够将获取的数据直接加载到 pandas DataFrame 结构中,旨在简化数据采集和预处理流程。它为开发者和数据科学家提供了一个高效、标准化的数据获取方案,便于快速集成外部数据进行分析和应用,提升工作效率。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据验证 #TypeScript工具


🏵 Zod - TypeScript数据验证

🍥 简介:
Zod 是一个专注于 TypeScript 的数据验证库。用户通过定义数据模式(schema),可对输入数据进行解析与验证,确保获得强类型且已校验的输出结果。该库具有零外部依赖、API 不可变等特点。它体积小巧,核心包压缩后仅 2KB,支持 Node.js 及所有现代浏览器环境,并能同时兼容 TypeScript 和普通 JavaScript 项目,提供简洁高效的数据验证方案。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #密码管理 #数据安全


🏵 R-pass - 本地凭证安全管理

🍥 简介:
R-pass 是一款专为用户设计的密码管理工具,允许将凭证离线存储并完全掌控。该应用采用最先进的加密标准,确保用户数据存储的安全性和完整性。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #网络工具 #数据包处理


🏵 B4 - 网络包处理器,规避DPI

🍥 简介:
B4是一款专业的网络数据包处理器,主要功能是规避深度包检测(DPI)。它通过精确利用Linux内核的Netfilter框架及其队列管理机制,对网络数据包进行细粒度控制。通过优化数据包的处理路径和时序,B4能有效绕过传统DPI系统的检测与干预,提升数据传输的隐蔽性和顺畅性,为用户提供可靠的DPI规避解决方案。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #API工具 #数据抓取


🏵 Scraping-apis-for-devs - API数据采集与开发

🍥 简介:
Scraping-apis-for-devs 提供一系列强大的API接口,专为开发者设计,用于高效的数据抓取与信息采集。该集合旨在简化开发流程,使开发者能够快速集成所需功能,无需从零开始构建。无论是开发简单的自动化工具,还是部署复杂的功能完善型应用程序,这些API都能提供稳定可靠的底层支持,助力各类项目迅速落地。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #剪贴板 #数据同步


🏵 Crosspaste-desktop - 跨设备数据交换工具

🍥 简介:
Crosspaste-desktop是一款跨平台数据交换工具。它实现设备间剪贴板内容的实时同步,并提供统一的操作系统接口,支持Mac、Windows及Linux平台。该工具兼容文本、颜色、URL、HTML、RTF、图像及文件等多种剪贴板数据类型。为保障数据安全,Crosspaste-desktop采用端到端不对称加密技术。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #数据库工具 #备份工具 #开源项目


🏵 Databasus - 数据库备份

🍥 简介:
Databasus是一款免费且开源的数据库备份工具,专注于提供自助式数据库备份解决方案,尤其擅长处理PostgreSQL数据库的备份需求。该工具具备灵活的存储选项,允许用户将备份数据安全存储至Amazon S3、Google Drive、FTP等多种云端及本地存储服务。为提升运维效率,Databasus还内置了实时通知系统,支持通过Slack、Discord等平台发送备份任务的进度及完成状态通知,确保用户及时掌握数据库健康状况。

🎈 【进入项目】


🗣 活动线报 | 掘金项目
🍭 #词典工具 #语言资源 #数据集合


🏵 Russian-swears - 俄语脏话词典

🍥 简介:
Russian-swears 是一个专注于俄语脏话的词典项目。该资源结构化地收录了俄语基础脏话词汇、常用前缀、衍生词、固定短语及日常表达。项目还包含实用的参考链接和编辑说明,为研究或分析俄语口语文化提供了一个详细的数据集合。它旨在提供一个全面的俄语俚语和不雅词汇数据库,便于语言学研究、文本分析或其他相关应用。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
🍭 #浏览器工具 #数据生成


🏵 BrowserForge - 浏览器指纹/请求头模拟生成

🍥 简介:
BrowserForge是一款先进的浏览器指纹与HTTP请求头生成工具。它能高效模拟各类浏览器、操作系统及设备的使用频率,从而生成逼真的数字“足迹”。该工具采用贝叶斯生成网络,确保输出数据与实际网络流量模式高度吻合。其运行速度极快,单次生成仅需0.1-0.2毫秒。BrowserForge设计简洁易用,提供广泛的自定义选项,可精细控制浏览器、操作系统、设备、语言及HTTP版本。项目代码基于类型安全原则开发,确保软件的稳定性和健壮性。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
🍭 #数据处理 #数据清洗


🏵 OpenRefine - 数据清洗与整合

🍥 简介:
OpenRefine是一款基于Java的强大数据处理工具。它允许用户在本地计算机的网页浏览器中执行数据加载、分析、清洗、规范化和网络数据扩充等操作。该工具旨在提供一个安全、私密的环境,高效管理和优化数据集。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
🍭 #数据安全 #文件加密 #数据分离


🏵 BASTION - 加密数据分离存储

🍥 简介:
BASTION是一个软件系统,实现了“Monolith-4096”算法。它有别于传统工具,能将数据对象拆分为独立的数据容器和加密密钥两部分。此设计确保了在缺少任一组件时,文件分析无法进行,从而提高数据安全性。

🎈 【进入项目】


🗣 羊毛撸货线报 | 合作/投稿
 
 
Back to Top