# WalMiner

**Repository Path**: coder-sunxy/XLogMiner

## Basic Information

- **Project Name**: WalMiner
- **Description**: WalMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具，并能生成对应的undo SQL语句。与传统的logical decode插件相比，walminer不要求logical日志级别且解析方式较为灵活。开发组QQ群:811105058欢迎任何使用者加入。
- **Primary Language**: C
- **License**: Not specified
- **Default Branch**: walminer_4.0_dev
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 56
- **Created**: 2024-06-21
- **Last Updated**: 2024-06-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## walminer换壳重生，一ner在手天下我有。



### 1. walminer4.0介绍

walminer是PostgreSQL的wal日志解析工具，4.0版本摒弃插件模式改为bin模式，现已脱离对目标数据库的编译依赖和安装依赖，一个walminer工具可以解析PG10~PG15的WAL日志。 现已实现的功能为wal2sql、fosync、pgto、waldump。



1.1 **walminer功能介绍**

- wal2sql为walminer的基本功能，可以将wal日志解析为SQL语句，以及其undo语句,可解析部分DDL语句。
- fosync为在wal2sql的基础上实现的，PG故障转移延迟数据同步功能。
- pgto为PG的CDC工具,库外解析;一键部署;低wal级别。



1.2 **walminer导航**


- walminer4.0的功能[使用方法介绍地址](https://www.zhihu.com/column/c_1274634714830495744)
- walminer4.0功能[演示视频地址](https://www.zhihu.com/people/movead/zvideos)
- walminer4.0软件[下载地址](https://gitee.com/movead/XLogMiner/releases)
- 开发[wiki地址](https://gitee.com/movead/XLogMiner/wikis/Walminer4.x%E7%BB%BC%E8%BF%B0)



### 2. walminer4.0获取

作者已持续几年维护walminer之前的版本, 开源创作不易,因此walminer4.0暂不开源, 需要的用户可以到[下载地址](https://gitee.com/movead/XLogMiner/releases)获取试用版本。经过考虑，作者决定募集walminer4.0开源资金，如果觉得工具不错可以捐赠支持作者创作，并助力walminer4.0开源。需要使用walminer3.0源码的用户仍然可以切换至master分支获取。

- 捐赠199元，可联系作者获取walminer4.0个人版永久license
- 捐赠可获取企业版license，详情联系作者
- 捐赠可获取walminer4.0代码权限,详情联系作者
- 联系作者可定制walminer功能

联系我(lchch1990@sina.cn)



**license介绍**

测试license: 有时间限制，解析限速，仅限个人学习使用

个人版license：永久使用，解析限速，仅限个人学习使用

企业版license：注册企业可永久使用、提供问题咨询、bug优先修复

代码权限：可获取代码权限，任意修改，但不得对外发布修改前后的walminer4.0代码。



### 3. walminer4.0更新情况

2024-03-06更新内容:<br>
- 支持集簇级别的数据字典，全局解析。
- avatar语法修改(适配全局数据字典)
- 单表解析语法修改(适配全局数据字典)
- fosync直接向目标库apply的功能未支持(全局解析的限制,TODO项)

2023-12-24更新内容:<br>
- 兼容PG16
- 添加5个免mask项
- 将$HOME/.walminer作为运行walminer的首选目录

2023-9-24更新内容:<br>
- 添加无license解析模式
- 添加企业版license和VIPlicense的密码输入功能

2023-06-04更新内容:<br>

- 修改license bug
- 修复第一个表没有解析结果的bug
- 增加其他pg版本的wal压缩支持
- 添加waldump功能


2022-12-10更新内容:<br>

- 添加DDL解析功能
- 添加数据字典同步模块
- wal2sql命令添加-C参数用于输出DDL解析结果
- wal2sql命令添加-a参数用于输出系统表变更信息
- 数据字典中增加更多元数据，增加可见性信息
- 减小免费license的解析限速
- 帮助命令修改

2022-11-20更新内容:<br>

- 增加pgto demo


2022-11-13更新内容:<br>
- 修复事务ID解析时，会解析出其他事务信息的问题
- 修复lsn精确解析时,低于入参lsn的数据也会被解析出来的问题
- 精确解析修改checkpoint点为最近的checkpoint，减小无用搜索
- 修复在非PG15环境做精确解析时的wal检查错误
- 修复子事务可能会少解析数据的情况
- 增加fosync功能