这期内容当中小编将会给大家带来有关使用golang怎么实现mysql数据库备份,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
map & json,在处理主键与外键信息时,需要用到json数据结构来存储中间结果,因为要灵活处理,在golang中只能用map[string]interface{}来处理。
interface{} 相当于java中的object,能接受任意数据类型,方便但在使用时要做到心中有数,不然一旦数据类型不匹配,程序就会崩溃。
xfffd ,utf8中的占位符,超出范围的utf8mb4入库后,会被存储为xfffd,数据导出时,需要过滤掉。
goroutine, golang的并发支持很独特,我们的工具支持多个库同时备份,很容易使用goroutine来实现并行。
代码解析
按功能模块对核心代码进行说明
main.go,并发、命令行参数
使用命令行参数,接受一个参数,来指定备份的内容
package common
type OpFlag struct {
Tables bool //表结构
Datum bool //表结构和数据
Views bool //视图
Funcs bool //函数与存储过程
}
main.go,程序入口,处理命令行参数
if len(os.Args) > 1 {
flag = common.OpFlag{
Tables: false,
Datum: false,
Views: false,
Funcs: false,
}
switch os.Args[1] { //接受一个参数
case "table":
flag.Tables = true //根据参数设定标识量
case "data":
flag.Tables = true
flag.Datum = true
case "views":
flag.Views = true
case "funcs":
flag.Funcs = true
default: //参数不正确,报错退出
log.Fatal("You arg must be in : table, data, views or funcs.")
}
}else{ //无参数,默认导出所有
flag = common.OpFlag{
Tables: true,
Datum: true,
Views: true,
Funcs: true,
}
}
err := backUp.Export(flag) 根据参数进行数据库备份
Export.go
备份主流程,根据configs.json生成goroutine来备份数据库,并等待完成。
var configs interface{}
fr, err := os.Open("./configs.json")
if err != nil {
return err
}
decoder := json.NewDecoder(fr) //解析配置文件
err = decoder.Decode(&configs)
confs := configs.(map[string]interface{})
workDir := confs["workDir"].(string)
ch := make(chan string) //通道变量
for key, value := range confs {
if strings.HasPrefix(key, "db_") {
dbConf := value.(map[string]interface{})
dbConn := common.DbConnFields{ //数据库相应配置
DbHost: dbConf["db_host"].(string),
DbPort: int(dbConf["db_port"].(float64)),
DbUser: dbConf["db_user"].(string),
DbPass: dbConf["db_pass"].(string),
DbName: dbConf["db_name"].(string),
DbCharset: dbConf["db_charset"].(string),
}
if dbConf["file_alias"] != nil { //生成sql备份文件的命名
dbConn.FileAlias = dbConf["file_alias"].(string)
}
go ExportOne(dbConn, workDir, ch, flag) //创建协程
}
}
for key := range confs { //阻塞主进程,待所有协程完成工作
if strings.HasPrefix(key, "db_") {
fmt.Print( <- ch )
}
}
return nil
你需要编写如下的配置文件来描述你要备份的数据库:
{
"db_name1": {
"db_host": "192.168.1.8",
"db_port": 3306,
"db_user": "root",
"db_pass": "123456",
"db_name": "name1",
"db_charset": "utf8mb4",
"file_alias": "file name1"
},
"db_name2": {
"db_host": "localhost",
"db_port": 3306,
"db_user": "root",
"db_pass": "123456",
"db_name": "name2",
"db_charset": "utf8mb4"
},
"database_dialect": "mysql",
"workDir": "/home/zhoutk/gocodes/goTools/"
}
ExportOne.go
备份一个数据库
fileName := fields.FileAlias
setSqlHeader(fields, fileName) //设置导出文件说明
if flag.Tables { //如果表设置为真,导出表结构
err := exportTables(fileName, fields, flag) //具体算法请参照源代码
if err != nil {
ch <- fmt.Sprintln("Error: ", fields.DbName, "\t export tables throw, \t", err)
return
}
}
if flag.Views { //如果视图设置为真,导出视图
err := exportViews(fileName, fields)//具体算法请参照源代码,或python算法
if err != nil {
ch <- fmt.Sprintln("Error: ", fields.DbName, "\t export views throw, \t", err)
return
}
}
if flag.Funcs { //如果函数设置为真,导出函数和存储过程
err := exportFuncs(fileName, fields)//具体算法请参照源代码
if err != nil {
ch <- fmt.Sprintln("Error: ", fields.DbName, "\t export funcs throw, \t", err)
return
}
}
//导出工作完成,向通道输入信息
ch <- fmt.Sprintln("Export ", fields.DbName, "\t success at \t", time.Now().Format("2006-01-02 15:04:05"))
MysqlDao.go
数据库查询通用封装,此工具只使用了ExecuteWithDbConn。灵活的使用map与interface{},将结果转化为键值对象返回。
大型站长资讯类网站! https://www.0817zz.com