在本篇文章中&＃xff0c;将会介绍如何利用go语言去搭建一个高效稳定的rest服务&＃xff0c;以及如何去部署它。我们已经搭建好了轮子&＃xff0c;好消息是&＃xff0c;这一切都是开源的&＃xff0c;你可以直接fork我们的项目
ruilisi/go-pangugithub.com
&＃xff0c;从而节省额外开发的时间。系好安全带&＃xff0c;我们要出发了。
&＃xff08;这篇教程可能并非最新的&＃xff0c;在github项目里我们会实时更新这篇教程&＃xff09;
Go有两个特性让我们去选择用它去开发后端的rest服务。一是Go在并发方面的高性能&＃xff0c;在rest服务中&＃xff0c;绝大多数的接口都会有很大的负荷&＃xff0c;它们在每秒内都要承受成千上万的请求量&＃xff0c;因而高并发性能成为一个非常重要的因素。二是Go语言是强类型语言&＃xff0c;虽然在编写的过程中会稍微麻烦&＃xff0c;但是它不会埋藏一些隐式的bug&＃xff0c;从而能保证程序的鲁棒性。同时&＃xff0c;完善的包管理&＃xff0c;类C的写法都使得任何程序员都能迅速切换技术栈&＃xff0c;而不会有太大的负担。
本服务在开发中使用了如下的包/工具&＃xff0c;不用感到无从下手&＃xff0c;接下的内容我将会一步步开始解释这些是如何发挥他们的作用。
| 名字 | 描述 |
|---|---|
| Go | 最近几年最为流行的新兴语言&＃xff0c;简单的同时拥有极高的并发性能。 |
| Gin | 基于Go语言的web框架&＃xff0c;方便灵活的中间件&＃xff0c;强大的数据绑定&＃xff0c;以及极高的性能 |
| Gorm | Go语言的全功能ORM库&＃xff0c;用于操作数据库 |
| Ginkgo | Ginkgo是一个BDD风格的Go测试框架&＃xff0c;旨在帮助你有效地编写富有表现力的全方位测试。 |
| JWT | SON Web Tokens&＃xff0c;是目前最流行的跨域认证解决方案。 |
| Postgres | 高性能开源数据库&＃xff0c;当整体负载达到很高时依旧能有强大的性能 |
| Redis | 内存数据库&＃xff0c;拥有极高的性能 |
| Docker | 开发、部署、运行应用的虚拟化平台 |
工欲善其事必先利其器&＃xff0c;在正式开始开发前&＃xff0c;我们需要一件趁手的开发工具&＃xff0c;这里我推荐在mac或者linux的环境中在终端下去开发。我们需要使用两个工具&＃xff0c;一个是tmux&＃xff0c;另一个就是spacevim。
tmux是一个窗口多开的工具&＃xff0c;它能够在开许多的窗口&＃xff0c;同时还能在窗口里轻松的分屏&＃xff0c;能够极大的提升开发的效率。
下图就是我在窗口1里分了3个小屏&＃xff0c;主要进行开发&＃xff0c;窗口2则是我看的一些其他的一些包或者工具。窗口3则是一些其他服务&＃xff0c;以及数据库查询所在。
spacevim是一个集成的VIM IDE它能够轻松的管理插件以及相关的配置,它为不同的语言提供了不同的开发模块&＃xff0c;这些模块支持了代码自动补全&＃xff0c; 语法检查、格式化、调试、REPL 等特性。
https://github.com/SpaceVim/SpaceVimgithub.com这里有我们整理的相关快捷键的文档&＃xff0c;它可能会跟你使用的有所不同&＃xff0c;但这些都是我们在日常开发中觉得非常舒适的配置&＃xff0c;你可以在配置文件中修改快捷键。
Tmux&Vim常用快捷指令 · 语雀www.yuque.com
如果你还不会使用这两个工具&＃xff0c;那么可以去看一下的教程或是文档。
Tmux 使用教程 - 阮一峰的网络日志www.ruanyifeng.com
我们还需要进行一个准备&＃xff0c;就是有一些开发的网站可能会被block或是速度比较慢&＃xff0c;这个时候我们可能就需要额外的一些方法去解决这个问题&＃xff0c;你可以在vagrant虚拟机里完成上述配置以及解决这个问题&＃xff0c;碍于篇幅&＃xff0c;这里我们就不去赘述这个问题了。
我们这里需要使用两个数据库&＃xff0c;一个是postgresql数据库&＃xff0c;一个就是redis数据库。为什么会需要这两个数据库呢&＃xff1f;因为我们的rest api服务有两种数据类型&＃xff0c;一种是长效的&＃xff0c;也就是需要一直保存的数据&＃xff0c;像是用户的信息。还有一种就是短期的热数据&＃xff0c;像是token&＃xff0c;短信code&＃xff0c;这些数据很快就会过期&＃xff0c;因而我们把它们储存在内存数据库redis中&＃xff0c;能极大提升效率&＃xff0c;也不会让这些数据去污染postgresql数据库&＃xff0c;加大其的负担。
如何使用它们的方法这里也不在赘述&＃xff0c;如果你有学习过sql&＃xff0c;那么这两个数据库你都能很快上手。我这写了一个常用命令文档
postgresql 和 redis · 语雀www.yuque.com接下来我们拉取项目&＃xff0c;我们首先来观察一下整个项目的结构是什么样的。
| 文件 | 功能 |
|---|---|
| application.yml | 配置文件&＃xff0c;包含基本信息 |
| args | 包含获取url的params的函数 |
| conf | 获取配置文件的函数 |
| controller | router使用的handler控件&＃xff0c;包含各种操作具体内容 |
| db | db操作&＃xff0c;像是打开数据库 |
| jwt | jwt相关内容 包含生成jwt与验证jwt的函数 |
| main.go | 程序主函数&＃xff0c;执行时增加-db参数可选择不同的内容&＃xff0c;create创建数据库&＃xff0c;migrate更新表结构&＃xff0c;drop删除数据库 |
| middleware | 中间件&＃xff0c;验证token是否正确 |
| models | 基础的结构以及一些基本的数据库操作 |
| params | 数据绑定的结构 |
| redis | 包含连接redis和redis操作函数 |
| router | 路由 |
| test | 测试 |
我们直接开干&＃xff0c;首先就是来看根目录下的配置文件application.yml
DEVISE_JWT_SECRET_KEY: RANDOM_SECRET
HTTP_PORT: 3002
BASE_DATABASE_URL: postgres://postgres:postgres&＃64;localhost:5432
DATABASE_URL: postgres://postgres:postgres&＃64;localhost:5432/go_pangu_development?sslmode&＃61;disable
DATABASE_TESTURL: postgres://postgres:postgres&＃64;localhost:5432/go_pangu_test?sslmode&＃61;disable
REDIS_URL: redis://localhost:6379/7
WORKERS: CollectIpWorker,QcloudSmsWorker
SMS_APPID:
SMS_APPKEY:
SMS_TEMPID:
SMS_APPLYTEMPID:
这里的你需要更改的就是 postgres:// 后跟的账号和密码&＃xff0c;其他的都可以不去修改。
接着运行主程序
go run main.go -db&＃61;create //创建主数据库跟测试数据库
go run main.go -db&＃61;migrate //创建表
go run main.go //运行服务
go run main.go -db&＃61;drop //删库跑路
如果一切顺利&＃xff0c;就会如下图所示
我们尝试请求一下这个服务&＃xff0c;就是用最简单的ping&＃xff0c;你可以在浏览器&＃xff0c;也可以使用postman&＃xff08;建议&＃xff09;。如果成功返回pong&＃xff0c;那么我们的服务就一切正常。与此同时&＃xff0c;服务器也会留下请求记录。
路由被统一写在了router文件夹下
func SetupRouter() *gin.Engine {//前几行的config能够解决前端可能产生的跨域请求问题。router :&＃61; gin.Default()config :&＃61; cors.DefaultConfig()config.ExposeHeaders &＃61; []string{"Authorization"}config.AllowCredentials &＃61; trueconfig.AllowAllOrigins &＃61; trueconfig.AllowHeaders &＃61; []string{"Origin", "Content-Length", "Content-Type", "Authorization"}router.Use(cors.New(config))router.GET("/ping", service.PingHandler)router.POST("/sms", service.SMSHandler)//router.GET("")//每个地址都对应一个handler控件&＃xff0c;handler控件都被放在了controller文件夹里。authorized :&＃61; router.Group("/")authorized.Use(middleware.Auth("user")) {authorized.GET("/auth_ping", service.AuthPingHandler)}users :&＃61; router.Group("/users"){users.POST("/sign_up", service.SignUpHandler)users.POST("/sign_in", service.SignInHandler)}users.Use(middleware.Auth("user")){users.POST("/change_password", service.ChangePasswordHandler)}return router
}
......
后面起的几个路由&＃xff0c;当使用middleware.Auth的时候&＃xff0c;则是使用了jwt token来验证身份。这些token在登录时会生成,而生成token的过程中用到了数据库的操作&＃xff0c;所以我们先来看数据库操作。
postgresql 的相关内容在db&＃xff0c;models这两个文件中。
db 文件夹负责连接数据库后声明一个DB变量让其他package中函数操作中使用。
main函数的create migrate功能所使用的函数也在这里。
var DB *gorm.DBtype PGExtension struct {Extname string
}func Open(env string) {var err errorvar url stringurl &＃61; conf.GetEnv("DATABASE_URL")if env &＃61;&＃61; "test" {url &＃61; conf.GetEnv("DATABASE_TESTURL")}if DB, err &＃61; gorm.Open(postgres.Open(url), &gorm.Config{}); err !&＃61; nil {panic(err.Error())}
}
......
models 文件夹定义了数据库的表结构&＃xff0c;以及一些常用的数据库操作&＃xff0c;像是查询&＃xff0c;删除一些数据。我们使用的是gorm包。
GORM 指南gorm.iopackage modelsimport ("errors""fmt""go-pangu/db""gorm.io/gorm"
)
//&＃96;&＃96;里的内容是在json转换时的标识&＃xff0c;Model里的内容会在gorm操作时自动生成。
type Model struct {ID uuid.UUID &＃96;gorm:"type:uuid;primaryKey;default:gen_random_uuid()"&＃96;CreatedAt time.TimeUpdatedAt time.Time
}type User struct {ModelEmail string &＃96;gorm:"index:idx_email,unique"&＃96;EncryptedPassword string
}func FindUserByEmail(email string) (*User, SearchResult) {var user Userresult :&＃61; Result(db.DB.Where("email &＃61; ?", email).First(&user).Error)return &user, result}
......
redis 的相关内容主要在redis文件夹中&＃xff0c;其中主要包括了连接redis数据库以及进行redis数据库操作的函数。
var RDB *redis.Client
var ctx &＃61; context.Background()func newRDB() *redis.Client {u, err :&＃61; url.Parse(conf.GetEnv("REDIS_URL"))if err !&＃61; nil {panic(err.Error())}password, _ :&＃61; u.User.Password()db, err :&＃61; strconv.Atoi(u.Path[1:])if err !&＃61; nil {panic("Redis url format error")}return redis.NewClient(&redis.Options{Addr: u.Host,Password: password, // no password setDB: db, // use default DB})
}func ConnectRedis() {RDB &＃61; newRDB()_, err :&＃61; RDB.Ping(ctx).Result()if err !&＃61; nil {panic(err)}
}func getRDB() *redis.Client {if RDB !&＃61; nil {return RDB}return newRDB()
}func Get(key string) string {value, err :&＃61; getRDB().Get(ctx, key).Result()if err !&＃61; nil {fmt.Println(err)}return value
}
func Set(key string, value interface{}) {_, err :&＃61; getRDB().Set(ctx, key, value, 0).Result()if err !&＃61; nil {fmt.Println(err)}
}
......
有些接口&＃xff0c;只能在用户进行登录之后才能进行调用&＃xff0c;怎么来判断用户是否登录了呢。我们这里使用的是jwt&＃xff0c;json web token。生成token&＃xff0c;验证token以及注销token的函数都放在了jwt文件夹中了。这些操作生成token都被存储在了redis数据库中。
如果你不熟悉jwt&＃xff0c;可以看这篇文档。
JSON Web Token 入门教程www.ruanyifeng.com
type Payload struct {Device string &＃96;json:"device,omitempty"&＃96;Scp string &＃96;json:"scp,omitempty"&＃96;jwt.StandardClaims
}func GenPayload(device, scp, sub string) Payload {now :&＃61; time.Now()return Payload{Device: device,Scp: scp,StandardClaims: jwt.StandardClaims{ExpiresAt: now.Add(1 * time.Hour).Unix(),Id: uuid.New().String(),NotBefore: now.Unix(),IssuedAt: now.Unix(),Subject: sub,},}
}func JwtRevoked(payload Payload) bool {return _redis.Exists(fmt.Sprintf("user_blacklist:%s:%s", payload.Subject, payload.Id))
}func RevokeJwt(payload Payload) {expiration :&＃61; payload.ExpiresAt - payload.IssuedAt_redis.SetEx(fmt.Sprintf("user_blacklist:%s:%s", payload.Subject, payload.Id), payload.Id, time.Duration(expiration)*time.Second)
}func RevokeLastJwt(payload Payload) {lastJwt :&＃61; _redis.Get(fmt.Sprintf("user_jwt:%s", payload.Subject))if lastJwt !&＃61; "" {arr :&＃61; strings.Split(lastJwt, ":")jti, expStr :&＃61; arr[0], arr[len(arr)-1]exp, err :&＃61; strconv.ParseInt(expStr, 10, 64)if err !&＃61; nil {exp &＃61; time.Now().Unix()}payload.Id &＃61; jtipayload.IssuedAt &＃61; time.Now().Unix()payload.ExpiresAt &＃61; expRevokeJwt(payload)}
}
......
在登录的过程中&＃xff0c;我们生成token
payload :&＃61; jwt.GenPayload(deviceType, "user", user.ID.String())
tokenString :&＃61; jwt.Encoder(payload)
jwt.OnJwtDispatch(payload)c.Header("Authorization", "Bearer "&＃43;tokenString)
最后我们写一个中间件&＃xff0c;来进行判断中间件是否合法&＃xff0c;其中sub是用户的uuid&＃xff0c;scp是用户类型。
func Auth(scp string) gin.HandlerFunc {return func(c *gin.Context) {bear :&＃61; c.Request.Header.Get("Authorization")token :&＃61; strings.Replace(bear, "Bearer ", "", 1)sub, scope, err :&＃61; jwt.Decoder(token)if err !&＃61; nil {c.Abort()c.String(http.StatusUnauthorized, err.Error())} else {if scope !&＃61; scp {controller.StatusError(c, http.StatusUnauthorized, "unauthorized", "invalid scope")c.Abort()}c.Set("sub", sub)c.Set("scp", scope)c.Next()}}
}
这个部分就是路由实际使用的控件了&＃xff0c;也就是写入接口请求后的逻辑的所在。它们被放在controller文件夹下。主要负责就是处理请求的参数后进行各种操作&＃xff0c;像是数据库操作来获取数据进行返回。在路由部分我们已经进行了token处理&＃xff0c;所以在handler里我们可以直接获取用户类型和他的uuid。
这里还用到了params文件夹&＃xff0c;这里面保存了进行数据绑定的结构体。当然也可以使用map[string]interface{}类型的变量来绑定一切数据&＃xff0c;但是需要类型断言&＃xff0c;有时候比较繁琐&＃xff0c;如何取舍&＃xff0c;看实际情况而定。
func ChangePasswordHandler(c *gin.Context) {//变量sub, _ :&＃61; c.Get("sub")scp, _ :&＃61; c.Get("scp")var change params.ChangePasswordvar oldEncryptedPassword stringvar user *models.User//绑定数据if err :&＃61; c.ShouldBind(&change); err !&＃61; nil {c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})return}if change.Password !&＃61; change.PasswordConfirm {c.JSON(http.StatusBadRequest, gin.H{"status": "password and password confirm not match"})return}//修改密码&＃xff0c;生成新密码的加密字符串switch scp {case "user":user, _ &＃61; models.FindUserByColum("id", sub)oldEncryptedPassword &＃61; user.EncryptedPassword}err :&＃61; bcrypt.CompareHashAndPassword([]byte(oldEncryptedPassword), []byte(change.OriginPassword))if err !&＃61; nil {c.JSON(http.StatusBadRequest, gin.H{"status": "origin password error"})return}hash, err :&＃61; bcrypt.GenerateFromPassword([]byte(change.Password), bcrypt.DefaultCost)if err !&＃61; nil {c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})return}encryptedPassword :&＃61; string(hash)var payload jwt.Payloadswitch scp {case "user"://保存数据库&＃xff0c;生成新tokendb.DB.Model(&user).Updates(models.User{EncryptedPassword: encryptedPassword})payload &＃61; jwt.GenPayload("", "user", user.ID.String())for _, device :&＃61; range conf.DEVICE_TYPES {payload.Device &＃61; devicejwt.RevokeLastJwt(payload)}}c.JSON(http.StatusOK, gin.H{"status": "update password success"})
}
为了获取配置文件的内容&＃xff0c;conf文件夹下有如下的函数
func GetEnv(env string) string {return fmt.Sprintf("%v", viper.Get(env))
}func init() {viper.SetConfigType("yaml") // or viper.SetConfigType("YAML")// any approach to require this configuration into your program.str, _ :&＃61; os.Getwd()str &＃61; strings.Replace(str, "/test", "", 1)str &＃61; strings.Replace(str, "/controller", "", 1)url :&＃61; str &＃43; "/application.yml"data, err :&＃61; ioutil.ReadFile(url)if err !&＃61; nil {panic(err)}viper.ReadConfig(bytes.NewBuffer(data))
}
当需要使用时&＃xff0c;只要像这样调用就行
url &＃61; conf.GetEnv("DATABASE_URL")
测试在test文件夹下&＃xff0c;这里我们使用的是ginkgo来进行测试&＃xff0c;Ginkgo是一个BDD风格的Go测试框架&＃xff0c;旨在帮助你有效地编写富有表现力的全方位测试。进入测试文件夹&＃xff0c;使用ginkgo就可以测试&＃xff0c;不用担心可能会打乱数据库内容&＃xff0c;之前我们在运行 go run main.go 时就额外生成了一个测试数据库&＃xff0c;不会影响在正常开发数据里的内容。
如果你不了解ginkgo可以看这篇
Ginkgo学习笔记blog.gmem.cc运行结果如下
使用make release或者debug 后 会生成可执行的server&＃xff0c;接着就可以使用docker部署在服务器上。
相关文件在根目录下的Makefile Dockerfile
FROM alpine:3.10
WORKDIR /app
ADD dist/go-pangu-amd64-release-linux go-pangu
COPY application.yml .
RUN chmod &＃43;x go-pangu
CMD ["/app/go-pangu"]
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有