WEB应用 FastAPI的轻量级API开发框架

概述

我们经常会听到“不会开发的运维不是个好运维”，确实在运维工作当中，娴熟的开发经验能让运维工作如鱼得水，事半功倍！高级的运维除了需要精通 Shell 脚本编程之外，最好还需要掌握一门高级语言，比如 Python、Golang、PHP、Lua 等。高级语言除了可以解决一些更复杂的运维场景，还可以帮助我们更好的理解业务，做好业务运维，毕竟知己知彼才能百战不殆。

经常看到很多运维同学写接口通常是基于 Flask，只用一个脚本一撸到底，完全没有框架的概念，总体给人的感觉比较粗糙简陋。本文分享一个我个人基于 FastAPI 框架设计的轻量级 API 开发框架，能够应付绝大部分的业务运维的后台 API 场景，这个框架我取名为 Flyer，意味着轻量且快速。

框架特性

• 继承 FastAPI 所有特性，包括高性能、自带 Swagger/ReDoc 文档、易开发等，详见：(FastAPI (tiangolo.com))
• 拥抱云原生，所有参数都可以通过七彩石/环境变量来自定义，代码中也可以非常方便的获取指定环境变量的值
• 鹅厂内部版本集成了七彩石、智研日志汇、监控报等各种研效库（外部版本已剥离）
• MySQL/Redis/Kafka 等开源组件已默认对接，可以开箱即用
• 支持记录全局请求/被请求流水日志及耗时等监控特性
• 可以快速开启简单的 BasicAuth 鉴权等
• 更多细节这里省略 1 万字…

性能测试

虽然这个框架主要应对的是运维场景，性能并不是主要矛盾，但想到很多同学还是会比较感兴趣，这里简单测试了一下单核空载性能，命令行如下：

结果如下：

从结果可以看到，单 CPU 空载可以跑到 8000+QPS，这个性能应该能应付绝大部分中大型运维场景了。当然，这里测试的接口是开启了 async 异步协程的性能极限模式，改为 sync 的话，性能也能跑到 4k~5k 左右。

快速上手

安装 Docker

略，这个应该都会。

构建镜像

启动服务

验证服务

浏览器打开如下地址可以看到效果（<IP>换成部署服务的 IP 地址），如下图所示：

• ReDoc: http://<IP>:8080/flyer/v1/redoc
• SwaggerUI: http://<IP>:8080/flyer/v1/dcos

正式开发

容器模式

可以基于上文制作的 flyer:test 容器镜像来快速部署开箱即用的开发环境：

普通模式

安装依赖

启动服务

成功启动后，浏览器访问以下地址即可查看效果，修改任何 Python 代码，保存后都会自动重新加载，非常方便：

• ReDoc: http://<IP>:8080/flyer/v1/redoc
• SwaggerUI: http://<IP>:8080/flyer/v1/dcos

目录结构

以下是框架的代码结构说明，开发时只需要复制一份 api/demo 文件夹进行逻辑代码编写：

开发步骤

首先复制根目录下的 api/demo 文件夹到一个新的文件夹，比如 myapp（下文的介绍均按这个名字），然后按照以下步骤来开发即可：

定义接口协议

打开 myapp.schemas 文件夹下的 demo.py 文件，参考已有内容去定义接口字段，包括字段名称、字段属性及描述等：

开发接口逻辑

打开 myapp.models 文件夹下的 demo.py 文件，这里写接口逻辑代码，这个按实际需求开发即可：

定义接口路由

打开 myapp.routes 文件夹下的 demo.py 文件，按需修改：

然后，编辑 myapp.routes.__init__.py，注册路由到 APIRouter：

最后，编辑 api.__init__.py，将新路由注册到 fastapi：

定义接口鉴权

如果你对于接口安全有要求，这个框架也支持快速开启 BasicAuth 接口鉴权，需要在启动框架之前，如下设置环境变量：

然后参考 utils.authorize.py 文件注释，并对比下 api.__init__.py 36-43 行代码逻辑，给新的路由加上权限限制即可。

接口文档

Flyer 基于 FastAPI 框架，所以自带了 reDoc 和 SwaggerUI，完全实现代码即文档的开发方式，非常方便。

• ReDoc: http://<IP>:8080/flyer/v1/redoc
• SwaggerUI: http://<IP>:8080/flyer/v1/dcos

环境变量

Flyer 支持通过环境变量来修改各种配置。

基础变量

• flyer_host: 接口绑定 IP，默认为 0.0.0.0
• flyer_port：接口绑定端口，默认为 8080
• flyer_base_url：服务地址前缀，默认为 /flyer
• flyer_version：服务版本，当前为 v1
• flyer_reload：接口热加载，用于开发环境，默认为 True
• flyer_workers：工作进程数量，默认为 1
• flyer_threads：工作线程数量，默认为 5
• flyer_worker_connections：最大客户端并发数量，默认为 1000
• flyer_enable_max_requests：打开自动重启机制，即请求一定数量后进程自动重启，可以缓解内存泄漏问题
• flyer_max_requests：重新启动之前，工作将处理的最大请求数。默认值为 0
• flyer_max_requests_jitter：要添加到 max_requests 的最大抖动。抖动将导致每个工作的重启被随机化，这是为了避免所有工作被重启。
• flyer_timeout：超过这么多秒后工作将被杀掉，并重新启动。默认为 60 秒
• flyer_graceful_timeout：优雅退出时间，默认为 10，收到重启信号后，将等待指定时长才（或强制）退出
• flyer_keepalive：在 keep-alive 连接上等待请求的秒数，默认为 5
• flyer_log_level：定义日志级别，debug/info/warn/error，默认为 info
• flyer_access_log：是否记录请求日志，True/False，默认为 True
• flyer_access_logfile：定义请求日志文件的位置，默认为-，即输出到容器标准输出

按需变量

需要用到 Redis 请添加如下配置：

• flyer_redis_host: Redis 服务 IP，默认 localhost
• flyer_redis_port: Redis 服务端口，默认 6379
• flyer_redis_pass: Redis 服务密码，默认为空
• flyer_redis_db: Redis 实例 DB，默认为 1

需要用到 MySQL 请添加如下配置：

• flyer_db_host: MySQL 服务地址
• flyer_db_port: MySQL 服务端口
• flyer_db_user: MySQL 用户名
• flyer_db_pass: MySQL 密码
• flyer_db_name: MySQL 数据库名称

需要用到 kafka 请添加如下配置：

• flyer_kafka_topic: 指定 kafka 消息队列的 Topic
• flyer_kafka_servers: 指定 kafka 消息队列的 服务地址，格式为 x.x.x.x:9092,y.y.y.y:9092

单元测试

Flyer 的单元测试用例位于根目录下的 tests 目录，支持 pytest ，完成接口开发后，建议参考 tests/test_demo.py 快速补齐测试用例，提高单侧覆盖率。

手工测试

测试单个用例

测试所有用例

PyTest 测试