minio实现文件存储

minio实现文件存储

背景

当前项目中,文件存储使用的是本地磁盘;整体状况如下

  • 上传时:后端直接将文件写到本地磁盘

  • 下载时:通过springboot 提供的静态目录映射完成

当前的设计在分布式场景下会有问题,加入文件服务有多个实例,在多个实例场景下将文件写到一个统一的本地磁盘是比较麻烦的

目标

实现文件的分布式存储

方案

目前主流的文件存储方案大致如下

方案
详情
优点
缺点

三方存储

1、各种oss,比如aws,tfs等

用户量大,专业团队维护

付费

自建

1、fastdfs,minio等

免费

维护成本,问题快速解决能力不足

公司出于成本考虑,决定使用自建的方式,结合开源热度和维护团队情况,最终选择使用minio作为实现

这里使用docker作为演示

实施步骤

  • 镜像拉取

  • 新建本地磁盘映射

  • 启动

注意,登录用户名最小长度5位,密码最小长度8位

  • 防火墙开放端口

  • 初始化

浏览器窗口打开,地址http://<ip>:9000,登录使用刚才启动时设置的密码

  • 创建bucket

  • 创建access keys

历史数据导入

  • mc客户端安装

  • 添加别名

  • 历史数据导入

imgproxy兼容

上文提到,使用imgproxy做缩略图片的处理,imgproxy在做缩略图时会从本地获取图片,现在改成minio之后原有的方式也需要做调整

幸运的是,imgproxy支持s3协议,其中minio也支持s3协议,所以问题不大

imgproxy启动方式需要增加s3相关配置

说明

变量
说明

IMGPROXY_USE_S3

true,支持s3

IMGPROXY_S3_ENDPOINT

s3 代理链接,此处为http://<ip>:9000

AWS_ACCESS_KEY_ID

s3 access_key,上文创建的access_key

AWS_SECRET_ACCESS_KEY

s3 secret_key,上文创建的secret_key

对应nginx中,转发到imgproxy的地方修改成

对应nginx中,直接通过http请求的地方可以改成直连minio

程序修改

需要将静态文件目录映射修改成http://<ip>:9000/<bucket>

nginx代理minio

最后更新于