minio – wqh博客 https://wangqianhong.com 和而不同 Thu, 30 May 2024 23:55:29 +0000 zh-CN hourly 1 https://wangqianhong.com/wp-content/uploads/2020/09/cropped-1-1-1-32x32.png minio – wqh博客 https://wangqianhong.com 32 32 对象存储minio（六） | Go SDK https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%85%ad%ef%bc%89-go-sdk/ https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%85%ad%ef%bc%89-go-sdk/#respond Fri, 08 Apr 2022 10:15:00 +0000 https://wangqianhong.com/?p=3052 minio提供了多种语言的SDK（https://min.io/docs/minio/linux/d… 继续阅读 对象存储minio（六） | Go SDK

对象存储minio（六） | Go SDK最先出现在wqh博客。

]]> minio提供了多种语言的SDK（https://min.io/docs/minio/linux/developers/minio-drivers.html），这里我选择Go SDK（https://www.bookstack.cn/read/MinioCookbookZH/26.md）

创建Client

ctx := context.Background()
endpoint := "localhost:9090"
accessKeyID := "对应用户的AK"
secretAccessKey := "对应用户的SK"
useSSL := false

// Initialize minio client object.
minioClient, err := minio.New(
	endpoint,
	&minio.Options{
		Creds:  credentials.NewStaticV4(accessKeyID, secretAccessKey, ""),
		Secure: useSSL,
	},
)
if err != nil {
	fmt.Println(err)
	return
}

bucketName := "images"

// Check to see if we already own this bucket (which happens if you run this twice)
exists, err := minioClient.BucketExists(ctx, bucketName)
if err != nil || !exists {
	fmt.Println(err)
	return
}

创建Bucket

// Make a new bucket called testbucket.
bucketName := "testbucket"
location := "us-east-1"

err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{Region: location})
if err != nil {
	// Check to see if we already own this bucket (which happens if you run this twice)
	exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)
	if errBucketExists == nil && exists {
		fmt.Printf("We already own %s\n", bucketName)
	} else {
		fmt.Println(err)
		return 
	}
} else {
	fmt.Printf("Successfully created %s\n", bucketName)
}

上传Object

n, err := minioClient.FPutObject(ctx, "my-bucketname", "my-objectname", "my-filename.png", minio.PutObjectOptions{
    ContentType: "application/octet-stream",
});
if err != nil {
    fmt.Println(err)
    return
}
fmt.Println("Successfully uploaded bytes: ", n)

获取Object

err = minioClient.FGetObject(ctx, "mybucket", "myobject", "/tmp/myobject", minio.GetObjectOptions{})
if err != nil {
    fmt.Println(err)
    return
}

临时访问

生成一个用于HTTP GET操作的presigned URL。浏览器/移动客户端可以在即使存储桶为私有的情况下也可以通过这个URL进行下载。这个presigned URL可以有一个过期时间，默认是7天

// Set request parameters for content-disposition.
reqParams := make(url.Values)
reqParams.Set("response-content-disposition", "attachment; filename=\"your-filename.txt\"")
// Generates a presigned url which expires in a day.
presignedURL, err := minioClient.PresignedGetObject("mybucket", "myobject", time.Second * 24 * 60 * 60, reqParams)
if err != nil {
    fmt.Println(err)
    return
}
fmt.Println("Successfully generated presigned URL", presignedURL)

对象存储minio（六） | Go SDK最先出现在wqh博客。

]]> https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%85%ad%ef%bc%89-go-sdk/feed/ 0 对象存储minio（五） | 权限管理 https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%94%ef%bc%89-%e6%9d%83%e9%99%90%e7%ae%a1%e7%90%86/ https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%94%ef%bc%89-%e6%9d%83%e9%99%90%e7%ae%a1%e7%90%86/#respond Sun, 03 Apr 2022 01:54:00 +0000 https://wangqianhong.com/?p=3031 minio的权限管理主要由policy（策略）和identity（身份）构成 Policy（策略验证… 继续阅读 对象存储minio（五） | 权限管理

对象存储minio（五） | 权限管理最先出现在wqh博客。

]]> minio的权限管理主要由policy（策略）和identity（身份）构成

Policy（策略验证）

minio使用基于策略的访问控制（https://min.io/docs/minio/linux/reference/minio-mc-admin/mc-admin-policy.html），来定义经过身份验证的用户可以访问的授权操作和资源。每个策略都描述了一个或多个操作和条件，这些操作和条件概述了用户或用户组的权限。
每个用户只能访问内置角色明确授予的资源和操作。默认情况下，MinIO拒绝访问任何其他资源或操作。

不同的策略就可设置不同的Actions，从而提供不同的操作权限

可以看到readonly只能进行GetObject和GetBucketLocation的操作

Identity（身份验证）

User：由唯一的访问密钥（用户名）和相应的密钥（密码）组成。客户端必须通过指定现有MinIO用户的有效访问密钥（用户名）和相应的密钥（密码）来验证其身份。
每个用户都可以有一个或多个分配的策略，这些策略明确列出该用户可以访问的操作和资源。

用户还可以从他们所属的组继承策略。

Group：一个组可以有一个附加的IAM策略，其中该组中具有成员身份的所有用户都继承该策略。组支持对minio的用户权限进行更简化的管理。

可以简单理解为角色。

Service Accounts

有时候服务器需要操作minio，需要创建对应用户的AK和SK

创建好之后，也要把AK和SK保存在本地，方便后续使用

对象存储minio（五） | 权限管理最先出现在wqh博客。

]]> https://wangqianhong.com/2022/04/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%94%ef%bc%89-%e6%9d%83%e9%99%90%e7%ae%a1%e7%90%86/feed/ 0 对象存储minio（四） | Objects 对象 https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%9b%9b%ef%bc%89-objects-%e5%af%b9%e8%b1%a1/ https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%9b%9b%ef%bc%89-objects-%e5%af%b9%e8%b1%a1/#respond Sat, 26 Mar 2022 02:49:00 +0000 https://wangqianhong.com/?p=3018 可以把对象就理解成平时Windows系统里文件夹下的文件 Object的属性 对象（Object）是… 继续阅读 对象存储minio（四） | Objects 对象

对象存储minio（四） | Objects 对象最先出现在wqh博客。

]]> 可以把对象就理解成平时Windows系统里文件夹下的文件

Object的属性

对象（Object）是对象存储的基本单元，可理解为任何格式类型的数据，例如图片、文档和音视频文件等。存储桶（Bucket）是对象的载体，每个存储桶可容纳任意数量的对象。

每个对象都由对象键（ObjectKey）、对象值（Value）、和对象元数据（Metadata）组成。

  • 对象键（ObjectKey）：对象键是对象在存储桶中的唯一标识，可以通俗的理解为文件路径。
  • 对象值（Value）：即上传的对象本身，可以通俗的理解为文件内容（Object Content）。
  • 对象元数据（Metadata）：是一组键值对，可以通俗的理解为文件的属性，例如：文件的修改时间、存储类型等，您可以在上传对象后对其进行查询。

Object基本信息

点击对象，在右侧可以看到基本信息和常用操作

Download：下载

Share：分享给其他人，其他人可以通过分享链接下载

Preview：预览

Tags：打标签

Inspect：加密

Object的访问

存储桶默认是private，直接通过url访问会报错http://localhost:9090/images/CountryFlags/flag_australia.png

This XML file does not appear to have any style information associated with it. The document tree is shown below.

<Error>
<Code>AccessDenied</Code>
<Message>Access Denied.</Message>
<Key>CountryFlags/flag_australia.png</Key>
<BucketName>images</BucketName>
<Resource>/images/CountryFlags/flag_australia.png</Resource>
<RequestId>17D3E1BABA783085</RequestId>
<HostId>e318e4cd5089903a714f2d5585fb1c70bf1ed0af4fc8fea5b3775a5a687fd040</HostId>
</Error>

为了测试方便，可以设置成public，这样我们就可以直接通过url访问对象

对象存储minio（四） | Objects 对象最先出现在wqh博客。

]]> https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e5%9b%9b%ef%bc%89-objects-%e5%af%b9%e8%b1%a1/feed/ 0 对象存储minio（三） | Buckets 存储桶 https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%89%ef%bc%89-buckets-%e5%ad%98%e5%82%a8%e6%a1%b6/ https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%89%ef%bc%89-buckets-%e5%ad%98%e5%82%a8%e6%a1%b6/#respond Thu, 17 Mar 2022 01:44:00 +0000 https://wangqianhong.com/?p=3006 minio使用bucket来存储对象。bucket类似于文件系统中的文件夹或目录，其中每个bucke… 继续阅读 对象存储minio（三） | Buckets 存储桶

对象存储minio（三） | Buckets 存储桶最先出现在wqh博客。

]]> minio使用bucket来存储对象。bucket类似于文件系统中的文件夹或目录，其中每个bucket可以容纳任意数量的对象。

存储桶

Buckets -> Create Bucket

创建成功之后，可以在Object Browser中查看所有的Buckets

Upload（上传）

点击Bucket，进入存储桶界面，可以上传单个文件或文件夹

上传完成之后，可以在控制台查看文件，并对文件进行操作

Configure（设置）

Summary：基本设置，包括设置桶的可见性，加密等

Events：允许管理员就某些对象或存储桶事件向支持的外部服务发送通知

Replication：源存储桶和目标存储桶之间对对象进行服务器端和客户端复制

Lifecycle：允许创建基于时间或日期的对象自动转换或到期规则，例如设置对象过期时间

Access：配置各种访问许可，包括策略和用户

Anonymous：匿名访问规则

对象存储minio（三） | Buckets 存储桶最先出现在wqh博客。

]]> https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%89%ef%bc%89-buckets-%e5%ad%98%e5%82%a8%e6%a1%b6/feed/ 0 对象存储minio（二） | docker配置 https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%8c%ef%bc%89-docker%e9%85%8d%e7%bd%ae/ https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%8c%ef%bc%89-docker%e9%85%8d%e7%bd%ae/#respond Sun, 13 Mar 2022 13:41:00 +0000 https://wangqianhong.com/?p=2982 MinIO (https://min.io/) 是一种高性能、兼容亚马逊 S3 协议的对象存储服务，… 继续阅读 对象存储minio（二） | docker配置

对象存储minio（二） | docker配置最先出现在wqh博客。

]]> MinIO (https://min.io/) 是一种高性能、兼容亚马逊 S3 协议的对象存储服务，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器 / 虚拟机镜像等，而一个对象文件可以是任意大小，从几 Kb 到最大 5T 不等。而且天然支持分布式，并可在任何云或本地基础设施上运行。

MinIO主要采用Golang语言实现，整个系统都运行在操作系统的用户态空间，客户端与存储服务器之间采用http/https通信协议。

Docker运行

编写minio.yml文件：

services:
  minio:
    image: 'minio/minio:latest'
    container_name: minio
    restart: always
    ports:
      - '9090:9090' #api
      - '9091:9091' #控制台
    volumes:
      - ~/minio/data:/data  #数据目录
      - ~/minio/config:/root/.minio  #配置目录
    environment:
      - MINIO_ROOT_USER=test  #控制台用户名
      - MINIO_ROOT_PASSWORD=test123  #控制台用户密码
    command: server --address ':9090' --console-address ':9091' /data

docker compose -f minio.yml up -d 运行镜像

通过控制台访问

http://localhost:9091/login

输入控制台用户密码即可登录

创建api SK

Access Keys -> Create access key

把生成的AK和SK保存到本地，方便后续使用，因为SK为了安全，在控制台是没有办法查看的

https配置

如果要开启https访问，要把公私密钥重命名为private.key和public.crt，放到config/certs目录下：

CAs
private.key
public.crt

在yml配置中加入https配置

environment:
      ...
      - MINIO_SERVER_URL=https://you.domain.com:9090
      - MINIO_BROWSER_REDIRECT_URL=https://you.domain.com:9091
healthcheck:
      test: ["CMD", "curl", "-f", "https://you.domain.com:9090/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

增加healthcheck用于心跳检测

docker compose -f minio.yml up -d 更新镜像

就可以通过https://you.domain.com:9091访问

对象存储minio（二） | docker配置最先出现在wqh博客。

]]> https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%ba%8c%ef%bc%89-docker%e9%85%8d%e7%bd%ae/feed/ 0 对象存储minio（一） | 对象存储 https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%80%ef%bc%89-%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8/ https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%80%ef%bc%89-%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8/#respond Fri, 04 Mar 2022 01:39:00 +0000 https://wangqianhong.com/?p=2992 常见的存储方式 块存储 ：像是一块块硬盘直接挂载在主机上，以卷或硬盘形式体现，对于存储的数据内容和格… 继续阅读 对象存储minio（一） | 对象存储

对象存储minio（一） | 对象存储最先出现在wqh博客。

]]> 常见的存储方式
  • 块存储 ：像是一块块硬盘直接挂载在主机上，以卷或硬盘形式体现，对于存储的数据内容和格式一无所知，只关心读取和写入，不关心关系和用途，数据按字节来访问，性能很高，但是太偏向于底层，不利于扩展，常见的有DAS（直连式存储）、SAN（存储区域网络）。
  • 文件存储：一般以文件和目录形式体现，有多级访问路径和基于文件系统的目录结构，数据以文件的形式进行存取，也可以进行一些高级管理功能，比如文件层面的访问权限控制等。文件存储可以很方便的进行共享，用途也非常广泛，但是其读写速度相对较慢，常见的有NAS(网络附加存储服务器)。
  • 对象存储：是一种基于对象的存储设备，综合了上面2种存储的优点，同时具有块存储的高速直接访问和文件存储的分布式数据共享等优势。适合存储海量图片、视频、日志文件、备份数据、容器镜像等。

对象存储结构

Bucket：存储空间是用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。

Object：对象（Object）是存储数据的基本单元，和传统的文件系统不同，Object没有文件目录层级结构的关系。

Key：可以理解文件名，是该对象的全局唯一标识符（UID）
Data：用户数据本体
Metadata：它是对象存储一个非常独特的概念，元数据有点类似数据的标签，标签的条目类型和数量是没有限制的，可以是对象的各种描述信息。

对象存储空间是一个“桶”（bucket），可以往“桶”里面放“对象（Object）”，这个对象包括三个部分：Key、Data、Metadata。

对象存储优点

  • 易用性：提供标准的RESTful API接口、丰富的SDK包、客户端工具、控制台。可以像使用文件一样方便地上传、下载、检索、管理用于Web网站或者移动应用的海量数据
  • 安全可靠：数据访问方面，所有的桶和对象都有ACL等访问控制策略，所有的连接都支持SSL加密，OBS系统会对访问用户进行身份鉴权，因为数据是分片存储在不同硬盘上的，所以即使有坏人偷了硬盘，也无法还原出完整的对象数据
  • 扩展性：对象存储的所有业务、存储节点采用分布式集群方式工作，各功能节点、集群都可以独立扩容，从理论上来说，某个对象存储系统或单个桶（bucket），并没有总数据容量和对象数量的限制

对象存储minio（一） | 对象存储最先出现在wqh博客。

]]> https://wangqianhong.com/2022/03/%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8minio%ef%bc%88%e4%b8%80%ef%bc%89-%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8/feed/ 0