当前位置：首页 > 技术分析 > 正文内容

五分钟轻松熟悉一个k8s Operator应用制作

ruisui884个月前 (02-03)技术分析18

简介： operator 是一种 kubernetes 的扩展形式，可以帮助用户以 Kubernetes 的声明式 API 风格自定义来管理应用及服务，operator已经成为分布式应用在k8s集群部署的事实标准了，在云原生时代系统想迁移到k8s集群上编写operator应用是必不可少的能力，这里介绍用 CoreOS 的 operator framework 工具如何快速构建一个 operator 应用。



再说 operator 之前让我们先来了解下什么是 CRD （自定义资源描述，Custom Resource Definition）？

CRD

在 Kubernetes 中我们使用的 Deployment， DamenSet，StatefulSet, Service，Ingress, ConfigMap, Secret 这些都是资源，而对这些资源的创建、更新、删除的动作都会被称为为事件(Event)，Kubernetes 的 Controller Manager 负责事件监听，并触发相应的动作来满足期望（Spec），这种方式也就是声明式，即用户只需要关心应用程序的最终状态。当我们在使用中发现现有的这些资源不能满足我们的需求的时候，Kubernetes 提供了自定义资源（Custom Resource）和 opertor 为应用程序提供基于 kuberntes 扩展。



CRD 则是对自定义资源的描述(Custom Resource Definition)，也就是介绍这个资源有什么属性呀，这些属性的类型是什么，结构是怎样的这类。

我们看一个postgres-operator的CRD：

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: postgresqls.acid.zalan.do
  labels:
    app.kubernetes.io/name: postgres-operator
  annotations:
    "helm.sh/hook": crd-install
spec:
  group: acid.zalan.do
  names:
    kind: postgresql
    listKind: postgresqlList
    plural: postgresqls
    singular: postgresql
    shortNames:
    - pg
  additionalPrinterColumns:
  - name: Team
    type: string
    description: Team responsible for Postgres CLuster
    JSONPath: .spec.teamId
  - name: Version
    type: string
    description: PostgreSQL version
    JSONPath: .spec.postgresql.version
  - name: Pods
    type: integer
    description: Number of Pods per Postgres cluster
    JSONPath: .spec.numberOfInstances
  - name: Volume
    type: string
    description: Size of the bound volume
    JSONPath: .spec.volume.size
...

从上面的 CRD 文件可以看到 CRD 主要包括apiVersion、kind、metadata和spec四个部分。其中最关键的是apiVersion和kind，apiVersion表示资源所属组织和版本，apiVersion一般由APIGourp和Version组成，这里的 APIGourp 是apiextensions.k8s.io，Version 是v1beta1，相关信息可以通过kubectl api-resoures查看。kind 表示资源类型，这里是CustomResourceDefinition，表示是一个自定义的资源描述。

operator是什么

CoreOS 在 2016 年底提出了 Operator 的概念，当时的一段官方定义如下：

An Operator represents human operational knowledge in software, to reliably manage an application.

operator 是一种 kubernetes 的扩展形式，利用自定义资源对象（Custom Resource）来管理应用和组件，允许用户以 Kubernetes 的声明式 API 风格来管理应用及服务。operator 定义了一组在 Kubernetes 集群中打包和部署复杂业务应用的方法，operator主要是为解决特定应用或服务关于如何运行、部署及出现问题时如何处理提供的一种特定的自定义方式。比如：

  • 按需部署应用服务（总不能用一大堆configmap来管理吧，也会很混乱~w(Д)w）
  • 实现应用状态的备份和还原，完成版本升级，比如
  • 数据库 schema 或额外的配置设置的改动
  • 为分布式应用进行master选举，例如etcd，或者master-slave架构的mysql集群。

operator SDK

operator SDK —— operator framework，是 CoreOS 公司开发和维护的用于快速创建 operator 的工具，可以帮助我们快速构建 operator 应用，类似的工具还有：

  • KUDO (Kubernetes 通用声明式 Operator)
  • kubebuilder，kubernetes SIG 在维护的一个项目
  • Metacontroller，可与 Webhook 结合使用，以实现自己的功能。

如果希望查看 Operator 生态，可以上 operatorhub.io ，也可以将自己创建的应用发布上去。

operator 安装

安装 operator sdk:

export RELEASE_VERSION=v0.13.0
curl -LO https://github.com/operator-framework/operator-sdk/releases/download/${RELEASE_VERSION}/operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu
chmod +x operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu && sudo mkdir -p /usr/local/bin/ && sudo cp operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu /usr/local/bin/operator-sdk && rm operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu

基于模板创建项目

用operator sdk 创建项目模板，这里用官方提供的一个sample-controller的模板：

operator-sdk new <controller-name> --repo github.com/kubernetes/sample-controller

项目结构目录创建完成，如下：

$ operator-sdk new test-controller --repo github.com/kubernetes/sample-controller
$ tree
.
├── build
│   ├── bin
│   │   ├── entrypoint
│   │   └── user_setup
│   └── Dockerfile
├── cmd
│   └── manager
│       └── main.go
├── deploy
│   ├── operator.yaml
│   ├── role_binding.yaml
│   ├── role.yaml
│   └── service_account.yaml
├── go.mod
├── go.sum
├── pkg
│   ├── apis
│   │   └── apis.go
│   └── controller
│       └── controller.go
├── tools.go
└── version
    └── version.go



创建CRD

创建CRD：

operator-sdk add api --api-version=<api的版本> --kind=<类型名称>

创建CRD后，多出来了文件夹：

$ operator-sdk add api --api-version=test.k8s.realibox.com/v1 --kind=Realibox

INFO[0000] Generating api version test.k8s.realibox.com/v1 for kind Realibox. 
INFO[0000] Created pkg/apis/test/group.go               
INFO[0002] Created pkg/apis/test/v1/realibox_types.go   
INFO[0002] Created pkg/apis/addtoscheme_test_v1.go      
INFO[0002] Created pkg/apis/test/v1/register.go         
INFO[0002] Created pkg/apis/test/v1/doc.go              
INFO[0002] Created deploy/crds/test.k8s.realibox.com_v1_realibox_cr.yaml 
INFO[0004] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
INFO[0004] Running deepcopy code-generation for Custom Resource group versions: [test:[v1], ] 
INFO[0014] Code-generation complete.                    
INFO[0014] Running CRD generation for Custom Resource group versions: [test:[v1], ] 
INFO[0014] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
INFO[0014] CRD generation complete.                     
INFO[0014] API generation complete.      

$ tree
...
├── pkg
│   ├── apis
│   │   ├── addtoscheme_test_v1.go
│   │   ├── apis.go
│   │   └── test
│   │       ├── group.go
│   │       └── v1
│   │           ├── doc.go
│   │           ├── realibox_types.go
│   │           ├── register.go
│   │           └── zz_generated.deepcopy.go
│   └── controller
│       └── controller.go
...

test 文件夹下面放的就是 CRD，我们通过pkg/apis/test/v1/*_types.go文件定义我们的CRD结构，主要是Spec和Status：

vim pkg/apis/test/v1/realibox_types.go
...
// RealiboxSpec defines the desired state of Realibox
type RealiboxSpec struct {
        // INSERT ADDITIONAL SPEC FIELDS - desired state of cluster
        // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
        // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
}

type RealiboxStatus struct {
    // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
    // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
    // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
}
...

这里我们只改Spec字段，将RealiboxSpec结构体改为：

type RealiboxSpec struct {
    Domain string `json:"domain,omitempty"`
    OSS string `json:"oss,omitempty"`
    Size    string `json:"size,omitempty"`
}

更新CRD文件：

operator-sdk generate k8s
operator-sdk generate crds

CRD本质是一种k8s的资源，因此要使用crd，需要在K8s集群上创建CRD：

kubectl apply -f deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml

查看集群CRD：

$ kubectl get crd
NAME                                      CREATED AT
clusterauthtokens.cluster.cattle.io       2020-08-29T06:41:42Z
clusteruserattributes.cluster.cattle.io   2020-08-29T06:41:42Z
realiboxes.test.k8s.realibox.com          2020-08-29T07:57:44Z

编写controller

创建好 CRD 后，我们可以编写 controller 了，先创建一个 controller 监听和核对新创建的realibox资源类型：

命令行说明:

operator-sdk add controller --api-version=<api的版本> --kind=<类型名称>

运行结果：

$ operator-sdk add controller --api-version=test.k8s.realibox.com/v1 --kind=Realibox

$ tree
...
├── pkg
│   ├── apis
│   │   ├── addtoscheme_test_v1.go
│   │   ├── apis.go
│   │   └── test
│   │       ├── group.go
│   │       └── v1
│   │           ├── doc.go
│   │           ├── realibox_types.go
│   │           ├── register.go
│   │           └── zz_generated.deepcopy.go
│   └── controller
│       ├── add_realibox.go
│       ├── controller.go
│       └── realibox
│           └── realibox_controller.go
...

在pkg/controller目录下生成了controller代码，在pkg/controller/realibox/realibox_controller.go编写代码逻辑即可，在这里，我将CR信息在创建pod之前打印到日志里：

...
func (r *ReconcileRealibox) Reconcile(request reconcile.Request) (reconcile.Result, error) {
  ...
    reqLogger.Info(fmt.Sprintf("Domain: %v created, oss info:%v, size: %v",instance.Spec.Domain,instance.Spec.OSS, instance.Spec.Size))
    // Define a new Pod object
    pod := newPodForCR(instance)

    ...
}
...

下面就可以运行 controller 了。

注：如果希望对集群进行更多的复杂操作，可以使用client-go来操作 Kubernetes 的资源，client-go是一个对 Kubernetes API 进行封装的库，由 Kubernetes 官方提供，还是十分好用的。

运行 controller

运行controller有两种方法，可以在本地直接运行controller，也可以打包到k8s运行。

本地运行controller

在本地运行controller直接go run就可以了：

export WATCH_NAMESPACE=default
go run cmd/manager/main.go

注意：不管是在本地运行还是远程运行都需要先在集群中创建CRD

运行好后我们可以编写一个CR资源，提交到k8s集群中：

apiVersion: test.k8s.realibox.com/v1
kind: Realibox
metadata:
  name: example-realibox
spec:
  domain: "realibox.com"
  oss: "aliyun.com"
  size: "3Gb"

通过kubectl提交到集群，可以看到controller程序已经收到CR注册内容打印出来了：

...
{"level":"info","ts":1598689291.273161,"logger":"controller_realibox","msg":"Domain: realibox.com created, oss info:aliyun.com, size: 3Gb","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598689291.2731829,"logger":"controller_realibox","msg":"Skip reconcile: Pod already exists","Request.Namespace":"default","Request.Name":"example-realibox","Pod.Namespace":"default","Pod.Name":"example-realibox-pod"}
...

打包提交到k8s运行

如果我们controller完成，我们可以将其打包放到k8s上运行：

打包镜像

这里用的阿里云镜像仓库：

operator-sdk build registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1  --image-builder docker

将打包好镜像上传镜像仓库：

docker login --username=shikanon@foxmail.com registry.cn-shenzhen.aliyuncs.com
docker push registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1

更改deploy/operator.yaml里面的镜像名称：

...
    spec:
      serviceAccountName: test-controller
      containers:
        - name: test-controller
          # Replace this with the built image name
          image: registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1
          command:
          - test-controller
          imagePullPolicy: Always
...

将deploy下的YAML文件提交到集群中

kubectl apply -f deploy/service_account.yaml
kubectl apply -f deploy/role.yaml
kubectl apply -f deploy/role_binding.yaml
kubectl apply -f deploy/operator.yaml

查看状态，确保全部成功：

$ kubectl get all
NAME                                   READY   STATUS    RESTARTS   AGE
pod/test-controller-75bf886d9c-whjdn   1/1     Running   0          23s

NAME                              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
service/kubernetes                ClusterIP   10.43.0.1       <none>        443/TCP             123m
service/test-controller-metrics   ClusterIP   10.43.100.251   <none>        8383/TCP,8686/TCP   12s

NAME                              READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/test-controller   1/1     1            1           23s

NAME                                         DESIRED   CURRENT   READY   AGE
replicaset.apps/test-controller-75bf886d9c   1         1         1       23s

提交CR

这和单机运行是一样的，编写一个CR提交到集群，然后可以通过controller的pod日志查看到变化：

$ kubectl logs -f test-controller-75bf886d9c-whjdn
...
{"level":"info","ts":1598690827.2699623,"logger":"controller_realibox","msg":"Reconciling Realibox","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598690827.270006,"logger":"controller_realibox","msg":"Domain: realibox.com created, oss info:aliyun.com, size: 3Gb","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598690827.2700245,"logger":"controller_realibox","msg":"Skip reconcile: Pod already exists","Request.Namespace":"default","Request.Name":"example-realibox","Pod.Namespace":"default","Pod.Name":"example-realibox-pod"}
...


参考文献

  • https://kubernetes.io/zh/docs/concepts/extend-kubernetes/operator/
  • https://developer.aliyun.com/article/772224
  • https://liqiang.io/post/kubernetes-all-about-crd-part06-kubebuilder-and-operator-sdk-d6e0858e
  • https://www.shikanon.com/2020/%E8%BF%90%E7%BB%B4/%E5%9F%BA%E4%BA%8Eoperator-sdk%E6%A1%86%E6%9E%B6%E7%BC%96%E5%86%99CRD/
  • https://coreos.com/blog/introducing-operators.html
  • https://cloud.google.com/blog/products/containers-kubernetes/best-practices-for-building-kubernetes-operators-and-stateful-apps
  • https://mp.weixin.qq.com/s/aXdbBJlUAQp6YPvZU3isSQ

扫描二维码推送至手机访问。

版权声明：本文由ruisui88发布，如需转载请注明出处。

本文链接：http://www.ruisui88.com/post/754.html

标签: spec.ts
分享给朋友：
返回列表

上一篇：PCIe Gen3/Gen4接收端链路均衡测试—理论篇

下一篇：Python 3.12 到底更新了啥?（python更新到哪个版本了）

“五分钟轻松熟悉一个k8s Operator应用制作” 的相关文章

给大家分享几个漂亮的 Arch Linux 发行版

ArchLinux是一款备受欢迎的、面向技术爱好者和Linux专业人士的发行版。它以其简洁、灵活和高度可定制的特点而闻名，但对于一些人来说，配置和设置ArchLinux可能会有一些挑战。为了方便那些希望快速入门并且喜欢漂亮外观的人，我们想分享几个令人赞叹的ArchLinux发行版，它们提供了美观的界...

Vue进阶(二十六):详解router.push()

在Vue2.0路由跳转中，除了使用 <router-link> 声明式创建 a 标签来定义导航链接，还可以借助 router 的实例方法，通过编码式编写代码来实现。router.push(location)想要导航到不同的 URL，则使用 router.push 方法。这个方法会向 hi...

微信企业号首款永久免费应用问世

7月14日，微信企业号移动办公应用领跑者——办公逸宣布：其所研发的微信办公应用将永久免费，企事业单位只要拥有微信企业号都可以免费安装办公逸各项应用，此举标志着微信办公免费时代现已到来!据悉，办公逸(www.bangongyi.com)现已推出四大微信办公套件，分别为：移动办公管理套件、客户关系管理套...

微信开发的五大价值应用

企业形象展示微网站是企业在移动互联网时代完美展示企业及品牌形象的最佳选择，表现内容丰富、实时更新、形式多样化，保证品牌形象的有效传播！微网站带来的轻营销模式，更适应现代网站的发展模式，所以微网站的开发也具有更好的商业营销效果，其面对的受众是7亿多的微信用户，蕴含着无限的商机。将企业微网站植入微信公众...

linux网络编程Socket之RST详解

产生RST的三个条件：1. 目的地为某端口的SYN到达，然而该端口上没有正在监听的服务器；2. TCP想取消一个已有的连接；3. TCP接收到一个根本不存在的连接上的分节；现在模拟上面的三种情况：client：struct sockaddr_in serverAdd; bzero(&s...

电工也体会到英文也博大精深了意思一样字母不相同而且还经常遇到

在学习电工电路中，往往和电路图有密切关系，之前老师常说要学会看图，认识电气符号。我觉得这还是不够的。因为在一些电路中存在很多英文字母，它们并不代表电器元件。而是一种电路名称或命名。以下是我在工作中看到过字母常见的意思一样。 如:UVW=RST=ABC=T1T2T3=L1L2L3三相黄绿红 .交流火线...

蜀ICP备2024111239号-14