了解如何在 Kube.NETes 上安裝 Pinot Control Plane，配置您的第一個(gè) Pinot 集群，并深入了解控制平面功能。
作為一名經(jīng)驗(yàn)豐富的專業(yè)人士，我作為 Apache Druid k8s operator 的維護(hù)者獲得了豐富的經(jīng)驗(yàn)，并且與人合著并致力于各種 k8s operators/庫(kù)。通過(guò)我的經(jīng)驗(yàn)，我認(rèn)識(shí)到需要建立特定于應(yīng)用程序的控制平面，以促進(jìn)大數(shù)據(jù)在 Kubernetes 上的順利運(yùn)行。
在我過(guò)去的角色中，我為 RillData 的 Druid、Startree 的 Pinot 和 Chistadata 的 Clickhouse 構(gòu)建了 Kubernetes 控制平面。在所有三個(gè) OLAP 商店工作之后，我現(xiàn)在完全致力于我的最新企業(yè) DataInfra，該公司專注于構(gòu)建高效的控制平面，使數(shù)據(jù)能夠在 Kubernetes 上無(wú)縫運(yùn)行。
為什么 Pinot 的控制平面？
我們相信 Kubernetes 可以作為任何應(yīng)用程序的控制平面，包括那些具有數(shù)據(jù)和狀態(tài)集的應(yīng)用程序。雖然 Helm 圖表對(duì)配置管理很有用，但它們不維護(hù)應(yīng)用程序的狀態(tài)。這就是我們基于 Kubernetes 操作符模式構(gòu)建控制平面的原因，它充當(dāng)您的應(yīng)用程序需求和 Kubernetes 基礎(chǔ)設(shè)施之間的橋梁。
k8s 的 Pinot 控制平面專門(mén)設(shè)計(jì)用于改善運(yùn)行 Apache Pinot 集群的用戶體驗(yàn)。作為一個(gè)分布式數(shù)據(jù)庫(kù)，如果沒(méi)有合適的工具，Pinot 很難在 Kubernetes 上運(yùn)行。我們的項(xiàng)目基于DSOI 規(guī)范，并使用Operator-Runtime庫(kù)構(gòu)建，以提供更加用戶友好和 Kubernetes 友好的體驗(yàn)。
本項(xiàng)目基于 Kubernetes 算子模式，但不限于此模式。鑒于 Pinot 的復(fù)雜性，僅依靠 Kubernetes 運(yùn)營(yíng)商可能不足以有效管理其運(yùn)營(yíng)。我們對(duì)該項(xiàng)目的愿景是創(chuàng)建一套全面的工具和實(shí)用程序，以實(shí)現(xiàn) Pinot 在 Kubernetes 上的無(wú)縫部署和操作。
安裝 Pinot 控制平面
Pinot 控制平面支持基于Helm Chart 的部署。要安裝圖表，請(qǐng)運(yùn)行以下命令。我們將使用 Makefile 命令來(lái)引導(dǎo)控制平面。
- Clone the Repo
git clone https://Github.com/datainfrahq/pinot-control-plane-k8s.git
- 部署 Pinot 控制平面——以下命令在 pinot-control-plane 命名空間中使用 helm 部署控制平面。
make helm-install-pinot-control-plane
- 部署 Zookeeper Operator 和 Zookeeper — 以下命令需要幾分鐘才能完成。它將在 zookeeper-operator 命名空間中部署 zookeeper operator，在 pinot 命名空間中部署 zk statefulset
make helm-install-zk-operator
安裝 Pinot Cluster
導(dǎo)出 Kubernetes 存儲(chǔ)類。
export STORAGE_CLASS_NAME=standard
- 安裝 Pinot Cluster
envsubst < examples/00-pinot-basic/pinot-basic.yaml | kubectl Apply -f - -n pinot
安裝 Kafka 集群并創(chuàng)建主題
- 添加 Helm 倉(cāng)庫(kù)并安裝 Kafka 集群
# Add Kafka
helm repo add kafka https://charts.bitnami.com/bitnami
# Deploy kafka
helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest
- Kafka Pod 啟動(dòng)并運(yùn)行后，創(chuàng)建主題
# Add Kafka
helm repo add kafka https://charts.bitnami.com/bitnami
# Deploy kafka
helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest
創(chuàng)建 Pinot 模式
- Pinot 控制平面支持模式的創(chuàng)建。
kubectl apply -f examples/00-pinot-basic/pinotschema-basic.yaml -n pinot
創(chuàng)建比諾表
- Pinot 控制平面支持創(chuàng)建表。
kubectl apply -f examples/00-pinot-basic/pinottable-basic.yaml -n pinot
將數(shù)據(jù)提取到 Kafka
- 將數(shù)據(jù)提取到 kafka 主題中
kubectl apply -f examples/00-pinot-basic/pinot-realtime-kafka.yaml
訪問(wèn) Pinot 控制臺(tái)
- 通過(guò)端口轉(zhuǎn)發(fā)控制器 pod 或 svc 訪問(wèn) pinot 控制臺(tái)。
kubectl port-forward pinot-controller-controller-0 -n pinot 9000
