成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供越秀網(wǎng)站建設、越秀做網(wǎng)站、越秀網(wǎng)站設計、越秀網(wǎng)站制作等企業(yè)網(wǎng)站建設、網(wǎng)頁設計與制作、越秀企業(yè)網(wǎng)站模板建站服務，10多年越秀做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡服務。 容器化RDS系列文章：

• 容器化RDS：計算存儲分離架構下的“Split-Brain”

• 容器化RDS：計算存儲分離還是本地存儲？

• 容器化RDS：你需要了解數(shù)據(jù)是如何被寫"壞"的

• 容器化RDS：借助 CSI 擴展 Kubernetes 存儲能力

借助 CSI（Container Storage Interface），加上對 Kubenetes 核心代碼的少量修改，可以 out-tree 的方式高效且低耦合的方式擴展 Kubenetes 存儲管理子模塊。
如《 容器化 RDS：借助 CSI 擴展 Kubernetes 存儲能力 》介紹，以 out-tree 方式添加 PVC 擴容（Resize）特性。
從可執(zhí)行程序到可用編程產(chǎn)品，還需要設計結合業(yè)務需求的性能基準測試，并對發(fā)現(xiàn)的性能瓶頸進行優(yōu)化。
經(jīng)驗數(shù)據(jù)表明，相同功能的編程產(chǎn)品的成本，至少是已經(jīng)過測試的程序的三倍。     ——人月神話
本文將分享性能基準測試的優(yōu)化案例：

• 發(fā)現(xiàn)性能瓶頸

• 確定問題組件

• 借助 CPU Profile 和 Flame Graph，快速縮小范圍，定位到問題 code-path

• 有針對的優(yōu)化

| 發(fā)現(xiàn)性能瓶頸

測試用例：

批量創(chuàng)建100個讀寫模式為RWO，容量為1GiB 的 PVC
期望測試結果：
180秒內(nèi)全部創(chuàng)建成功并無報錯

所有的編程人員都是樂觀主義者，畢竟在可能出現(xiàn)問題的地方，一定都會遇到問題，在耗時 3600 秒后，95% 的 PVC 處于 Pending 狀態(tài)，嚴格的說，在批量創(chuàng)建的場景，該功能不可用。

大量 PVC 處于 Pending 狀態(tài)

| 定位問題組件

由于涉及組件眾多：

• kube-apiserver

• kube-controller-manager

• kubelet

• external-provisioner

• external-attacher

• csi-driver

• qcfs-csi-plugin

組件之間調(diào)用復雜，再加上無處不在的協(xié)程（goroutine），如果直接查看日志或是 debug code 定位問題，猶如大海撈針，更不要說定位性能瓶頸。所以，首要工作是先定位到問題組件。
在測試過程中，我們記錄了所有組件和系統(tǒng)的資源使用情況，運氣不佳，從 CPU 使用情況，內(nèi)存使用情況，網(wǎng)絡 I/O 和磁盤 I/O 來看都沒有異常數(shù)據(jù)。
通過梳理存儲管理相關組件的架構圖：

架構圖

以及業(yè)務流程的梳理，kube-controller-manager、external-provisioner 和 csi-driver 嫌疑較大。

通過 kubelet logs 查看日志，可以在 external-provisioner 中發(fā)現(xiàn)可疑日志：

I0728 19:19:50.504069    1 request.go:480] Throttling request took 192.714335ms, request: POST:https://10.96.0.1:443/api/v1/namespaces/default/events
I0728 19:19:50.704033    1 request.go:480] Throttling request took 190.667675ms, request: POST:https://10.96.0.1:443/api/v1/namespaces/default/events

external-provisioner 訪問 kube-apiserver 觸發(fā)限流

external-provisioner 有重大嫌疑。

| 定位問題 code-path

我們可以立馬進入調(diào)試環(huán)節(jié)：

1. 閱讀 external-provisioner 代碼，加入調(diào)試日志，理解邏輯

2. 不斷縮小 code-path

步驟 1、2持續(xù)迭代，直到最終定位到問題函數(shù)，這是非常有效的辦法。
或者采用 CPU profile：

1. 采集堆棧樣本

2. 找到在采樣手氣內(nèi)消耗 CPU 時間比率最高的函數(shù)，把該函數(shù)作為調(diào)試的起點

相比上一種，更高效的縮小問題的范圍，節(jié)省更多的時間。

借助模塊“net/http/pprof”，對 external-provisioner 進行 60 秒的 CPU 采樣，可以獲得如下信息：
生成堆棧使用百分比排序：

函數(shù)的調(diào)用關系以及采樣周期內(nèi) CPU 耗時百分比：

針對“net/http/pprof”稍微啰嗦幾句：

• 提供 CPU profile 和 Heap profile；

• 在采樣時獲得堆棧(幾乎所有)信息, 以此為依據(jù)估算整個采樣周期內(nèi)堆棧的CPU占用百分比, 并不是 100% 準確；

• 采樣成本并不低，100赫茲既可以采樣夠用的堆棧信息，又不會給應用程序帶來過大開銷；

• CPU 采樣頻率默認為 100 赫茲，并硬編碼到模塊中, 不建議調(diào)到 500 赫茲以上。

網(wǎng)上已經(jīng)有大量的相關文章，這里不贅述。
配合獲取的 CPU profile 信息生成火焰圖（Flame Graph）：

這里針對火焰圖再啰嗦下：

• 借助第三方工具 go-torch 繪制

• 每個矩形代表一個堆棧，采樣時間內(nèi)，CPU 占用百分比越高 Y 軸越長，X 軸表明了堆棧之間的調(diào)用關系

• 從左到右按照字母表排序

• 顏色隨機選擇，無具體含義

網(wǎng)上已經(jīng)有大量的相關文章，這里不贅述。
可以發(fā)現(xiàn)函數(shù) addClaim 和 lockProvisionClaimOperation 的 CPU 占用比率達到 36.23%。

來自于 external-provisioner 調(diào)用的第三方模塊 kubenetes-incubator/external-storage

所以，只要引用例如了模塊 Kubenetes-incubator/external-storage 實現(xiàn)卷創(chuàng)建功能，都可以復現(xiàn) api throttling。

再針對性的加入調(diào)試日志到 code-path 中，理解邏輯，很快可以確定問題：
在創(chuàng)建卷時，external-storage 需要訪問 API 資源（譬如 configmap、pvc、pv、event、secrets、storageclass 等），為減少 kube-apiserver 工作負荷，不建議直接訪問 kube-apiserver，而應該利用本地緩存（由 informer cache 構建）。但 external-storage 恰好直接訪問 kube-apiserver。通過下圖可以看到，有18.84%的采樣時間在 list event，這是導致 api throttling 的原因。

進一步分析，之所以有大量的 list event 是因為 Leader Election 的 Lock 實現(xiàn)粒度太細導致鎖搶占嚴重。生產(chǎn)環(huán)境中，一個組件會啟動多個實例，搶占到 Leader Lock 的實例即為 Leader 并對外提供服務，其他實例以 Slave 模式運行，一旦 Leader 出現(xiàn)問題，Slave 發(fā)現(xiàn) Leader Lock 在租期內(nèi)沒有更新即可發(fā)起搶占成為新的 Leader 并接管服務。這樣不僅提升了組件的可用性也避免了可能帶來的 data race 問題。所以可以理解成是一個組件實例一把鎖，并且只在 Leader 和 Slave 角色切換時才會重新選主，但 external-storage 原意為了提升并發(fā)度，運行多個實例同時為 Leader 提供服務，可以簡單理解成一個 PVC 一把鎖，100 PVC 就意味著多個實例要最少發(fā)生100次的 Lock 搶占。

最終定位到問題原因：
Lock 的搶占導致 api throttling，引發(fā) Lock 搶占 timeout，timeout 后搶占重試，進一步惡化 api throttling。
從下圖可以進一步得到驗證，有 8.7% 的采樣時間在進行 Leader Election。

| 解決問題

一旦發(fā)現(xiàn)問題的根源，解決它反而是件不難的事情。后面針對該問題做了修復：

• 采用 sharedinformer cache

• 修改 Leader Lock 粒度

再次生成運行，可以發(fā)現(xiàn)函數(shù) addClaim 和 lockProvisionClaimOperation 的 CPU 占用百分比下降到 13.95%。

external-provisioner 日志中的 throttling 關鍵字消失

100 PVC 的時間縮短到60秒以內(nèi)全部創(chuàng)建成功，無任何報錯。

| 結語

對于終端用戶而言，交互的界面越來越簡單，但對于開發(fā)者而言，組件越來越多，編譯一次的時間越來越久，加上無處不在的并發(fā)，導致定位問題的難度越來越大，尤其是性能問題。所以，對體系架構的理解能幫我們快速鎖定問題組件，配合 Profile 工具和 Flame Graph 快速定位 code-path，再加上對業(yè)務邏輯的理解找到解決方案。

所有的編程人員都是樂觀主義者，無論是什么樣的程序，結果是勿庸置疑的："這次它肯定會運行。" 或者 "我剛剛找出了最后一個問題。"              ——人月神話

| 作者簡介

熊中哲·沃趣科技聯(lián)合創(chuàng)始人

曾就職于阿里巴巴和百度，超過10年關系型數(shù)據(jù)庫工作經(jīng)驗，目前致力于將云原生技術引入到關系型數(shù)據(jù)庫服務中。

分享題目：容器化RDS：借助火焰圖定位Kubernetes性能問題-創(chuàng)新互聯(lián)
鏈接URL：http://www.weahome.cn/article/dshjoi.html