TiDB 是 PingCAP 自主研發(fā)的開(kāi)源分布式關(guān)系型數(shù)據(jù)庫(kù)，具備商業(yè)級(jí)數(shù)據(jù)庫(kù)的數(shù)據(jù)可靠性，可用性，安全性等特性，支持在線(xiàn)彈性水平擴(kuò)展，兼容 MySQL 協(xié)議及生態(tài)，創(chuàng)新性實(shí)現(xiàn) OLTP 及 OLAP 融合。
創(chuàng)新互聯(lián)公司專(zhuān)注為客戶(hù)提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、成都網(wǎng)站制作、大廠(chǎng)網(wǎng)絡(luò)推廣、微信小程序、大廠(chǎng)網(wǎng)絡(luò)營(yíng)銷(xiāo)、大廠(chǎng)企業(yè)策劃、大廠(chǎng)品牌公關(guān)、搜索引擎seo、人物專(zhuān)訪(fǎng)、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供大廠(chǎng)建站搭建服務(wù)，24小時(shí)服務(wù)熱線(xiàn)：18982081108，官方網(wǎng)址：www.cdcxhl.com
TiDB 3.0 版本顯著提升了大規(guī)模集群的穩(wěn)定性，集群支持 150+ 存儲(chǔ)節(jié)點(diǎn)，300+TB 存儲(chǔ)容量長(zhǎng)期穩(wěn)定運(yùn)行。易用性方面引入大量降低用戶(hù)運(yùn)維成本的優(yōu)化，包括引入 Information_Schema 中的多個(gè)實(shí)用系統(tǒng)視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面，特別是 OLTP 性能方面，3.0 比 2.1 也有大幅提升，其中 TPC-C 性能提升約 4.5 倍，Sysbench 性能提升約 1.5 倍，OLAP 方面，TPC-H 50G Q15 因?qū)崿F(xiàn) View 可以執(zhí)行，至此 TPC-H 22 個(gè) Query 均可正常運(yùn)行。新功能方面增加了窗口函數(shù)、視圖（實(shí)驗(yàn)特性）、分區(qū)表、插件系統(tǒng)、悲觀(guān)鎖（實(shí)驗(yàn)特性）。
截止本文發(fā)稿時(shí) TiDB 已在 500+ 用戶(hù)的生產(chǎn)環(huán)境中長(zhǎng)期穩(wěn)定運(yùn)行，涵蓋金融、保險(xiǎn)、制造，互聯(lián)網(wǎng)， 游戲 等領(lǐng)域，涉及交易、數(shù)據(jù)中臺(tái)、 歷史 庫(kù)等多個(gè)業(yè)務(wù)場(chǎng)景。不同業(yè)務(wù)場(chǎng)景對(duì)關(guān)系型數(shù)據(jù)庫(kù)的訴求可用 “百花齊放”來(lái)形容，但對(duì)關(guān)系數(shù)據(jù)庫(kù)最根本的訴求未發(fā)生任何變化，如數(shù)據(jù)可靠性，系統(tǒng)穩(wěn)定性，可擴(kuò)展性，安全性，易用性等。請(qǐng)跟隨我們的腳步梳理 TiDB 3.0 有什么樣的驚喜。
3.0 與 2.1 版本相比，顯著提升了大規(guī)模集群的穩(wěn)定性，支持單集群 150+ 存儲(chǔ)節(jié)點(diǎn)，300+TB 存儲(chǔ)容量長(zhǎng)期穩(wěn)定運(yùn)行，主要的優(yōu)化點(diǎn)如下：
1. 優(yōu)化 Raft 副本之間的心跳機(jī)制，按照 Region 的活躍程度調(diào)整心跳頻率，減小冷數(shù)據(jù)對(duì)集群的負(fù)擔(dān)。
2. 熱點(diǎn)調(diào)度策略支持更多參數(shù)配置，采用更高優(yōu)先級(jí)，并提升熱點(diǎn)調(diào)度的準(zhǔn)確性。
3. 優(yōu)化 PD 調(diào)度流程，提供調(diào)度限流機(jī)制，提升系統(tǒng)穩(wěn)定性。
4. 新增分布式 GC 功能，提升 GC 的性能，降低大集群 GC 時(shí)間，提升系統(tǒng)穩(wěn)定性。
眾所周知，數(shù)據(jù)庫(kù)查詢(xún)計(jì)劃的穩(wěn)定性對(duì)業(yè)務(wù)至關(guān)重要，TiDB 3.0 版本采用多種優(yōu)化手段提升查詢(xún)計(jì)劃的穩(wěn)定性，如下：
1. 新增 Fast Analyze 功能，提升收集統(tǒng)計(jì)信息的速度，降低集群資源的消耗及對(duì)業(yè)務(wù)的影響。
2. 新增 Incremental Analyze 功能，提升收集單調(diào)遞增的索引統(tǒng)計(jì)信息的速度，降低集群資源的消耗及對(duì)業(yè)務(wù)的影響。
3. 在 CM-Sketch 中新增 TopN 的統(tǒng)計(jì)信息，緩解 CM-Sketch 哈希沖突導(dǎo)致估算偏大，提升代價(jià)估算的準(zhǔn)確性，提升查詢(xún)計(jì)劃的穩(wěn)定性。
4. 引入 Skyline Pruning 框架，利用規(guī)則防止查詢(xún)計(jì)劃過(guò)度依賴(lài)統(tǒng)計(jì)信息，緩解因統(tǒng)計(jì)信息滯后導(dǎo)致選擇的查詢(xún)計(jì)劃不是最優(yōu)的情況，提升查詢(xún)計(jì)劃的穩(wěn)定性。
5. 新增 SQL Plan Management 功能，支持在查詢(xún)計(jì)劃不準(zhǔn)確時(shí)手動(dòng)綁定查詢(xún)計(jì)劃，提升查詢(xún)計(jì)劃的穩(wěn)定性。
1. OLTP
3.0 與 2.1 版本相比 Sysbench 的 Point Select，Update Index，Update Non-Index 均提升約 1.5 倍，TPC-C 性能提升約 4.5 倍。主要的優(yōu)化點(diǎn)如下：
1. TiDB 持續(xù)優(yōu)化 SQL 執(zhí)行器，包括：優(yōu)化 NOT EXISTS 子查詢(xún)轉(zhuǎn)化為 Anti Semi Join，優(yōu)化多表 Join 時(shí) Join 順序選擇等。
2. 優(yōu)化 Index Join 邏輯，擴(kuò)大 Index Join 算子的適用場(chǎng)景并提升代價(jià)估算的準(zhǔn)確性。
3. TiKV 批量接收和發(fā)送消息功能，提升寫(xiě)入密集的場(chǎng)景的 TPS 約 7%，讀密集的場(chǎng)景提升約 30%。
4. TiKV 優(yōu)化內(nèi)存管理，減少 Iterator Key Bound Option 的內(nèi)存分配和拷貝，多個(gè) Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。
5. 引入 Titan 存儲(chǔ)引擎插件，提升 Value 值超過(guò) 1KB 時(shí)性能，緩解 RocksDB 寫(xiě)放大問(wèn)題，減少磁盤(pán) IO 的占用。
6. TiKV 新增多線(xiàn)程 Raftstore 和 Apply 功能，提升單節(jié)點(diǎn)內(nèi)可擴(kuò)展性，進(jìn)而提升單節(jié)點(diǎn)內(nèi)并發(fā)處理能力和資源利用率，降低延時(shí)，大幅提升集群寫(xiě)入能力。
TiDB Lightning 性能與 2019 年年初相比提升 3 倍，從 100GB/h 提升到 300GB/h，即 28MB/s 提升到 85MB/s，優(yōu)化點(diǎn)，如下：
1. 提升 SQL 轉(zhuǎn)化成 KV Pairs 的性能，減少不必要的開(kāi)銷(xiāo)。
2. 提升單表導(dǎo)入性能，單表支持批量導(dǎo)入。
3. 提升 TiKV-Importer 導(dǎo)入數(shù)據(jù)性能，支持將數(shù)據(jù)和索引分別導(dǎo)入。
4. TiKV-Importer 支持上傳 SST 文件限速功能。
RBAC（Role-Based Access Control，基于角色的權(quán)限訪(fǎng)問(wèn)控制） 是商業(yè)系統(tǒng)中最常見(jiàn)的權(quán)限管理技術(shù)之一，通過(guò) RBAC 思想可以構(gòu)建最簡(jiǎn)單“用戶(hù)-角色-權(quán)限”的訪(fǎng)問(wèn)權(quán)限控制模型。RBAC 中用戶(hù)與角色關(guān)聯(lián)，權(quán)限與角色關(guān)聯(lián)，角色與權(quán)限之間一般是多對(duì)多的關(guān)系，用戶(hù)通過(guò)成為什么樣的角色獲取該角色所擁有的權(quán)限，達(dá)到簡(jiǎn)化權(quán)限管理的目的，通過(guò)此版本的迭代 RBAC 功能開(kāi)發(fā)完成。
IP 白名單功能（企業(yè)版特性） ：TiDB 提供基于 IP 白名單實(shí)現(xiàn)網(wǎng)絡(luò)安全訪(fǎng)問(wèn)控制，用戶(hù)可根據(jù)實(shí)際情況配置相關(guān)的訪(fǎng)問(wèn)策略。
Audit log 功能（企業(yè)版特性） ：Audit log 記錄用戶(hù)對(duì)數(shù)據(jù)庫(kù)所執(zhí)行的操作，通過(guò)記錄 Audit log 用戶(hù)可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行故障分析，行為分析，安全審計(jì)等，幫助用戶(hù)獲取數(shù)據(jù)執(zhí)行情況。
加密存儲(chǔ)（企業(yè)版特性） ：TiDB 利用 RocksDB 自身加密功能，實(shí)現(xiàn)加密存儲(chǔ)的功能，保證所有寫(xiě)入到磁盤(pán)的數(shù)據(jù)都經(jīng)過(guò)加密，降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。
完善權(quán)限語(yǔ)句的權(quán)限檢查 ，新增 ANALYZE，USE，SET GLOBAL，SHOW PROCESSLIST 語(yǔ)句權(quán)限檢查。
1. 新增 SQL 方式查詢(xún)慢查詢(xún)，豐富 TiDB 慢查詢(xún)?nèi)罩緝?nèi)容，如：Coprocessor 任務(wù)數(shù)，平均/最長(zhǎng)/90% 執(zhí)行/等待時(shí)間，執(zhí)行/等待時(shí)間最長(zhǎng)的 TiKV 地址，簡(jiǎn)化慢查詢(xún)定位工作，提高排查慢查詢(xún)問(wèn)題效率，提升產(chǎn)品易用性。
2. 新增系統(tǒng)配置項(xiàng)合法性檢查，優(yōu)化系統(tǒng)監(jiān)控項(xiàng)等，提升產(chǎn)品易用性。
3. 新增對(duì) TableReader、IndexReader 和 IndexLookupReader 算子內(nèi)存使用情況統(tǒng)計(jì)信息，提高 Query 內(nèi)存使用統(tǒng)計(jì)的準(zhǔn)確性，提升處理內(nèi)存消耗較大語(yǔ)句的效率。
4. 制定日志規(guī)范，重構(gòu)日志系統(tǒng)，統(tǒng)一日志格式，方便用戶(hù)理解日志內(nèi)容，有助于通過(guò)工具對(duì)日志進(jìn)行定量分析。
5. 新增 EXPLAIN ANALYZE 功能，提升SQL 調(diào)優(yōu)的易用性。
6. 新增 SQL 語(yǔ)句 Trace 功能，方便排查問(wèn)題。
7. 新增通過(guò) unix_socket 方式連接數(shù)據(jù)庫(kù)。
8. 新增快速恢復(fù)被刪除表功能，當(dāng)誤刪除數(shù)據(jù)時(shí)可通過(guò)此功能快速恢復(fù)數(shù)據(jù)。
TiDB 3.0 新增 TiFlash 組件，解決復(fù)雜分析及 HTAP 場(chǎng)景。TiFlash 是列式存儲(chǔ)系統(tǒng)，與行存儲(chǔ)系統(tǒng)實(shí)時(shí)同步，具備低延時(shí)，高性能，事務(wù)一致性讀等特性。 通過(guò) Raft 協(xié)議從 TiKV 中實(shí)時(shí)同步行存數(shù)據(jù)并轉(zhuǎn)化成列存儲(chǔ)格式持久化到一組獨(dú)立的節(jié)點(diǎn)，解決行列混合存儲(chǔ)以及資源隔離性問(wèn)題。TiFlash 可用作行存儲(chǔ)系統(tǒng)（TiKV）實(shí)時(shí)鏡像，實(shí)時(shí)鏡像可獨(dú)立于行存儲(chǔ)系統(tǒng)，將行存儲(chǔ)及列存儲(chǔ)從物理隔離開(kāi)，提供完善的資源隔離方案，HTAP 場(chǎng)景最優(yōu)推薦方案；亦可用作行存儲(chǔ)表的索引，配合行存儲(chǔ)對(duì)外提供智能的 OLAP 服務(wù)，提升約 10 倍復(fù)雜的混合查詢(xún)的性能。
TiFlash 目前處于 Beta 階段，計(jì)劃 2019 年 12 月 31 日之前 GA，歡迎大家申請(qǐng)?jiān)囉谩?/p>
未來(lái)我們會(huì)繼續(xù)投入到系統(tǒng)穩(wěn)定性，易用性，性能，彈性擴(kuò)展方面，向用戶(hù)提供極致的彈性伸縮能力，極致的性能體驗(yàn)，極致的用戶(hù)體驗(yàn)。
穩(wěn)定性方面 V4.0 版本將繼續(xù)完善 V3.0 未 GA 的重大特性，例如：悲觀(guān)事務(wù)模型，View，Table Partition，Titan 行存儲(chǔ)引擎，TiFlash 列存儲(chǔ)引擎；引入近似物理備份恢復(fù)解決分布數(shù)據(jù)庫(kù)備份恢復(fù)難題；優(yōu)化 PD 調(diào)度功能等。
性能方面 V4.0 版本將繼續(xù)優(yōu)化事務(wù)處理流程，減少事務(wù)資源消耗，提升性能，例如：1PC，省去獲取 commit ts 操作等。
彈性擴(kuò)展方面，PD 將提供彈性擴(kuò)展所需的元信息供外部系統(tǒng)調(diào)用，外部系統(tǒng)可根據(jù)元信息及負(fù)載情況動(dòng)態(tài)伸縮集群規(guī)模，達(dá)成節(jié)省成本的目標(biāo)。
我們相信戰(zhàn)勝“未知”最好的武器就是社區(qū)的力量，基礎(chǔ)軟件需要堅(jiān)定地走開(kāi)源路線(xiàn)。截止發(fā)稿我們已經(jīng)完成 41 篇源碼閱讀文章。TiDB 開(kāi)源社區(qū)總計(jì) 265 位 Contributor，6 位 Committer，在這里我們對(duì)社區(qū)貢獻(xiàn)者表示由衷的感謝，希望更多志同道合的人能加入進(jìn)來(lái)，也希望大家在 TiDB 這個(gè)開(kāi)源社區(qū)能夠有所收獲。
TiDB 3.0 GA Release Notes：
1、學(xué)習(xí)曲線(xiàn)
它包含了類(lèi)C語(yǔ)法、GC內(nèi)置和工程工具。這一點(diǎn)非常重要，因?yàn)镚o語(yǔ)言容易學(xué)習(xí)，所以一個(gè)普通的大學(xué)生花一個(gè)星期就能寫(xiě)出來(lái)可以上手的、高性能的應(yīng)用。在國(guó)內(nèi)大家都追求快，這也是為什么國(guó)內(nèi)Go流行的原因之一。
2、效率
Go擁有接近C的運(yùn)行效率和接近PHP的開(kāi)發(fā)效率，這就很有利的支撐了上面大家追求快速的需求。
3、出身名門(mén)、血統(tǒng)純正
之所以說(shuō)Go語(yǔ)言出身名門(mén)，是因?yàn)槲覀冎繥o語(yǔ)言出自Google公司，這個(gè)公司在業(yè)界的知名度和實(shí)力自然不用多說(shuō)。Google公司聚集了一批牛人，在各種編程語(yǔ)言稱(chēng)雄爭(zhēng)霸的局面下推出新的編程語(yǔ)言，自然有它的戰(zhàn)略考慮。而且從Go語(yǔ)言的發(fā)展態(tài)勢(shì)來(lái)看，Google對(duì)它這個(gè)新的寵兒還是很看重的，Go自然有一個(gè)良好的發(fā)展前途。我們看看Go語(yǔ)言的主要?jiǎng)?chuàng)造者，血統(tǒng)純正這點(diǎn)就可見(jiàn)端倪了。
4、組合的思想、無(wú)侵入式的接口
Go語(yǔ)言可以說(shuō)是開(kāi)發(fā)效率和運(yùn)行效率二者的完美融合，天生的并發(fā)編程支持。Go語(yǔ)言支持當(dāng)前所有的編程范式，包括過(guò)程式編程、面向?qū)ο缶幊桃约昂瘮?shù)式編程。
5、強(qiáng)大的標(biāo)準(zhǔn)庫(kù)
這包括互聯(lián)網(wǎng)應(yīng)用、系統(tǒng)編程和網(wǎng)絡(luò)編程。Go里面的標(biāo)準(zhǔn)庫(kù)基本上已經(jīng)是非常穩(wěn)定，特別是我這里提到的三個(gè)，網(wǎng)絡(luò)層、系統(tǒng)層的庫(kù)非常實(shí)用。
6、部署方便
我相信這一點(diǎn)是很多人選擇Go的最大理由，因?yàn)椴渴鹛奖?，所以現(xiàn)在也有很多人用Go開(kāi)發(fā)運(yùn)維程序。
7、簡(jiǎn)單的并發(fā)
它包含降低心智的并發(fā)和簡(jiǎn)易的數(shù)據(jù)同步，我覺(jué)得這是Go最大的特色。之所以寫(xiě)正確的并發(fā)、容錯(cuò)和可擴(kuò)展的程序如此之難，是因?yàn)槲覀冇昧隋e(cuò)誤的工具和錯(cuò)誤的抽象，Go可以說(shuō)這一塊做的相當(dāng)簡(jiǎn)單。
8、穩(wěn)定性
Go擁有強(qiáng)大的編譯檢查、嚴(yán)格的編碼規(guī)范和完整的軟件生命周期工具，具有很強(qiáng)的穩(wěn)定性，穩(wěn)定壓倒一切。那么為什么Go相比于其他程序會(huì)更穩(wěn)定呢?這是因?yàn)镚o提供了軟件生命周期的各個(gè)環(huán)節(jié)的工具，如go
tool、gofmt、go test。
是的，韓國(guó)的許多企業(yè)和創(chuàng)業(yè)公司都在使用Go語(yǔ)言技術(shù)。其中，著名的應(yīng)用包括Kakao（即韓國(guó)最大的即時(shí)通訊軟件開(kāi)發(fā)商），他們使用Go語(yǔ)言技術(shù)進(jìn)行服務(wù)端應(yīng)用的開(kāi)發(fā)。此外，許多新興的網(wǎng)絡(luò)服務(wù)公司也將Go語(yǔ)言視為一種優(yōu)秀的編程語(yǔ)言，并在他們的平臺(tái)和應(yīng)用程序中廣泛使用它?？傮w來(lái)說(shuō)，韓國(guó)的技術(shù)社區(qū)對(duì)Go語(yǔ)言的評(píng)價(jià)非常高，并且相信它有著廣闊的發(fā)展前景。
GO語(yǔ)言的優(yōu)勢(shì)：可直接編譯成機(jī)器碼，不依賴(lài)其他庫(kù)，glibc的版本有一定要求，部署就是扔一個(gè)文件上去就完成了。靜態(tài)類(lèi)型語(yǔ)言，但是有動(dòng)態(tài)語(yǔ)言的感覺(jué)，靜態(tài)類(lèi)型的語(yǔ)言就是可以在編譯的時(shí)候檢查出來(lái)隱藏的大多數(shù)問(wèn)題，動(dòng)態(tài)語(yǔ)言的感覺(jué)就是有很多的包可以使用，寫(xiě)起來(lái)的效率很高。語(yǔ)言層面支持并發(fā)，這個(gè)就是Go最大的特色，天生的支持并發(fā)，我曾經(jīng)說(shuō)過(guò)一句話(huà)，天生的基因和整容是有區(qū)別的，大家一樣美麗，但是你喜歡整容的還是天生基因的美麗呢？Go就是基因里面支持的并發(fā)，可以充分的利用多核，很容易的使用并發(fā)。內(nèi)置runtime，支持垃圾回收，這屬于動(dòng)態(tài)語(yǔ)言的特性之一吧，雖然目前來(lái)說(shuō)GC不算完美，但是足以應(yīng)付我們所能遇到的大多數(shù)情況，特別是Go1.1之后的GC。簡(jiǎn)單易學(xué)，Go語(yǔ)言的作者都有C的基因，那么Go自然而然就有了C的基因，那么Go關(guān)鍵字是25個(gè)，但是表達(dá)能力很強(qiáng)大，幾乎支持大多數(shù)你在其他語(yǔ)言見(jiàn)過(guò)的特性：繼承、重載、對(duì)象等。豐富的標(biāo)準(zhǔn)庫(kù)，Go目前已經(jīng)內(nèi)置了大量的庫(kù)，特別是網(wǎng)絡(luò)庫(kù)非常強(qiáng)大，我最?lèi)?ài)的也是這部分。內(nèi)置強(qiáng)大的工具，Go語(yǔ)言里面內(nèi)置了很多工具鏈，最好的應(yīng)該是gofmt工具，自動(dòng)化格式化代碼，能夠讓團(tuán)隊(duì)review變得如此的簡(jiǎn)單，代碼格式一模一樣，想不一樣都很困難?？缙脚_(tái)編譯，如果你寫(xiě)的Go代碼不包含cgo，那么就可以做到window系統(tǒng)編譯linux的應(yīng)用，如何做到的呢？Go引用了plan9的代碼，這就是不依賴(lài)系統(tǒng)的信息。Go語(yǔ)言這么多的優(yōu)勢(shì)，你還不想學(xué)嗎？我記得當(dāng)時(shí)我看的是黑馬程序員的視頻，我對(duì)他們視頻的印象就是通俗易懂，就是好！
重慶分公司
重慶分公司
