X-Engine是阿里巴巴自研的儲備引擎，作為阿里云 RDS MySQL 的一個可選引擎，除了主打高功能和低本錢，還提升了不少惠及用戶的新性能。本文將詳細介紹 MySQL(X-Engine) 如何近乎瞬時辦妥傳統數據庫需求數小時辦妥的DDL操縱。
##1.數據庫DDL操縱面對的疑問
互聯業務成長趕快，利用模式頻繁更換是常態。相應地，數據庫拜訪模式和schema也隨之變動。DDL（Data Definition Language）是SQL的一類，重要作用是創造和更換數據的schema信息，最常見的操縱包含有：加減列、更換列類型、加減索引等。
認識MySQL的同窗都知道，在8.0以前，固然On DDL不堵塞別的DML（InsertUpdateDelete）操縱，但很多主要的DDL操縱，如加列、減列等，照舊需求等到數小時、甚至好幾天時間（根據數據量的大小）才會生效。更換列類型等操縱甚至仍需求鎖表執行，堵塞DML操縱。
DDL操縱運行時間長，占用體制物質，需求額外的磁盤空間（創設暫時表），陰礙體制吞吐，足球網站并且一旦DDL過程中實例crash，覆原時間也會許久。以加列DDL為例，MySQL經驗如下過程：
“`
1.以新schema創設空表。
2.拷貝數據到新表，并且將新加列的值賦為默認值，同時除舊索引表。數據庫承受到的DML操縱被紀實在暫時文件。
3.加exclusive lock，堵塞寫操縱，將暫時文件紀實的DML操縱apply到新表。假如DML許多，這一階段將消費較多時間。
4.刪更新表，將新表起名為舊表的名字。
“`
顯然，這個過程加鎖時間長，拷貝數據操縱會占用體制物質和暫時空間，并需求大批IO。為了安適變動頻繁的業務，不當即更換儲備層數據、可以快速辦妥的DDL（我們稱之為Fast DDL）成為了一個必須feature。
MySQL 8.0 提升了instant add column性能，可以在短時間內只改動table元信息，辦妥加列操縱。失望的是，它還不支持別的類型的DDL。得益于阿里自研的儲備引擎X-Engine儲備了多版本Table Schema，每一行紀實在引擎層就辦妥了分析，并且可以根據除舊版本的schema實現形式轉換，X-Engine因此可支持多種類型的Fast DDL。
2.業界Fast ddl實現計劃
**MySQL 8.0**
record紀實了列個數, instant add column操縱只改動體制表。
寫操縱：新形式的紀實。
讀操縱：依據儲備在體制表中default value補齊新加列。
支持類型：
• Change index optionRename table
• Setdrop default
• Modify column hen the table is empty
• Adddrop virtual columnsAdd columns
**MariaDB10.3**
整體實現計劃與MySQL8.0相似，record紀實了列個數，在leftmost leaf page中紀實所有列的default值.
支持類型：
• Add column
• Drop column
• Extend VARCHAR maximum （Only if the physical format allos; not VARCHAR(255) to VARCHAR(256)）
Aurora**
發作ddl后，除舊體制表，新、舊版本的schema均要紀實下來。然后廣播該改動。之后承受DML請願，首要轉換關連leaf page的所有紀實，然后執行DML。
select請願會將舊版本的紀實拼湊成新版本紀實。
支持類型
• only supports adding nullable columns, ithout default values
##3.X-Engine多版本schema
顧名思義，Fast DDL指數據庫或許在極短的時間內辦妥用戶發出的DDL指令并回去。之所以這麼快，是由於只修體制表里的元數據，不改變引擎層儲備的數據。實在現的要害在于：元信息改變之后，內存、磁盤中的物理紀實該如何分析。
Engine的條理采用了LSM-Tree的思想，將新寫入的數據以追加方式寫入內存memtable，memtable到一定大小后sitch為immutable memtable，不再改動。然后漸漸以固定大小extent的格式，flush到長久化儲備中。
當extent到一宿命量后，通過合并(Compaction)操縱，將雷同Key的多個版本合并。為了讓每行紀實可分析，最直觀簡樸的計劃便是將元信息附著在紀實上面。為了或許不依靠體制表分析紀實，X-Engine儲備了較為詳細的元數據，假如為每一行都附著一份，會占用大批的空間。為了大大減少儲備本錢，我們擔保每個memtable和extent內部的數據schema一致，并將schema信息儲備在memtable和extent之上。
schema信息涵蓋了諸如列個數、列類型、列長度、默認值等要害信息。應用這些信息，X-Engine可以在回去結局之前，辦妥列分析，并只需回去查詢目的列的對應結局。下面給出了一個具體的範例，同一張表存在差異schema版本的extent時，如何回去結局。
4.X-Engine fast ddl實現
當 MySQL 收取到一條fast ddl語句時，除舊關連體制表及元數據，新版本的表組織隨之生效，這時這條DDL語句就執行勝利啦！到此刻為止X-Engine儲備的信息沒有發作任何變動。
**讀請願**
當體制收取到Select請願時，MySQL 會將請願本身，連同當前最新版本schema信息（稱之為target schema）通報到X-Engine。X-Engine首要定位到紀實的位置（某個memtable或extent），并取相應數據schema分析紀實得到初步結局。接著，對比數據schema和target schema，對初步結局做恰當填充、刪減或改動得到終極結局回去。
**X-Engine schema除舊**
Fast DDL號召執行勝利，新版本的schema生效，X-Engine還對此麻痺知。當收取到第一條針對該表的DML（InsertUpdate Delete）請后，假如發明X-Engine的活潑memtable的schema版本落后于最新版本，會引發sitch memtable行徑：凍結當前活潑memtable，產生新活潑memtable，將新schema賦予新活潑memtable。為了擔保數據的準確性，該操縱會等到所有正在進行的寫事情辦妥后再執行。
寫請願
每個寫事情可能涉及到n（n=1）個表。事情在提交時，需求在寫入活潑memtable之前判斷：事情寫入數據的schema版本是否與活潑memtable的schema版本一致，假如不一致則應當報錯退出，叮囑用戶重試。
**FlushCompaction**
內存中memtable數目到一定個數時會引發Flush操縱，被選中memtable的數據以extent的格式寫入磁盤，schema也隨之由運動彩卷分析mem玩運彩 金不敗table通報到extent。Compaction操縱集中并多個extent，假如介入同一工作的extent schema版本不一致，X-Engine會以此中最新版本為準，生成新extent。
結算
Fast DDL可以解決許多利用的痛點，加列、開拓列的常用的操縱不必再需求漫長的等到。專業上，X-Engine通過儲備詳細的多版運彩 申請表本schema信息，不光無需借助體制表分析紀實，並且可以容易地實現差異版本schema之間的數據轉換，進而可以支持充沛的Fast DDL類型。
