WBL論文:針對NVM設計日志記錄及恢復協(xié)議
后寫日志
Write behind logging
基本思想
NVM的優(yōu)點是可字節(jié)尋址、接近內存的高性能、順序訪問和隨機訪問差距不大。2016年VLDB會議上《write behind logging》論文專門針對NVM設計了一種新的日志記錄及恢復協(xié)議。主要思想是去掉了傳統(tǒng)的append only的redo和undo日志,但仍然需要保留undo信息用來回滾未提交事務。事務提交前需要將該事務的所有修改強制刷盤,之后在log中記錄commit標記,即這里所說的WBL;謴瓦^程中,通過分析commit標記將未提交的事務通過undo信息回滾掉。
而這篇論文在這個思想基礎上又進行了一系列優(yōu)化,下面介紹其機制。首先吐槽一下,這篇論文寫得不是很清晰,理解起來比較困難。下面是深入理解后的機制,有不當?shù)胤竭望指正。
機制
1、幾個概念
DTT表中元組結構:事務ID+表ID+更改位置
數(shù)據(jù)頁中的元組結構:
tuple id+trx id+begin commit時間戳+ end commit時間戳+上個版本號的tuple ID +data
Cp:該時間戳之后的提交的事務其數(shù)據(jù)不保證已經(jīng)持久化到磁盤
2、一個事務操作過程
Begin;
執(zhí)行操作,修改DRAM中的數(shù)據(jù)頁
添加一個元祖到DTT表中,該元祖不包括插入后的值
Commit:
1)記錄下各個該事務的提交時間戳t1
2)掃描DTT表得到該事務相關元組
3)計算cp和cd值
4)將DTT表中元組持久化到磁盤,此時元組中加上了提交時間戳t1
5)將cp和cd構成的WBL持久化到NVM
6)通知完成組提交,釋放DTT
Rollback:
1)通過DTT中信息進行回滾。
3、一個事務操作過程圖示
若在trx6 commit的時間點,系統(tǒng)故障,那么重啟時從WBL日志文件中遍歷得到最后一個WBL即{4,(5,100)},得到活躍的事務為4,大于5的事務都未提交。分析到這里恢復就完成,即可接受新事務。
但是磁盤上的臟數(shù)據(jù)怎么處理?會啟用一個單獨的回收線程,掃描表中記錄,若記錄的時間戳大于5,比如事務6的記錄,他是不可見的,即將它回收掉;對于1,3,2,5都是可見的,不做處理,對于4,他在組提交未提交的事務鏈表里,也將它回收掉。
4、缺點及疑惑
1)文中沒有詳細說明記錄是如何回收的,是后續(xù)事務訪問到進行判斷處理,還是說只是另外回收線程全部掃描進行判斷。數(shù)據(jù)量如果特別大的話,掃描的代價豈不是很大?全部掃描完后,才將不用的WBL回收掉?
2)如果在高可用場景下,無法滿足要求,仍然需要相應的WAL進行復制
3)后續(xù)的可見性判斷比較復雜,文中沒有詳細說明
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
-
10 百度搜索,正在被平替
- 1 Intel宣布40年來最重大轉型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 三次錯失風口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國產(chǎn)英偉達們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市