← Solutions Notes

Huawei · OceanProtect X · Explained 2 of 5ฉบับเล่าให้ฟัง 2 จาก 5

OceanProtect X: why it is fast and smallOceanProtect X: ทำไมเร็วและกินพื้นที่น้อย

Speed by avoiding work, size by layering reduction — and a rough calculator for the question every customer asks: will it finish in time, and will it fit?เร็วเพราะเลี่ยงงานที่ไม่จำเป็น เล็กเพราะลดข้อมูลหลายชั้น พร้อมเครื่องคำนวณคร่าวๆ สำหรับคำถามที่ลูกค้าถามทุกราย คือทันเวลาไหม และพื้นที่พอไหม

Reductionลดข้อมูล
up to 72:1 (vendor)สูงสุด 72:1 (ผู้ผลิต)
DedupeDedupe
source + inlineต้นทาง + inline
RAID overheadRAID
23+2 · 92%
Calculatorเครื่องคำนวณ
includedมีในหน้านี้

OceanProtect X, explainedOceanProtect X ฉบับเล่าให้ฟัง

The short versionสรุปสั้นๆ

Backup is an unusual workload: huge sequential writes most nights, and on the bad day, huge sequential reads that must be fast. OceanProtect is tuned for exactly that. It is fast because it avoids work — protocol handling moved onto network cards, CPUs that never wait on each other, disks that never read before they write. It is small because data is cut, fingerprinted and squeezed in several layers before anything reaches a disk.งานแบ็กอัพมีหน้าตาไม่เหมือนงานทั่วไป คือเขียนต่อเนื่องก้อนใหญ่แทบทุกคืน และวันที่มีเรื่องต้องอ่านต่อเนื่องก้อนใหญ่ให้เร็วที่สุด OceanProtect ปรับมาสำหรับงานแบบนี้โดยตรง ที่เร็วเพราะเลี่ยงงานที่ไม่จำเป็น เช่นย้ายงานโปรโตคอลไปให้การ์ดเน็ตเวิร์กทำ ให้ CPU ไม่ต้องรอกัน และให้ดิสก์ไม่ต้องอ่านก่อนเขียน ส่วนที่กินพื้นที่น้อยเพราะข้อมูลถูกหั่น ทำลายนิ้วมือ และบีบอัดหลายชั้นก่อนจะลงดิสก์

Backup dataFront endprotocol work movedonto the network cardCPU groups (vNodes)each CPU keeps to its own memoryno locks between coresDedupe + compress4 MB blocks in, 128 KBcompress groupsBack endfull-stripe writeshot / cold separatedSpeed comes from doing less work per byte, and never making the disks wait on each other

Press play to walk through the 5 steps, or use Back and Next.กดเล่นเพื่อดูทีละขั้นทั้ง 5 ขั้น หรือกดย้อนกลับ / ถัดไปเอง

Backup streams arrive over the network — mostly big sequential writes.ข้อมูลแบ็กอัพวิ่งเข้ามาทางเน็ตเวิร์ก ส่วนใหญ่เป็นการเขียนต่อเนื่องก้อนใหญ่

The network card does the TCP/IP and iSCSI work itself (DTOE), so the CPU is left for deduplication and compression.การ์ดเน็ตเวิร์กทำงาน TCP/IP และ iSCSI เอง (DTOE) CPU จึงเหลือไว้ทำ dedupe และบีบอัด

Each request stays inside one CPU and its own memory, and each core keeps its own data, so cores never wait for each other.คำขอแต่ละอันถูกทำจนจบใน CPU ตัวเดียวกับหน่วยความจำของมันเอง และแต่ละ core มีข้อมูลของตัวเอง จึงไม่ต้องรอกัน

Data is gathered into 4 MB pieces, deduplicated, then compressed in 128 KB groups.ข้อมูลถูกรวมเป็นก้อน 4 MB, ทำ dedupe แล้วบีบอัดเป็นกลุ่มละ 128 KB

New data always goes to fresh space, so every write is a full-stripe write with no read first. Hot and cold data are kept apart.ข้อมูลใหม่ลงพื้นที่ใหม่เสมอ ทุกการเขียนจึงเป็นการเขียนเต็ม stripe โดยไม่ต้องอ่านก่อน และแยกข้อมูลร้อนกับข้อมูลเย็นออกจากกัน

Each stage removes a different kind of wasted work.แต่ละขั้นตัดงานที่เสียเปล่าคนละแบบ

Where the speed comes fromความเร็วมาจากไหน

Front end: let the network card do the protocol workฝั่งหน้า: ให้การ์ดเน็ตเวิร์กทำงานโปรโตคอลแทน

TCP/IP and iSCSI normally cost a lot of CPU. Huawei’s DTOE moves the IP data path and even the integrity checks onto its own network-card firmware, and worker threads poll the card instead of being woken for every packet. The CPU is left for deduplication and compression, which is where it is actually needed.ปกติ TCP/IP และ iSCSI กิน CPU เยอะมาก เทคโนโลยี DTOE ของ Huawei ย้ายเส้นทางข้อมูล IP และงานตรวจความถูกต้องบางส่วน ไปทำในเฟิร์มแวร์ของการ์ดเน็ตเวิร์กเอง และให้เธรดคอยเช็กคิวของการ์ดเป็นระยะ แทนที่จะถูกปลุกทุกครั้งที่มีแพ็กเก็ตเข้ามา CPU จึงเหลือไว้ทำ dedupe กับ compression ซึ่งเป็นงานที่ต้องใช้มันจริงๆ

Inside the controller: CPUs that do not trip over each otherในคอนโทรลเลอร์: ให้ CPU ไม่เดินชนกัน

Back end: never read before you writeฝั่งหลัง: ไม่ต้องอ่านก่อนเขียน

Traditional RAID 6: change one blockOceanProtect: redirect on write1 · read old block, old P, old Q2 · work out new P and Q3 · write block, P, Q back in place3 reads + 3 writes for one small change1 · gather new blocks into a full stripe2 · write it to a fresh chunk group3 · move the pointer, free the old space laterno reads · ~1.09 writes per block on 22+2
Redirect on write turns every write into a full-stripe write.redirect on write เปลี่ยนการเขียนทุกครั้งให้เป็นการเขียนเต็ม stripe
LayoutรูปแบบRandom write: writes / reads per blockเขียนแบบสุ่ม: เขียน / อ่าน ต่อบล็อกSpace usableพื้นที่ที่ใช้ได้
Traditional RAID 6, 12+2RAID 6 แบบเดิม 12+23 / 385.7%
OceanProtect RAID 6, 23+2~1.09 / 092%
OceanProtect RAID-TP, 22+3~1.14 / 088%

Because nothing is overwritten in place, RAID level barely changes performance — Huawei measures under 5% between RAID 5 and 6, and between 6 and TP. So pick the RAID level for how many failures you must survive, not for speed. SSD garbage collection is also eased by keeping metadata, new data and relocated data in separate flash streams.เพราะไม่มีการเขียนทับที่เดิม ระดับ RAID จึงแทบไม่มีผลกับความเร็ว Huawei วัดได้ต่างกันไม่ถึง 5% ระหว่าง RAID 5 กับ 6 และระหว่าง 6 กับ TP เลือก RAID จากจำนวนดิสก์ที่ต้องทนเสียได้ ไม่ต้องเลือกจากความเร็ว นอกจากนี้ยังแยก metadata ข้อมูลใหม่ และข้อมูลที่ถูกย้าย ไปไว้คนละ stream บนแฟลช ทำให้ SSD เก็บกวาดพื้นที่ (garbage collection) ได้เบาลง

Backup software: shorter paths, more streamsซอฟต์แวร์แบ็กอัพ: ทางสั้นลง สายข้อมูลมากขึ้น

Why restores stay fast on HDDทำไมกู้คืนจาก HDD ยังเร็ว

Deduplication normally scatters data by fingerprint, which is fine on flash and terrible on spinning disks. OceanProtect gives each new block an ID in the same order the backup wrote it, and lays blocks on disk in ID order — so what was written sequentially is read back sequentially.ปกติ dedupe จะกระจายข้อมูลไปตามลายนิ้วมือ ซึ่งไม่มีปัญหาบนแฟลช แต่แย่มากบนดิสก์จานหมุน OceanProtect ให้เลข ID กับบล็อกใหม่ตามลำดับที่แบ็กอัพเขียนเข้ามา แล้ววางลงดิสก์ตามลำดับ ID สิ่งที่เขียนต่อเนื่องก็จะอ่านกลับมาได้ต่อเนื่องเช่นกัน

The second problem is age: after weeks of incrementals, the newest copy mostly points back into older copies, and restoring it means random reads everywhere. Locality rearrangement flips the relationship as data is written — the newest copy keeps the blocks, older copies point forward to it — so the copy you are most likely to restore is the one laid out in one piece.ปัญหาที่สองคืออายุ หลังทำ incremental ไปหลายสัปดาห์ สำเนาล่าสุดจะชี้ย้อนกลับไปที่สำเนาเก่าเกือบทั้งหมด พอกู้คืนก็ต้องอ่านแบบสุ่มไปทั่ว การจัดเรียงใหม่ (locality rearrangement) กลับทิศความสัมพันธ์ตั้งแต่ตอนเขียน ให้สำเนาล่าสุดเป็นเจ้าของบล็อก แล้วให้สำเนาเก่าชี้มาหาแทน สำเนาที่มีโอกาสถูกกู้มากที่สุดจึงเป็นก้อนเดียวต่อเนื่อง

Before: the newest backup points back into older onesAfter rearrangement: the newest backup is in one pieceMondayTuesdayWednesday (newest)MondayTuesdayWednesday (newest)Restoring Wednesday = many random reads across old copiesRestoring Wednesday = mostly one sequential read
Green = blocks physically owned by that copy.สีเขียว = บล็อกที่สำเนานั้นเป็นเจ้าของจริงบนดิสก์

How the data gets smallข้อมูลเล็กลงได้อย่างไร

Separatebackup-app metadata from data1Source dedupehost sends only new blocks2Variable-length chunksmulti-layer cut points3Fingerprintweak hash, then strong4Compress128 KB groups, predictive coding5Compactbyte-aligned, not 1 KB6Rearrangecheck bytes kept apart7Green: dedupe · Blue: compression

Press play to walk through the 7 steps, or use Back and Next.กดเล่นเพื่อดูทีละขั้นทั้ง 7 ขั้น หรือกดย้อนกลับ / ถัดไปเอง

Backup software mixes its own metadata into the stream. It never deduplicates, so it is pulled out and compressed on its own.ซอฟต์แวร์แบ็กอัพผสม metadata ของตัวเองมากับข้อมูล ส่วนนี้ dedupe ไม่ได้ จึงแยกออกไปบีบอัดต่างหาก

DataTurbo on the host sends only blocks the appliance does not have yet.DataTurbo บนโฮสต์ส่งมาเฉพาะบล็อกที่เครื่องยังไม่มี

Cut points follow the content, so a few inserted bytes do not shift every block after them.จุดหั่นขึ้นกับเนื้อข้อมูล แทรกข้อมูลไม่กี่ไบต์ บล็อกหลังจากนั้นก็ไม่เลื่อนตามทั้งหมด

A fast hash finds likely duplicates and a strong hash confirms them. If they disagree, the block is just stored.hash แบบเร็วหาบล็อกที่น่าจะซ้ำ แล้ว hash แบบแข็งแรงยืนยัน ถ้าไม่ตรงกันก็เก็บบล็อกนั้นไว้ตามปกติ

Neighbouring blocks are joined into 128 KB and compressed with backup-aware methods.บล็อกที่อยู่ติดกันถูกรวมเป็น 128 KB แล้วบีบอัดด้วยวิธีที่ออกแบบมาสำหรับข้อมูลแบ็กอัพ

Compressed pieces are packed byte by byte, not rounded up to 1 KB, so no space is lost to padding.ชิ้นที่บีบแล้วถูกเรียงชิดกันระดับไบต์ ไม่ปัดขึ้นทีละ 1 KB จึงไม่เสียพื้นที่ไปกับช่องว่าง

The 8-byte check data looks random and hurts compression, so it is stored apart from the user data.ข้อมูลตรวจสอบ 8 ไบต์ดูเหมือนข้อมูลสุ่มและทำให้บีบอัดได้แย่ จึงเก็บแยกจากข้อมูลผู้ใช้

Seven steps, before a single byte is written to disk.เจ็ดขั้น ก่อนจะมีข้อมูลลงดิสก์แม้แต่ไบต์เดียว
  1. Separate. Backup software mixes its own metadata (timestamps, checksums) into the stream. That metadata never deduplicates, so it is pulled out and compressed on its own.แยก ซอฟต์แวร์แบ็กอัพผสม metadata ของตัวเอง (เวลา, checksum) ปนมากับข้อมูล ส่วนนี้ dedupe ไม่ได้อยู่แล้ว จึงแยกออกมาบีบอัดต่างหาก
  2. Source dedupe. DataTurbo on the host sends only blocks the appliance does not already have. The application-aware variant goes further: it sends only changes and lets the appliance build a new full copy from what it already holds — lighter on the host, used for VMs, big data, Oracle and file hosts.Source dedupe DataTurbo บนโฮสต์ส่งเฉพาะบล็อกที่เครื่องยังไม่มี แบบ application-aware ไปไกลกว่านั้น คือส่งเฉพาะส่วนที่เปลี่ยน แล้วให้เครื่องประกอบ full copy ใหม่จากของที่มีอยู่ ภาระบนโฮสต์น้อยกว่า ใช้กับ VM, big data, Oracle และเครื่องไฟล์
  3. Variable-length chunks. Cut points follow the content, so inserting a few bytes does not shift every block after it. Multiple thresholds help on low-entropy data; Huawei reports over 10% better dedupe than single-layer chunking. Sequential writes are gathered into 4 MB before chunking.หั่นแบบความยาวไม่คงที่ จุดหั่นขึ้นกับเนื้อข้อมูล แทรกข้อมูลเพิ่มไม่กี่ไบต์ บล็อกหลังจากนั้นก็ไม่เลื่อนตามทั้งหมด การใช้หลายเกณฑ์ช่วยกับข้อมูลที่ซ้ำๆ กันเยอะ Huawei บอกว่า dedupe ได้ดีกว่าแบบชั้นเดียวเกิน 10% และข้อมูลที่เขียนต่อเนื่องจะถูกรวมเป็นก้อน 4 MB ก่อนหั่น
  4. Fingerprint. A fast weak hash finds candidates; a strong hash confirms. If they disagree, the block is simply stored — no false match can ever lose data.ทำลายนิ้วมือ ใช้ hash แบบเร็วหาคู่ที่น่าจะซ้ำ แล้วใช้ hash แบบแข็งแรงยืนยัน ถ้าไม่ตรงกันก็เก็บบล็อกนั้นไว้ตามปกติ จึงไม่มีทางเสียข้อมูลจากการจับคู่ผิด
  5. Compress. Blocks with consecutive IDs are joined into 128 KB before compression, then run through backup-aware preprocessing, adaptive LZ and predictive entropy coding — Huawei reports 10% better on VM and file data, 30% better on databases.บีบอัด บล็อกที่ ID ต่อกันจะถูกรวมเป็น 128 KB ก่อนบีบ แล้วผ่านการเตรียมข้อมูลแบบรู้จักงานแบ็กอัพ, adaptive LZ และ predictive entropy coding Huawei บอกว่าดีขึ้น 10% กับข้อมูล VM และไฟล์ และ 30% กับฐานข้อมูล
  6. Compact. Compressed pieces are packed at byte level rather than 1 KB boundaries, so no space is wasted on padding.อัดให้แน่น ชิ้นที่บีบแล้วถูกจัดเรียงชิดกันระดับไบต์ แทนที่จะปัดขึ้นทีละ 1 KB จึงไม่เสียพื้นที่ไปกับช่องว่าง
  7. Rearrange. The 8-byte check data added to every 512 bytes looks random and spoils compression, so it is split away from the user data and handled separately.จัดเรียงใหม่ ข้อมูลตรวจสอบ 8 ไบต์ที่เติมทุก 512 ไบต์ดูเหมือนข้อมูลสุ่ม ทำให้บีบอัดได้ไม่ดี จึงแยกออกจากข้อมูลผู้ใช้แล้วจัดการต่างหาก

The same ideas travel over the WAN: deduplicated replication sends only fingerprints for blocks the remote side already has, and can compress the rest.แนวคิดเดียวกันใช้ข้าม WAN ด้วย คือ deduplicated replication ส่งแค่ลายนิ้วมือของบล็อกที่ปลายทางมีอยู่แล้ว และบีบอัดส่วนที่เหลือได้

About “up to 72:1”. That is Huawei’s best-case figure, and the data sheet itself says the ratio depends on the application and the backup policy. Many fulls of slowly changing data score high; compressed, encrypted or media files score close to 1:1. Size with a conservative ratio, then measure on the customer’s own data.เรื่อง “สูงสุด 72:1” คือตัวเลขกรณีดีที่สุดของ Huawei และใน data sheet เองก็เขียนว่าอัตรานี้ขึ้นกับประเภทแอปและ policy การแบ็กอัพ การทำ full หลายครั้งกับข้อมูลที่เปลี่ยนช้าจะได้ตัวเลขสูง ส่วนไฟล์ที่บีบอัดมาแล้ว เข้ารหัสมาแล้ว หรือไฟล์มีเดีย จะได้ใกล้ 1:1 ให้คำนวณขนาดด้วยตัวเลขที่ระวังไว้ก่อน แล้ววัดจากข้อมูลจริงของลูกค้า

Rough sizing calculatorเครื่องคำนวณขนาดคร่าวๆ

A first-pass check, not a design. It uses the data sheet’s “up to” figures for each model, scaled down by the percentage you choose, and a simple retention model: weekly fulls plus daily changes, divided by the reduction ratio.ใช้เช็กเบื้องต้น ไม่ใช่การออกแบบจริง ใช้ตัวเลข “สูงสุด” ของแต่ละรุ่นจาก data sheet แล้วลดลงตามเปอร์เซ็นต์ที่เลือก ส่วนพื้นที่คิดแบบง่ายๆ คือ full รายสัปดาห์ บวกข้อมูลที่เปลี่ยนรายวัน แล้วหารด้วยอัตราลดข้อมูล

Changes restore speed onlyมีผลกับความเร็วกู้คืนเท่านั้น
Logical figure assumes the host skips data the box already hasตัวเลข logical คิดว่าโฮสต์ไม่ต้องส่งข้อมูลที่เครื่องมีอยู่แล้ว
Real sites rarely reach the brochure numberหน้างานจริงไม่ค่อยได้ตามตัวเลขในโบรชัวร์
Start low; 72:1 is a best caseเริ่มจากค่าต่ำไว้ก่อน 72:1 คือกรณีดีที่สุด
Full backup takesfull backup ใช้เวลา—
Daily incremental takesincremental รายวันใช้เวลา—
Full restore takesกู้คืนทั้งหมดใช้เวลา—
Disk space neededพื้นที่ดิสก์ที่ต้องใช้—

Need more than a rough check? The OceanProtect backup sizing tool sizes each workload year by year for short- and long-term retention, with an SCT-compatible result and a real-gap result side by side.ต้องการมากกว่าการเช็กคร่าวๆ? เครื่องมือคำนวณขนาด OceanProtect คำนวณแต่ละงานเป็นรายปี ทั้งเก็บระยะสั้นและระยะยาว โดยแสดงผลแบบ SCT คู่กับแบบ real-gap

The white paper’s feature summary quotes 20 TB/hour and 1 PB usable per node, while the data sheet gives whole-system figures that are higher for the larger models. The calculator uses the data sheet. For a real proposal, size with Huawei’s own sizing tool and the customer’s data.ในบทสรุปฟีเจอร์ของ white paper ใช้ตัวเลข 20 TB/ชั่วโมง และ 1 PB ต่อโหนด ส่วน data sheet ให้ตัวเลขของทั้งระบบ ซึ่งสูงกว่าในรุ่นใหญ่ เครื่องคำนวณนี้ใช้ตัวเลขจาก data sheet ถ้าจะทำข้อเสนอจริง ให้ใช้เครื่องมือ sizing ของ Huawei กับข้อมูลจริงของลูกค้า

Field notesบันทึกจากหน้างาน

  1. Ask for the restore target, not only the backup window. Restore speed on HDD models is a fraction of backup speed.ถามเป้าเวลากู้คืนด้วย ไม่ใช่ถามแค่เวลาที่มีให้แบ็กอัพ บนรุ่น HDD ความเร็วกู้คืนเป็นแค่ส่วนเล็กๆ ของความเร็วแบ็กอัพ
  2. Turn on source dedupe where the network is the bottleneck, and plan the extra DataTurbo IP per controller for it.เปิด source dedupe ในจุดที่เน็ตเวิร์กเป็นคอขวด และวาง IP ของ DataTurbo เพิ่มต่อคอนโทรลเลอร์ไว้ด้วย
  3. Choose RAID by failures to survive — performance hardly changes between levels.เลือก RAID จากจำนวนดิสก์ที่ต้องทนเสียได้ ความเร็วแทบไม่ต่างกันระหว่างระดับ
  4. Quote reduction ratios per data type, and never the headline number.เวลาพูดถึงอัตราลดข้อมูล ให้แยกตามชนิดข้อมูล และอย่าใช้ตัวเลขพาดหัว

Referencesอ้างอิง