Huawei · OceanProtect X · Explained 2 of 5ฉบับเล่าให้ฟัง 2 จาก 5
Speed by avoiding work, size by layering reduction — and a rough calculator for the question every customer asks: will it finish in time, and will it fit?เร็วเพราะเลี่ยงงานที่ไม่จำเป็น เล็กเพราะลดข้อมูลหลายชั้น พร้อมเครื่องคำนวณคร่าวๆ สำหรับคำถามที่ลูกค้าถามทุกราย คือทันเวลาไหม และพื้นที่พอไหม
Backup is an unusual workload: huge sequential writes most nights, and on the bad day, huge sequential reads that must be fast. OceanProtect is tuned for exactly that. It is fast because it avoids work — protocol handling moved onto network cards, CPUs that never wait on each other, disks that never read before they write. It is small because data is cut, fingerprinted and squeezed in several layers before anything reaches a disk.งานแบ็กอัพมีหน้าตาไม่เหมือนงานทั่วไป คือเขียนต่อเนื่องก้อนใหญ่แทบทุกคืน และวันที่มีเรื่องต้องอ่านต่อเนื่องก้อนใหญ่ให้เร็วที่สุด OceanProtect ปรับมาสำหรับงานแบบนี้โดยตรง ที่เร็วเพราะเลี่ยงงานที่ไม่จำเป็น เช่นย้ายงานโปรโตคอลไปให้การ์ดเน็ตเวิร์กทำ ให้ CPU ไม่ต้องรอกัน และให้ดิสก์ไม่ต้องอ่านก่อนเขียน ส่วนที่กินพื้นที่น้อยเพราะข้อมูลถูกหั่น ทำลายนิ้วมือ และบีบอัดหลายชั้นก่อนจะลงดิสก์
Press play to walk through the 5 steps, or use Back and Next.กดเล่นเพื่อดูทีละขั้นทั้ง 5 ขั้น หรือกดย้อนกลับ / ถัดไปเอง
Backup streams arrive over the network — mostly big sequential writes.ข้อมูลแบ็กอัพวิ่งเข้ามาทางเน็ตเวิร์ก ส่วนใหญ่เป็นการเขียนต่อเนื่องก้อนใหญ่
The network card does the TCP/IP and iSCSI work itself (DTOE), so the CPU is left for deduplication and compression.การ์ดเน็ตเวิร์กทำงาน TCP/IP และ iSCSI เอง (DTOE) CPU จึงเหลือไว้ทำ dedupe และบีบอัด
Each request stays inside one CPU and its own memory, and each core keeps its own data, so cores never wait for each other.คำขอแต่ละอันถูกทำจนจบใน CPU ตัวเดียวกับหน่วยความจำของมันเอง และแต่ละ core มีข้อมูลของตัวเอง จึงไม่ต้องรอกัน
Data is gathered into 4 MB pieces, deduplicated, then compressed in 128 KB groups.ข้อมูลถูกรวมเป็นก้อน 4 MB, ทำ dedupe แล้วบีบอัดเป็นกลุ่มละ 128 KB
New data always goes to fresh space, so every write is a full-stripe write with no read first. Hot and cold data are kept apart.ข้อมูลใหม่ลงพื้นที่ใหม่เสมอ ทุกการเขียนจึงเป็นการเขียนเต็ม stripe โดยไม่ต้องอ่านก่อน และแยกข้อมูลร้อนกับข้อมูลเย็นออกจากกัน
TCP/IP and iSCSI normally cost a lot of CPU. Huawei’s DTOE moves the IP data path and even the integrity checks onto its own network-card firmware, and worker threads poll the card instead of being woken for every packet. The CPU is left for deduplication and compression, which is where it is actually needed.ปกติ TCP/IP และ iSCSI กิน CPU เยอะมาก เทคโนโลยี DTOE ของ Huawei ย้ายเส้นทางข้อมูล IP และงานตรวจความถูกต้องบางส่วน ไปทำในเฟิร์มแวร์ของการ์ดเน็ตเวิร์กเอง และให้เธรดคอยเช็กคิวของการ์ดเป็นระยะ แทนที่จะถูกปลุกทุกครั้งที่มีแพ็กเก็ตเข้ามา CPU จึงเหลือไว้ทำ dedupe กับ compression ซึ่งเป็นงานที่ต้องใช้มันจริงๆ
| Layoutรูปแบบ | Random write: writes / reads per blockเขียนแบบสุ่ม: เขียน / อ่าน ต่อบล็อก | Space usableพื้นที่ที่ใช้ได้ |
|---|---|---|
| Traditional RAID 6, 12+2RAID 6 แบบเดิม 12+2 | 3 / 3 | 85.7% |
| OceanProtect RAID 6, 23+2 | ~1.09 / 0 | 92% |
| OceanProtect RAID-TP, 22+3 | ~1.14 / 0 | 88% |
Because nothing is overwritten in place, RAID level barely changes performance — Huawei measures under 5% between RAID 5 and 6, and between 6 and TP. So pick the RAID level for how many failures you must survive, not for speed. SSD garbage collection is also eased by keeping metadata, new data and relocated data in separate flash streams.เพราะไม่มีการเขียนทับที่เดิม ระดับ RAID จึงแทบไม่มีผลกับความเร็ว Huawei วัดได้ต่างกันไม่ถึง 5% ระหว่าง RAID 5 กับ 6 และระหว่าง 6 กับ TP เลือก RAID จากจำนวนดิสก์ที่ต้องทนเสียได้ ไม่ต้องเลือกจากความเร็ว นอกจากนี้ยังแยก metadata ข้อมูลใหม่ และข้อมูลที่ถูกย้าย ไปไว้คนละ stream บนแฟลช ทำให้ SSD เก็บกวาดพื้นที่ (garbage collection) ได้เบาลง
Deduplication normally scatters data by fingerprint, which is fine on flash and terrible on spinning disks. OceanProtect gives each new block an ID in the same order the backup wrote it, and lays blocks on disk in ID order — so what was written sequentially is read back sequentially.ปกติ dedupe จะกระจายข้อมูลไปตามลายนิ้วมือ ซึ่งไม่มีปัญหาบนแฟลช แต่แย่มากบนดิสก์จานหมุน OceanProtect ให้เลข ID กับบล็อกใหม่ตามลำดับที่แบ็กอัพเขียนเข้ามา แล้ววางลงดิสก์ตามลำดับ ID สิ่งที่เขียนต่อเนื่องก็จะอ่านกลับมาได้ต่อเนื่องเช่นกัน
The second problem is age: after weeks of incrementals, the newest copy mostly points back into older copies, and restoring it means random reads everywhere. Locality rearrangement flips the relationship as data is written — the newest copy keeps the blocks, older copies point forward to it — so the copy you are most likely to restore is the one laid out in one piece.ปัญหาที่สองคืออายุ หลังทำ incremental ไปหลายสัปดาห์ สำเนาล่าสุดจะชี้ย้อนกลับไปที่สำเนาเก่าเกือบทั้งหมด พอกู้คืนก็ต้องอ่านแบบสุ่มไปทั่ว การจัดเรียงใหม่ (locality rearrangement) กลับทิศความสัมพันธ์ตั้งแต่ตอนเขียน ให้สำเนาล่าสุดเป็นเจ้าของบล็อก แล้วให้สำเนาเก่าชี้มาหาแทน สำเนาที่มีโอกาสถูกกู้มากที่สุดจึงเป็นก้อนเดียวต่อเนื่อง
Press play to walk through the 7 steps, or use Back and Next.กดเล่นเพื่อดูทีละขั้นทั้ง 7 ขั้น หรือกดย้อนกลับ / ถัดไปเอง
Backup software mixes its own metadata into the stream. It never deduplicates, so it is pulled out and compressed on its own.ซอฟต์แวร์แบ็กอัพผสม metadata ของตัวเองมากับข้อมูล ส่วนนี้ dedupe ไม่ได้ จึงแยกออกไปบีบอัดต่างหาก
DataTurbo on the host sends only blocks the appliance does not have yet.DataTurbo บนโฮสต์ส่งมาเฉพาะบล็อกที่เครื่องยังไม่มี
Cut points follow the content, so a few inserted bytes do not shift every block after them.จุดหั่นขึ้นกับเนื้อข้อมูล แทรกข้อมูลไม่กี่ไบต์ บล็อกหลังจากนั้นก็ไม่เลื่อนตามทั้งหมด
A fast hash finds likely duplicates and a strong hash confirms them. If they disagree, the block is just stored.hash แบบเร็วหาบล็อกที่น่าจะซ้ำ แล้ว hash แบบแข็งแรงยืนยัน ถ้าไม่ตรงกันก็เก็บบล็อกนั้นไว้ตามปกติ
Neighbouring blocks are joined into 128 KB and compressed with backup-aware methods.บล็อกที่อยู่ติดกันถูกรวมเป็น 128 KB แล้วบีบอัดด้วยวิธีที่ออกแบบมาสำหรับข้อมูลแบ็กอัพ
Compressed pieces are packed byte by byte, not rounded up to 1 KB, so no space is lost to padding.ชิ้นที่บีบแล้วถูกเรียงชิดกันระดับไบต์ ไม่ปัดขึ้นทีละ 1 KB จึงไม่เสียพื้นที่ไปกับช่องว่าง
The 8-byte check data looks random and hurts compression, so it is stored apart from the user data.ข้อมูลตรวจสอบ 8 ไบต์ดูเหมือนข้อมูลสุ่มและทำให้บีบอัดได้แย่ จึงเก็บแยกจากข้อมูลผู้ใช้
The same ideas travel over the WAN: deduplicated replication sends only fingerprints for blocks the remote side already has, and can compress the rest.แนวคิดเดียวกันใช้ข้าม WAN ด้วย คือ deduplicated replication ส่งแค่ลายนิ้วมือของบล็อกที่ปลายทางมีอยู่แล้ว และบีบอัดส่วนที่เหลือได้
About “up to 72:1”. That is Huawei’s best-case figure, and the data sheet itself says the ratio depends on the application and the backup policy. Many fulls of slowly changing data score high; compressed, encrypted or media files score close to 1:1. Size with a conservative ratio, then measure on the customer’s own data.เรื่อง “สูงสุด 72:1” คือตัวเลขกรณีดีที่สุดของ Huawei และใน data sheet เองก็เขียนว่าอัตรานี้ขึ้นกับประเภทแอปและ policy การแบ็กอัพ การทำ full หลายครั้งกับข้อมูลที่เปลี่ยนช้าจะได้ตัวเลขสูง ส่วนไฟล์ที่บีบอัดมาแล้ว เข้ารหัสมาแล้ว หรือไฟล์มีเดีย จะได้ใกล้ 1:1 ให้คำนวณขนาดด้วยตัวเลขที่ระวังไว้ก่อน แล้ววัดจากข้อมูลจริงของลูกค้า
A first-pass check, not a design. It uses the data sheet’s “up to” figures for each model, scaled down by the percentage you choose, and a simple retention model: weekly fulls plus daily changes, divided by the reduction ratio.ใช้เช็กเบื้องต้น ไม่ใช่การออกแบบจริง ใช้ตัวเลข “สูงสุด” ของแต่ละรุ่นจาก data sheet แล้วลดลงตามเปอร์เซ็นต์ที่เลือก ส่วนพื้นที่คิดแบบง่ายๆ คือ full รายสัปดาห์ บวกข้อมูลที่เปลี่ยนรายวัน แล้วหารด้วยอัตราลดข้อมูล
Need more than a rough check? The OceanProtect backup sizing tool sizes each workload year by year for short- and long-term retention, with an SCT-compatible result and a real-gap result side by side.ต้องการมากกว่าการเช็กคร่าวๆ? เครื่องมือคำนวณขนาด OceanProtect คำนวณแต่ละงานเป็นรายปี ทั้งเก็บระยะสั้นและระยะยาว โดยแสดงผลแบบ SCT คู่กับแบบ real-gap
The white paper’s feature summary quotes 20 TB/hour and 1 PB usable per node, while the data sheet gives whole-system figures that are higher for the larger models. The calculator uses the data sheet. For a real proposal, size with Huawei’s own sizing tool and the customer’s data.ในบทสรุปฟีเจอร์ของ white paper ใช้ตัวเลข 20 TB/ชั่วโมง และ 1 PB ต่อโหนด ส่วน data sheet ให้ตัวเลขของทั้งระบบ ซึ่งสูงกว่าในรุ่นใหญ่ เครื่องคำนวณนี้ใช้ตัวเลขจาก data sheet ถ้าจะทำข้อเสนอจริง ให้ใช้เครื่องมือ sizing ของ Huawei กับข้อมูลจริงของลูกค้า