Hvorfor er Zip Able å komprimere enkle filer bedre enn flere filer med samme innhold?

Å kunne komprimere filene våre slik at det er lettere å dele og / eller transportere dem, kan gjøre våre elektroniske liv lettere, men noen ganger ser vi kanskje uvanlige eller uventede dimensjonsresultater etter at vi har komprimert dem. Hvorfor det? Dagens SuperUser Q & A-innlegg har svarene på en forvirret leser.

Dagens Spørsmål & Svar-sesjon kommer til oss med høflighet av SuperUser-en underavdeling av Stack Exchange, en fellesskapsdrevet gruppering av Q & A-nettsteder.

Foto courtesy of Jean-Etienne Minh-Duy Poirrier (Flickr).

Spørsmålet

SuperUser leser sixtyfootersdude vil vite hvorfor zip er i stand til å komprimere enkle filer bedre enn flere filer med samme type innhold:

Anta at jeg har 10.000 XML-filer og vil sende dem til en venn. Før jeg sender dem, vil jeg komprimere dem.

Metode 1: Ikke komprimer dem

resultater:

Metode 2: Zip hver fil separat og send ham 10 000 zip-XML-filer

Kommando:

resultater:

Metode 3: Opprett en enkel zip-fil som inneholder alle 10 000 XML-filer

Kommando:

resultater:

Metode 4: Sammenkoble filene til en enkelt fil og zip den

Kommando:

resultater:

spørsmål

• Hvorfor får jeg så dramatisk bedre resultater når jeg bare zipper en enkelt fil?
• Jeg ventet å få drastisk bedre resultater ved å bruke metode 3 i stedet for metode 2, men det gjør jeg ikke. Hvorfor er det sånn?
• Er denne oppførselen spesifikk for zip? Hvis jeg prøvde å bruke Gzip, ville jeg få forskjellige resultater?

Tilleggsinformasjon

Meta Data

En av svarene som er oppgitt, antyder at forskjellen er systemets metadata som er lagret i zip-filen. Jeg tror ikke at dette kan være tilfelle. For å teste det gjorde jeg følgende:

Den resulterende zip-filen er 1,4 MB. Dette betyr at det fortsatt er omtrent ti MB uforklarlig plass.

Hvorfor er zip i stand til å komprimere enkle filer bedre enn flere filer med samme type innhold?

Svaret

SuperUser-bidragsytere Alan Shutko og Aganju har svaret for oss. Først opp, Alan Shutko:

Zip-komprimering er basert på repeterende mønstre i dataene som skal komprimeres, og komprimeringen blir bedre jo lenger filen er, da flere og lengre mønstre kan bli funnet og brukt.

Forenklet, hvis du komprimerer en fil, er ordboken som kartlegger (korte) koder til (lengre) mønstre nødvendigvis inneholdt i hver resulterende zip-fil; Hvis du slipper en lang fil, er ordboken "gjenbruk" og blir enda mer effektiv på tvers av alt innhold.

Hvis filene dine er like likt (som teksten alltid er), blir gjenbruk av «ordlisten» veldig effektiv, og resultatet er en mye mindre total zip-fil.

Etterfulgt av svaret fra Aganju:

I zip er hver fil komprimert separat. Det motsatte er solid komprimering, det vil si at filene komprimeres sammen. 7-zip og Rar bruker standard komprimering som standard. Gzip og Bzip2 kan ikke komprimere flere filer, så Tar brukes først, og har samme effekt som solid komprimering.

Som xml-filer har lignende struktur (og sannsynligvis lignende innhold), hvis filene komprimeres sammen, blir komprimeringen høyere.

For eksempel, hvis en fil inneholder strengen ""Og kompressoren har allerede funnet den strengen i en annen fil, erstatter den den med en liten peker til forrige kamp. Hvis kompressoren ikke bruker solid komprimering, blir den første forekomsten av strengen i filen registrert som en bokstavelig, som er større.