Hoe bestanden via Usenet reizen: yEnc, PAR2 en NZB

Hoe Usenet bestanden vervoert

Usenet werd in 1980 ontworpen voor korte tekstberichten, en nieuwsservers versturen nog altijd alles als tekst. Een foto, een programma of elk ander bestand bestaat uit binaire gegevens in plaats van tekst. Voordat zo’n bestand kan reizen, moet het dus eerst worden omgezet in tekens die veilig als tekst kunnen worden verstuurd. Daarom heten bestanden op Usenet vaak binaries, en de groepen die ze vervoeren binaire groepen.

Waarom grote bestanden over veel artikelen worden verdeeld

Nieuwsservers beperken hoe groot één artikel mag zijn. Een groot bestand wordt daarom over veel artikelen verdeeld, soms honderden of zelfs duizenden. Elk stuk wordt apart gepost, met een eigen Message-ID en een deelnummer in de onderwerpregel, zoals ‘(12/240)’, en uw nieuwslezer zet de stukken weer op volgorde. Door het opsplitsen kost een verbroken verbinding u bovendien maar één klein stuk in plaats van het hele bestand.

Een korte geschiedenis van bestanden op Usenet

In de begintijd codeerden mensen bestanden met uuencode, dat Mary Ann Horton in 1980 aan UC Berkeley schreef, en later met Base64 uit de MIME-standaard voor e-mail. Beide maken een bestand ongeveer een derde groter. In 2001 bracht Jürgen Helbing yEnc uit, dat maar 1 tot 2 procent toevoegt, en in 2003 was dat al de standaardmanier geworden om bestanden op Usenet te posten.

Bestanden coderen met yEnc

Bij het coderen wordt elke byte van een bestand vervangen door tekens die veilig als tekst kunnen reizen. yEnc doet dat met heel weinig verspilling: een bestand van 100 MB wordt ongeveer 101 tot 102 MB aan artikelen, in plaats van 133 MB of meer met de oudere methoden. Uw nieuwslezer codeert bestanden wanneer u post en decodeert ze wanneer u downloadt, dus u hoeft zelf nooit iets met yEnc te doen.

yEnc-berichten kunnen ook een controlesom bevatten, een zogeheten CRC32, waarmee uw nieuwslezer een stuk herkent dat onderweg beschadigd is geraakt.

Bestanden repareren met PAR2

Soms komen een paar artikelen nooit aan. Ze kunnen verlopen zijn, verwijderd zijn of de server van uw provider nooit hebben bereikt. PAR2-bestanden, kort voor parity archives (pariteitsarchieven), lossen dit op. Wie een bestand post, voegt er een set herstelbestanden aan toe, en daarmee kan uw nieuwslezer stukken herbouwen die ontbreken of beschadigd zijn.

PAR2 verdeelt de oorspronkelijke bestanden in blokken en maakt daaruit herstelblokken. Zolang u minstens evenveel herstelblokken hebt als er blokken ontbreken, kunnen de bestanden worden gerepareerd. Wie bestanden post, voegt meestal genoeg herstelgegevens toe om een klein deel aan verlies op te vangen, en uw nieuwslezer downloadt daarvan alleen wat hij nodig heeft. Parchive, het systeem achter PAR2, is gemaakt om het delen van bestanden via Usenet betrouwbaar te maken, en de tweede versie verscheen in september 2002.

Programma’s die bestanden repareren

SABnzbd en NZBGet controleren en repareren downloads automatisch. Moet u ooit zelf bestanden repareren, dan zijn er gratis programma’s: MultiPar voor Windows (de opvolger van het oudere QuickPar) en par2cmdline, dat werkt op Windows, macOS en Linux.

De rol van NZB-bestanden

Werkt u voor het eerst met NZB-bestanden? Onze handleiding voor NZB-bestanden laat stap voor stap zien hoe u er een opent.

Een NZB-bestand is een klein tekstbestand in XML-formaat met de Message-ID van elk artikel dat bij een gepost bestand hoort. Het bevat niet het bestand zelf, alleen de weg ernaartoe, een beetje zoals een boodschappenlijstje. Uw nieuwslezer leest de lijst en vraagt de server van uw provider om elk artikel aan de hand van de Message-ID.

Vóór de komst van NZB-bestanden moest u de headers van een hele groep downloaden en elk deel met de hand uitzoeken. Met een NZB-bestand slaat uw nieuwslezer die stap over. Dat is sneller en kost veel minder data.

NZB-bestanden komen meestal van degene die de bestanden heeft gepost, en postprogramma’s kunnen er automatisch een maken. Gebruik alleen NZB-bestanden uit bronnen die u vertrouwt, voor bestanden die u rechtmatig mag downloaden.

Zo downloadt uw nieuwslezer een bestand

De downloadsnelheid hangt af van uw internetaansluiting en van het aantal verbindingen dat uw nieuwslezer opent; Fast Usenet staat er maximaal 50 toe. Of elk stuk aanwezig is, hangt af van de retentie en de volledigheid van uw provider. Ons overzicht legt dat uit in het deel servers, retentie en volledigheid.

De stukken weer samenvoegen

Wie bestanden post, verpakt ze vaak eerst in een archief, soms opgesplitst in meerdere genummerde stukken. Downloadprogramma’s zoals SABnzbd en NZBGet pakken die na een eventuele reparatie automatisch uit. Zo houdt u de oorspronkelijke bestanden over, en de overgebleven stukken worden opgeruimd.

Zelf uitpakken

Pakt uw nieuwslezer niet automatisch uit? Dan kan een gratis archiefprogramma zoals 7-Zip op Windows de meeste archiefformaten openen.

Uw eigen bestanden posten

Bestanden posten werkt op dezelfde manier, maar dan andersom. Een postprogramma, of een nieuwslezer die bestanden kan posten, codeert ze met yEnc, verdeelt ze over artikelen, voegt PAR2-herstelbestanden toe en post alles in een geschikte binaire groep. Veel programma’s maken ook een NZB-bestand dat u kunt delen, zodat anderen uw bericht in één stap kunnen downloaden.

Mensen gebruiken dit om bestanden te delen die ze mogen delen, zoals hun eigen foto’s en projecten, opensourcesoftware en materiaal uit het publieke domein. Bij Fast Usenet wordt posten op verzoek ingeschakeld om misbruik te voorkomen. Neem dus eerst contact op met ons supportteam en probeer een klein testbericht voordat u iets groots post. Onze gids over posten en netiquette gaat in op de goede omgangsvormen.

Veelgestelde vragen