#!/usr/bin/perl -w # This program is under the GPL # Written by Matthias Kabel # No warranty # Ok, code starts here, very fast hack, very ugly feel free to do better use Getopt::Std; use LWP::Simple; # Kommandozeile lesen und auswerten, oder erklären wie es geht. %option = (); getopts("u:vhop:", \%option); if ($option{h}) { using();} if ($option{o}) { $outfile = $option{o}; } else { $outfile = "gutenberg.html"; } if($option{l}) { $localfile = $option{l}; } else { $localfile = "/tmp/gutenberg.html"; } if ($option{u}) { $url = $option{u}; } else { if ($option{h}) { exit(0); } else { # print "Was soll ich denn holen? Bitte doch so: $0 -u START_URL\n"; using(); exit (0); } } $url =~ /(.*\/)(.*)/; $base_url = $1; $datei_url = $2; $vorige_datei = ""; $HTML_END = "\n\n\n"; $folge_datei = 0; open(OUTFH, ">$outfile") || die ("Konnte Ausgabedatei nicht öffnen"); # Prüfen, ob es sich um die Druckversion handelt # wenn nicht, holen wir diese druckversion(); # Schleife, bis alle Dateien bei Gutenberg abgearbeitet sind while ($url ne $vorige_datei) { # Sicherheitshalber, falls es keine nächste Datei gibt $vorige_datei = $url; # Jetzt holen wir die aktuelle Datei und speichern sie print "Holen der Datei $url\n"; LWP::Simple::getstore($url, $localfile); # Zunächstmal wollen wir nichts rausschreiben, da uns die ganze # Werbung nicht interessiert $flag = 0; # Abarbeiten der gespeicherten Datei open(INFH, "<$localfile") || die ("Eingabedatei nicht gefunden!"); print "Verarbeiten\n"; while() { chomp $_; # Fortschrittsanzeige print "."; # Jetzt wird es ernst: # Prüfen, welche Kopfeinträge wir wann brauchen # Wir holen immer die Druckversion, so müssen wir nicht # nach einer Kopfgrafik der normalen Seiten suchen if ($folge_datei == 0) { $flag = 1; } # Bei einer Folgedatei haben wir schon den Titel if ($folge_datei == 1 and $flag == 0) { # Wir suchen also nach dem if ($_ =~ //) { $flag = 1; next; } } # Aber wir wollen nie das oder if ($_ =~ /<\/HTML>/) { $flag = 0; } if ($_ =~ /<\/BODY>/) { $flag = 0; } # Ende des Textabschnittes, Schaltfläche zurück if ($_ =~ /bwd.gif/) { $vorige_datei = $url; # Der hilft uns auch nichts, also weiter next; } # Wir suchen den Vorwärts-Knopf # suchen uns den Link und if($_ =~ /fwd.gif/){ $_ =~ /(.*)(HREF=\")(.*htm)(\".*)/; $url = $base_url.$3; $datei_url = $3; # prüfen auf die Druckversion druckversion(); # Dem Programm mitteilen, daß wir uns in einer Folgedatei befinden $folge_datei = 1; $flag = 0; next; } # Ok, wir haben den eigentlichen Text und können ihn ausgeben if ($flag ==1){ print OUTFH "$_\n"; } # Alles nach der Fußzeile entfernen if ($_ =~ /