mainXXX.md

Ausführen des Programms

Installiere die benötigten Python-Pakete:

pip install datasets

pip install transformers

pip install torch

pip install huggingface-hub

pip install beautifulsoup4

pip install pyth3

pip install seaborn

CUDA

Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.

nvcc --version

PyTorch mit CUDA Unterstützung installieren:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu111

Führe das Skript aus:

Neu V0.0.4 Doxygen Text aus html .html, docbook .xml und Rich Text Format .rtf

python main_GPU_V004.py /path/to/your/directory

Testing (Neu)

python main_Testing_V004.py /path/to/your/directory/ModelTestData.db

Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.

Kurzfassung:

Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,

konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.

Ausführlich:

Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,

extrahiert Informationen über bestimmte Dateitypen,

speichert diese Informationen in einer SQLite-Datenbank,

erstellt ein Hugging Face Dataset aus den gespeicherten Daten,

trainiert ein Modell für die Klassifikation von Dateien basierend auf deren Pfaden

und speichert das trainierte Modell sowie den Tokenizer.

Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:

1. Extrahiere Parameter aus Dateien (extrahiere_parameter(file_path)):

   • Öffnet eine Datei und liest deren Zeilen.
   • Sammelt Informationen wie Anzahl der Zeilen, Anzahl der Zeichen und ob der Text lang ist (>1000 Zeilen).
   • Gibt diese Informationen zurück, außer wenn ein Lesefehler auftritt.

2. Durchsuche Verzeichnis und extrahiere Parameter (durchsuchen_und_extrahieren(root_dir, db_pfad)):

   • Verbindet sich mit einer SQLite-Datenbank (db_pfad).
   • Erstellt eine Tabelle (dateiparameter) für die gesammelten Dateiinformationen, falls diese noch nicht existiert.
   • Durchläuft rekursiv das angegebene Verzeichnis (root_dir) und extrahiert Parameter von Dateien mit unterstützten Dateitypen.
   • Speichert die extrahierten Parameter in der SQLite-Datenbank.

3. Extrahiere Parameter aus der SQLite-Datenbank (extrahiere_parameter_aus_db(db_pfad)):

   • Verbindet sich mit der SQLite-Datenbank.
   • Führt eine Abfrage aus, um alle gespeicherten Dateiparameter zu erhalten.
   • Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.

4. Konvertiere zu Hugging Face Dataset (konvertiere_zu_hf_dataset(daten)):

   • Nimmt die aus der SQLite-Datenbank abgerufenen Daten und wandelt sie in ein Hugging Face Dataset um.
   • Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.

5. Trainiere und speichere Modell (trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)):

   • Lädt das Hugging Face Dataset von der Festplatte.
   • Erstellt einen Tokenizer (AutoTokenizer) für BERT.
   • Definiert eine Funktion zum Tokenisieren der Dateipfade im Dataset.
   • Erstellt ein Modell (AutoModelForSequenceClassification) für die Klassifikation der Dateipfade.
   • Konfiguriert Trainingsargumente und einen Trainer für das Modell.
   • Trainiert das Modell mit den trainierten und Testdaten aus dem Dataset.
   • Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (output_model_dir).

6. Main-Funktion (if __name__ == "__main__":):

   • Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
   • Erstellt einen SQLite-Datenbanknamen aus dem Basisnamen des Verzeichnisses.
   • Führt die Funktionen aus, um Daten zu extrahieren, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren.
   • Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.

Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,

diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.