zusammenfassen von CSV Dateien

Alle anderen Themen ...

Moderator: ModerationP

zusammenfassen von CSV Dateien

Beitragvon Schokoscherzkeks » 21. Jul 2020, 14:59

Hallo zusammen,

da ich nicht weiß wo das Thema landen wird, schreibe ich mal in diesem Bereich :wink:


Derzeitige Situation:
Ich habe zwei Produktionslinien a 3 Maschinen. Jede Maschine schreibt ständig Log-Files im CSV-Format in eine sehr unübersichtliche Ordnerstruktur (72 Ordner). Am Tag kommen ca. 400-600 Dateien zusammen mit unterschiedlichen Informationen. Wenn zu viele Dateien in den Ordnern vorhanden sind, werden die Maschinen ausgebremst, bzw. werden immer langsamer beim schreiben.

Mein Problem:
Ich möchte die Dateien zusammenfassen und mit Suchoptionen versehen. Auch eine Auswertung sollte möglich sein (Zahlen und/oder Diagramme). Leider habe ich wenig bis keine Ahnung wie ich das am besten lösen kann. In Excel und VBA würde ich das hin bekommen, aber vielleicht gibt es ja bessere Alternativen (die vll auch nicht so zeitaufwendig sind).

Knackpunkte:
- wurden die Dateien erfasst, sollten diese natürlich gelöscht werden
- da sehr viele Daten zusammen kommen, wird Excel immer langsamer werden
- ich hab keine Ahnung von Datenbanken, SQL oder ähnliches (wenn ich weiß in welche Richtung es geht, werde ich mich natürlich weiterbilden)
- automatisches Update (Trigger?)
- muss im Hintergrund laufen (sollte den Rechner nicht spürbar belasten. Eventuell auf einen anderen auslagern?)

Ich erwarte natürlich keine komplette Lösung für mein Problem (außer jmd hat zufällig genau das was ich brauche ;-) ), ich brauche nur einen Schubbser in die richtige Richtung.

Danke für eure Hilfe
"Wer im Bankhaus sitzt, sollte nicht mit Scheinen werfen" (Eure Mütter)
Schokoscherzkeks
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 57
Registriert: 19. Apr 2013, 19:21

Re: zusammenfassen von CSV Dateien

Beitragvon maninweb » 22. Jul 2020, 07:44

Hallo,

für's Zusammenfassen der Daten würde ich Power Query (Daten / Daten abrufen & transformieren / Daten abrufen / Aus Datei / Aus Ordner) verwenden.
Je nachdem wieviele Dateien im Ordner sind, lädt eine Aktualisierung neue Daten. Die Daten landen in einer Excel-Tabelle, die Du dann als Grundlage
für Auswertungen nehmen kannst. Nur die Dateien löschen kann Power Query nicht. Das könntest Du dann mit VBA machen.

Gruß
Microsoft Excel Expert · Microsoft Most Valuable Professional (MVP) :: 01/2011 - 06/2019 :: 04/2020 - 06/2021
Online Excel-Formel-Übersetzer :: Funktionen :: Fehlerwerte :: Argumente :: Tabellenbezeichner
Benutzeravatar
maninweb
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 11141
Registriert: 10. Mai 2004, 14:22
Wohnort: Aachen


Zurück zu Offtopic (provisorisch)

Wer ist online?

Mitglieder in diesem Forum: lupo1 und 3 Gäste