große Datenmenge aus Datenmodell verfügbar machen

Moderator: ModerationP

große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 23. Mai 2020, 20:12

Hallo Community,

nachfolgend meine aktuelle Anfrage:

  • ich habe eine große XL-Datei (O365) mit einem umfangreichen Datenbestand im Datenmodell erhalten (>>10Mio Datensätze)
  • die Ausgangsdaten sind nicht mehr zugänglich
  • ich müsste nun auf diese Daten gesamthaft zugreifen können
  • aufgrund der vielen Datensätze ist eine Übernahme in eine XL-Tabelle nicht möglich
Meine Grundidee war nun, per Access auf die XL-Datei zugreifen und von dort aus die Daten aus dem Datenmodell in eine Access-DB zu übertragen(?), um dann im weiteren Verlauf seitens XL / PQ auf diese DB zugreifen zu können.
Leider versagen meine (bisher nur auf Grundniveau befindlichen) Kenntnisse zum Datenmodell in XL. Auch im Internet habe ich nix Passendes gefunden, daher hier die Frage in die Runde, ob es dazu geschickte Methoden gibt?

Vielen Dank für Eure Mühen
RaiSta
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon Eifeljoi5 » 23. Mai 2020, 20:20

Hallo

@ RaiSta
Schon mal mit PQ probiert?
Gruß
Eifeljoi5

Ich würde mich freuen zu erfahren, ob ich helfen konnte.
Benutzeravatar
Eifeljoi5
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 465
Registriert: 18. Jun 2014, 18:56

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon shift-del » 23. Mai 2020, 20:54

RaiSta hat geschrieben:Auch im Internet habe ich nix Passendes gefunden

Hast du auch mal mit englischen Suchbegriffen gesucht?
Wir sehen uns!
... shift-del
Eine Mustertabelle hilft beim Helfen.
Excel Super-Funktionen: VERWEIS(), INDEX(), WAHL()
Benutzeravatar
shift-del
Moderator
 
Beiträge: 20990
Registriert: 25. Jan 2009, 22:54
Wohnort: Ehemaliges Fabrikgelände

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 23. Mai 2020, 22:02

Eifeljoi5 hat geschrieben:Schon mal mit PQ probiert?
Kannst Du das etwas konkreter fassen? Bisher weiß ich nur, wie ich mittels PQ Daten aus dem Datenmodell in eine Tabelle extrahiere. Das klappt hier auch problemlos. Nur hat der Datenbestand >10Mio Datensätze, eine XL-Tabelle kann nur 1048576 Zeilen aufnehmen. Damit bin ich per PQ bisher hilflos, wie ich den kompletten Datenbestand verfügbar machen kann.

Mein Ziel ist, den Datenbestand in eine eigene Datei zu fassen, z.B. eine .acc-Datenbank, auf die ich anschließend beliebig zugreifen kann.

Gruß und Dank,
RaiSta
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 23. Mai 2020, 22:08

shift-del hat geschrieben:
RaiSta hat geschrieben:Auch im Internet habe ich nix Passendes gefunden
Hast du auch mal mit englischen Suchbegriffen gesucht?

Ich habe dazu englische Seiten gelesen, die aber dann letztlich doch andere Themen behandelten, mir damit nicht weiter halfen.

Bezüglich passgenauer Suchbegriffe für Suchalgorithmen bin ich schon auf Deutsch meist etwas ungeschickt - und weiß meist erst hinterher, was passende Begriffe gewesen wären. Auf Englisch geht mir das entsprechend noch schwerer von der Hand, eine Anfrage Suchmaschinen-gerecht zu formulieren....

Gruß und Dank,
RaiSta
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon shift-del » 23. Mai 2020, 22:23

Probiere es mal mit "export data from data model to access".

In einem Video wird vorgeschlagen die Daten mit DAX Studio nach csv zu exportieren.
Wir sehen uns!
... shift-del
Eine Mustertabelle hilft beim Helfen.
Excel Super-Funktionen: VERWEIS(), INDEX(), WAHL()
Benutzeravatar
shift-del
Moderator
 
Beiträge: 20990
Registriert: 25. Jan 2009, 22:54
Wohnort: Ehemaliges Fabrikgelände

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon Eifeljoi5 » 24. Mai 2020, 06:27

Hallo

@ RaiSta
Bisher habe ich noch nix gefunden im Netz warum es nicht gehen sollte mit PQ.
Habe auch noch nirgends gelesen das es für PQ eine Begrenzung geben soll was die Anzahl der Datensätze betrifft.
Falls es du etwas gefunden hast kannst mir ja mal den Link zu der Seite geben um mich eventuell weiter zu bilden.

Dir ist ja bekannt das man mit PQ Daten aus Access holen kann, habe es noch vor ca 2 Wochen für einen Kunden gemacht.
Gruß
Eifeljoi5

Ich würde mich freuen zu erfahren, ob ich helfen konnte.
Benutzeravatar
Eifeljoi5
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 465
Registriert: 18. Jun 2014, 18:56

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon snb » 24. Mai 2020, 10:32

Was ist die Extension deiner Datendatei ?
Woher stammt diese Datei ?
snb
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 7627
Registriert: 25. Sep 2014, 16:37

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 24. Mai 2020, 13:17

Eifeljoi5 hat geschrieben:Dir ist ja bekannt das man mit PQ Daten aus Access holen kann, habe es noch vor ca 2 Wochen für einen Kunden gemacht.

Eifeljoi5 hat geschrieben:Was ist die Extension deiner Datendatei ?
Woher stammt diese Datei ?


Offenbar war meine Beschreibung nicht klar genug, daher hier der Versuch, es besser zu machen:

Ich habe eine Excel-Datei, die im Datenmodell einen umfangreichen Datensatz mit >10Mio Zeilen (und vielen Spalten) enthält. Diese Daten kann ich im erweiterten Editor mit PQ ansehen (ok, ich habe da nicht überprüft, ob es wirklich über 10 Mio Datensätze sind, aber PQ behauptet, dass es so viele seien....)

Ich möchte aus dieser Excel-Datei (Endung .xlsx) die Daten in eine Datenbank überführen, z.B. Access oder dgl. (.acc oder wie auch immer).

Wenn ich in Excel mit PQ Daten aus dem Datenmodell heraushole, gehen nur die ersten ~1Mio Zeilen, dann ist das Tabellenblatt am Ende --> somit kann ich innerhalb der Excel-Datei nicht die Daten aus dem Datenmodell extrahieren, um sie irgendwohin zu speichern - zumindest habe ich keine Ahnung, wie ich mit PQ >~1Mio Datensätze herausholen kann (z.B. Export nach .csv, ohne dass die Daten zuvor in der Tabelle geladen werden).

Somit suche ich eine Möglichkeit, wie ich die Datensätze aus der XL-Datei heraus bekomme, um eine DB zu erstellen.

Ich hoffe, mein Anliegen ist jetzt klar ...?
Gruß und Dank,
RaiSta
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon GMG-CC » 24. Mai 2020, 17:31

Moin,
ich finde es immer wieder alles andere als "erfrischend", wenn im Eingangs-Beitrag Behauptungen (nicht Vermutungen!) aufgestellt werden, die absolut nicht stimmen und jeden Helfer einfach in den Irrgarten schicken. JETZT weiß ich nämlich, dass du (ja Excel durch Power Query) Zugriff auf die Quelldaten haben muss, denn sonst würde dir außer einer Fehlermeldung nichts gezeigt werden.

… und was willst du nun wirklich? Durch PQ hast du doch Zugriff auf jeden einzelnen Datensatz! Ach ja, dass Access dann die bessere Lösung ist, das kannst du imho vergessen. Eine Faustregel besagt, dass die Grenze des Sinnvollen bei ca. 2 Mio. Datensätzen liegt, danach wäre beispielsweise der SQL-Server angesagt.

Und da ich nicht weiß, was du wirklich für deine Arbeit brauchst; bleibt mir nur der Hinweis auf eine Index-Spalte, welche du dann als Parameter für das Splitten der RawData in 11-12 Tabellenblätter á 1 Mio. Zeilen nutzt. Die könntest du dann natürlich einzeln als Import-Objekt für deine DB verwenden oder jeweils als *.csv speichern und diese in einem GUTEN Editor (beispielsweise Notepad++) zusammenfügen. Das Produkt kann dann natürlich in die DB importiert werden.
Gruß
Günther

Excel-ist-sexy!
Wenn du keine Excel-Version angegeben hast, gehe ich von mindestens Excel 2016 aus.
Hilfe zur Selbsthilfe, das ist IMHO der Sinn eines Forums, nicht Komplettlösungen für den kommerziellen Einsatz und das "natürlich" gratis!
Benutzeravatar
GMG-CC
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 4429
Registriert: 12. Nov 2011, 23:17
Wohnort: Geesthacht bei Hamburg

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 24. Mai 2020, 20:56

GMG-CC hat geschrieben:Moin,
ich finde es immer wieder alles andere als "erfrischend", wenn im Eingangs-Beitrag Behauptungen (nicht Vermutungen!) aufgestellt werden, die absolut nicht stimmen und jeden Helfer einfach in den Irrgarten schicken. JETZT weiß ich nämlich, dass du (ja Excel durch Power Query) Zugriff auf die Quelldaten haben muss
Ich zitiere mal ausnahmsweise mich selber:
RaiSta hat geschrieben:
  • ich habe eine große XL-Datei (O365) mit einem umfangreichen...
  • die Ausgangsdaten sind nicht mehr zugänglich
  • ich müsste nun auf diese Daten gesamthaft zugreifen können
Ich denke, dass ich da schon recht genau beschrieben hatte, was ich suche: Zugriff auf den zugrundeliegenden Datenbestand. Von daher kann ich Deinen Vorwurf diesmal nicht ganz nachvollziehen...
Zusätzliche Info, ist vielleicht hilfreich: ursprünglich kamen die Daten aus einer Datenbank-Abfrage (soweit ich weiß). Diese Quelldaten sind nicht mehr verfügbar. Aber das Ergebnis der Abfrage ist nun mal in der XL-Datei (mit der ich sonst nix anfangen will). Somit interessiert mich die XL-Datei nicht, außer, dass ich gerne die Daten aus dem Datenmodell hätte (die XL-Datei ist >100MB groß).
GMG-CC hat geschrieben:… und was willst du nun wirklich?
Nun, wie geschrieben: ich benötige Zugriff auf die zugrundeliegenden Daten. Ich will da jetzt nicht unbedingt mit ACCESS darauf zugreifen (vielleicht in Zukunft aber auch doch - weiß ich jetzt noch nicht genau). ACCESS hatte ich nur als Werkzeug in's Spiel gebracht, da es zum Einen keine harte Grenze bei 1048576 Datensätzen hat wie Excel, zum Anderen aber Excel-Dateien lesen kann - das war mein Denkansatz (und wurde im Eingangspost auch entsprechend bezeichnet). Nur die Daten möchte ich in geschlossener Form. Ob als .csv-Datei oder Datenbank, ist mir erst mal egal. Nur die Daten möchte ich als singulären Bestand zur weiteren Verarbeitung, losgelöst von der aktuellen XL-Datei.
Hmmm, wie soll ich's noch beschreiben?

GMG-CC hat geschrieben:Und da ich nicht weiß, was du wirklich für deine Arbeit brauchst; bleibt mir nur der Hinweis auf eine Index-Spalte, welche du dann als Parameter für das Splitten der RawData in 11-12 Tabellenblätter á 1 Mio. Zeilen nutzt. Die könntest du dann natürlich einzeln als Import-Objekt für deine DB verwenden oder jeweils als *.csv speichern und diese in einem GUTEN Editor (beispielsweise Notepad++) zusammenfügen. Das Produkt kann dann natürlich in die DB importiert werden.

Ok, daran hatte ich auch schon gedacht - aber aufgrund der vielen Daten hatte ich gehofft, dass eine 'intelligente' Lösung gäbe, die das etwas eleganter ausführt, ohne dass manuelle Fehler möglich sind.

Ist meine Beschreibung diesmal so, dass es klar wird? Hmmm

Gruß und Dank,
RaiSta
Zuletzt geändert von RaiSta am 24. Mai 2020, 21:06, insgesamt 1-mal geändert.
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon GMG-CC » 24. Mai 2020, 21:06

Nun ja,
solange mir nicht aus kompetenter Quelle bewiesen wird, dass Power Query ~10 Mio. Datensätze anzeigen kann, ohne eine Verbindung zur "wahren" Datenquelle zu haben, bleibe ich bei meiner Überzeugung. Und so lange bin ich aus diesem Thread raus.
Gruß
Günther

Excel-ist-sexy!
Wenn du keine Excel-Version angegeben hast, gehe ich von mindestens Excel 2016 aus.
Hilfe zur Selbsthilfe, das ist IMHO der Sinn eines Forums, nicht Komplettlösungen für den kommerziellen Einsatz und das "natürlich" gratis!
Benutzeravatar
GMG-CC
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 4429
Registriert: 12. Nov 2011, 23:17
Wohnort: Geesthacht bei Hamburg

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon RaiSta » 24. Mai 2020, 21:47

GMG-CC hat geschrieben:solange mir nicht aus kompetenter Quelle bewiesen wird, dass Power Query ~10 Mio. Datensätze anzeigen kann, ohne eine Verbindung zur "wahren" Datenquelle zu haben, bleibe ich bei meiner Überzeugung. Und so lange bin ich aus diesem Thread raus.
Nun denn, zwei Screenshots als Beleg:
Excel-Datenmodell_gt10Mio_01_red.jpg

Excel-Datenmodell_gt10Mio_02red.jpg


... reicht das als Beleg?

Gruß und Dank,
RaiSta
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Wenn Sokrates als intelligent gilt, weil er "ich weiß, daß ich nichts weiß" erkannte, muß ich ein Genie sein.
RaiSta
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 569
Registriert: 02. Jul 2013, 01:07
Wohnort: Im Mittelpunkt - der EU

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon Gast » 25. Mai 2020, 11:56

Ich habe ja keine Ahnung von den genannten Datenbank-Nachbildungen, aber schon etwas von richtigen Datenbanken.
Daher würde ich behaupten, dass ein Datenmodell selber keine Daten enthält, sondern nur einige Informationen über Strukturen, so z.B. wie Tabellen zu verknüpfen sind.
Die Daten selber liegen in Tabellen. Also sollte man versuchen, über die definierte Verknüpfung Zugang dazu zu gewinnen. Damit sollte man auch die Möglichkeit erhalten, direkt daraus zu importieren und in andere Tabellen abzulegen.
Hiermit könnte man sich eine Arbeitsgrundlage erstellen: Feststellen, welche Datenquellen im Datenmodell einer Arbeitsmappe verwendet werden

Mit vorhandenen Zugangsdaten könnte man z.B. einen ADODB-Zugriff organisieren.
Gast
 

Re: große Datenmenge aus Datenmodell verfügbar machen

Beitragvon GMG-CC » 25. Mai 2020, 12:38

Moin,
RaiSta hat geschrieben:... reicht das als Beleg?

OK, das reicht in der Tat erst einmal und ich erkläre dich zu einer "Ehrenjungfrau" (ein über 50 Jahre alter Spruch... :) )
Gruß
Günther

Excel-ist-sexy!
Wenn du keine Excel-Version angegeben hast, gehe ich von mindestens Excel 2016 aus.
Hilfe zur Selbsthilfe, das ist IMHO der Sinn eines Forums, nicht Komplettlösungen für den kommerziellen Einsatz und das "natürlich" gratis!
Benutzeravatar
GMG-CC
Im Profil kannst Du frei den Rang ändern
 
Beiträge: 4429
Registriert: 12. Nov 2011, 23:17
Wohnort: Geesthacht bei Hamburg

Nächste

Zurück zu Excel Forum (provisorisch)

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 4 Gäste

cron