Im Februar startet der Microsoft TechDay mit einer Sonderreihe. Unter dem Motto „Best Practice Day- Neues und Unbekanntes für den Systemadministrator“ geht es an fünf Tagen in fünf Städten – München, Karlsruhe, Frankfurt, Leipzig und Hamburg – um das Thema „System-Administrator“.
Die täglichen Aufgaben des SysAdmins unterstützen zahlreiche Tools, die oft unbekannt sind oder unterschätzt werden. Diese Tools, zusammen mit vielen Tipps und Tricks, werden von den Microsoft Evangelisten im Rahmen des Microsoft TechDays vorgestellt.
Weitere Infos und Anmeldung unter: http://go.microsoft.com/?linkid=9645348
Im Rahmen dieser Veranstaltung gibt es bei c++.de ein Gewinnspiel, bei dem unter anderem 2 kostenlose Eintrittskarten für den TechDay zu gewinnen sind, sowie weitere Preise:
3 Microsoft Livecams VX-7000
3 Halo 3
3 Leatherman Kick
Registrierte Benutzer von c++.de können über den folgenden Link zum Preisrätsel kommen und an dem Gewinnspiel teilnehmen. Einsendeschluß ist der 06.02.2009.
http://www.c-plusplus.net/forum/profile-var-mode-is-email-and-u-is-108643.html
Die Datenbank-FAQ
Bitte schaut ob einige eurer Fragen vielleicht schon beantwortet sind. Benutzt dazu auch die Suchfunktion. Beachtet beim posten bitte auch die gängigen Regeln -> Wie man Fragen richtig stellt
Basiswissen rund um Datenbanken und zu SQL - Links und Erklärungen über Datenbanken Basiswissen und SQL.
Datenbanken in Programmen ansprechen - Wie man Datenbanken (wie MySQL oder Access) an ein Programm anbinden kann.
Freie/Kostenlose Datenbanken - eine Liste von freien oder kostenlosen Datenbanken.
Also hundertausende bis mehrere Millionen Datensätze. Das klingt nach einem guten Fall für irgendeine freie Datenbank (ziemlich egal welche, da du sie nur als Datenhalde benutzen wirst), und dem Analysegespann Python/Pandas/Jupyter.
@Schlangenmensch Hab ich sogar schon mal sehr rudimentär gemacht, wurde im C++ Programmierer behandelt.
Ja das ist so eine Sache mit den Abhänigkeiten ... Ich verwende sowieso schon QT libs, daher ist das nicht direkt das Problem (wobei eine unabhängige lib natürlich grundsätzlich besser ist, damit ich mir für nicht qt projekte nicht eine andere Suchen muss). Ich muss aber zugeben, dass mir natürlich zusagt, dass es z.B. von qt dann auch direkt ein sql model gibt. Das heißt es ist ziemlich einfach und schick seine Daten dann darzustellen in qml (oder qt widgets).
@ravenheart_ggg
Ist da ein Fehler drin?
Wenn der unique_ptr nach Gebrauch zerstört wird, ist das Ok.
Dann liegt das Problem woanders, da kenne ich mich dann aber nicht aus.
Falsche Sprache.
Don't get me wrong. Real programmers might do list processing in fortran, accounting in fortran, ai in fortran. But heck, that was 30 years ago. Wanna do db stuff? Use some state of the art language.
Hi,
doch noch ne Lösung gefunden.
Aufmachen oder anschauen ging gar nicht.
Aber mit nem SQL-Befehl nach der Art
Select * into Tabelle from Tabelle in "Datei.mdb"
ließen sich die Daten in eine neue aktuelle Datenbank reinziehen.
Nur falls mal ein anderer vor dem gleichen Problem steht.
Basis war ein TAdoDataset von Embarkadero (Delphi)
Gruß Mümmel
Danke für die Hilfe, konnte jedes Problem lösen, waren die richtigen Denkanstöße dabei, die entweder Denkfehler von mir aufgezeigt haben oder ich die Richtigen Stichworte zum googeln bekommen habe.
Ich kenn mich leider mit Oracle nicht aus, aber ich kann dir ein paar Sachen sagen die du probieren könntest.
INSERT ALL mit expliziter NULL für die Key-Spalte. Bei manchen Datenbanken funktioniert sowas.
Explizite Transaktion rund um die einzelnen INSERT mit einem einzigen COMMIT am Schluss.
UNION ALL
Ala
INSERT INTO tbl_name (a,b,c)
SELECT 1, 2, 3
UNION ALL SELECT 4, 5, 6
UNION ALL SELECT 7, 8, 9;
Manche DBs haben Funktionen mit denen man sich explizit den nächsten Wert für ne Autoinkrement Spalte einer bestimmten Tabelle holen kann.
Oder gibt es vielleicht Funktionen mittels derer man Rowsets aus Strings erzeugen kann? MSSQL kann z.B. XML parsen und ein Rowset zurückgeben das man dann in SELECT verwenden kann. Das kann man dann in einem INSERT ... SELECT verwenden. Dazu muss man natürlich vorher die Daten erstmal in XML verwandeln, aber von der Performance her ist es bei MSSQL deutlich besser als einzelne INSERTs.
Table Variablen. Auch keine Ahnung ob Qracle sowas kann, aber es gibt DBs die in-memory Table-Variablen können - wie z.B. auch MSSQL. Falls es sowas gibt wäre es möglich dass lauter einzelne INSERTs in ne Table-Variable schneller sind als direkt in den Table. In dem Fall dann die Zeilen erst einzeln in die Table-Variable einfügen und dann wieder mit INSERT ... SELECT weiter in die Tabelle schieben.
Wenn das alles nix hilft, dann bleibt noch die Möglichkeit in nen Temp-Table mit INSERT ALL einzufügen, und dann von dort weiter mit INSERT ... SELECT in die permanente Tabelle.
Problem ist gelöst, ist jetzt wieder 10 - 30 x schneller: Das Hauptproblem war ein PK (einer anderen gejointen Tabelle), der versehentlich auf 2 Feldern definiert war, anstatt dass das 2. Feld als separater Index definiert wurde.
(wegen Bedienung einer zusätzlichen Werte-Historie wurde pro "Update" folgende Sequenz in einer Schleife duchgeführt: Select mit Join -> Update -> Insert in Historie. Vermutete zuerst, dass das die Transaktion ineffektiv machen könnte und wollte Select, Updates und Inserts separieren. Aber das scheint jetzt nicht mehr nötig.)
Vielen Dank für eure Hinweise!
Wenn ich den Befehl
C:\Users\user>imp userid=admin/admin file=C:\Users\user\Desktop\Dump\export_dump_exclude_tables_metadata_01.dmp
so absetze, erhalte ich die Meldung:
Verbunden mit: Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
IMP-00401: Dumpdatei "C:\Users\user\Desktop\Dump\export_dump_exclude_tables_metadata_01.dmp" ist m÷glicherweise eine Data Pump Export-Dumpdatei
IMP-00000: Der Import-Vorgang endete mit Fehlern
@mixer007 sagte in Daten in eine Datenbank hochladen: automatisieren:
und wie soll das gehen?
Ich habe nicht viel mit Python gemacht.
Das steht nicht in dem PDF.
Hersteller/Vertreiber/FAQ der Datenbank befragen.
Da sollten mehr Infos raus kommen.
Hi,
also ich mache dies oft wie folgt um eine neue Datenbank anzulegen:
$ touch database.sqlite3
$ sqlite3 database.sqlite3
sqlite> CREATE TABE ...
.exit
$
Sollte so gehen. Ich hatte auch schon mal das Problem das SQLite3 nicht direkt eine Datenbank anlegen wollte und erst eine leere Datei benötigte.
-codejunkie
Ich würde, wenn es Windows und LInux ist, postgresql empfehlen. Ist open Source und hat sogar ein High-Level-Interface ala exec sql select... into :feld1, :feld2... end-exec.
habe mit LMDB gute Erfahrungen gemacht, wenn es um reine Key-Value-Pairs geht.
Anwendungsfall war bei mir ähnlich, Anzahl der Datensätze war groß, die Größe der abgespeicherten Binärdaten dagegen klein (~10kb).
Gibt auch eine C++ API.
xyz3 schrieb:
grad gesehen mysql unterstuetzt ja gar kein, FULL OUTER JOIN , wieso das denn ???
Das wirst du eher die Devs fragen müssen Vermutlich aber weil die Nachfrage einfach zu gering ist.
Selbst habe ich in 10+ Jahren Web-Development erst 1 oder 2 Mal einen FULL OUTER JOIN gebraucht und den kann man sich in MySQL easy über LEFT JOIN, RIGHT JOIN und UNION zusammenbauen.
hustbaer schrieb:
ps: Die "moderne" Variante davon wäre dann statt eines klassischen GUI Client gleich ne Web-Anwendung zu machen.
Jetzt schlag doch nicht gleich solche Teufeleien vor
