Daten in große Datenmengen finden
-
Hallo
wie macht man das in der Praxis, es geht darum:
einzelne Wörter/Wortfolgen finden, die auf einer Festplatte in Textdateien gespeichert sind.
Das können schon einige Gigabyte Daten sein.
Alle Dateien einzeln nach einem Wort oder nach einer Wortfolge zu durchsuchen dürfte wenig effizient sein.
Man müsste die Daten irgendwie auf die Suche vorbereiten?
Oder wie macht man sowas?
-
nimm was fertiges (sphinx oder lucene) die sind eig. nicht schlecht, es sei denn du brauchst was spezielles, dann wirst um eine homebrew inverted-index suche nicht rumkommen
-
Willst du das denn regelmäßig machen oder nur selten?
Durch ein paar GB durchgreppen ist eigentlich kein großes Problem; grep ist sehr sehr schnell. (Natürlich nicht so schnell, wie wenn du groß indizierst, aber auch viel viel einfacher und bequemer.)
-
danke für die antworten, hat mir weitergeholfen!