Masterthread Registration-Suche

[Axwell D]

ANZEIGE

2008-09-16 LH4104 MUC-VCE BAe146 stoze
2008-09-20 LH4099 VCE-MUC BAe146 stoze
2010-09-12 LH0228 MUC-TXL A3XX stoze
2010-10-28 LH3864 MUC-FCO E195 stoze
2010-10-31 LH1849 FCO-MUC E195 stoze
2011-03-29 4U0088 CGN-MUC A319 stoze

Time Update:

2008-09-16 LH4104 MUC-VCE 2055 2200 BAe146 stoze
2008-09-20 LH4099 VCE-MUC 1505 1615 BAe146 stoze
2010-09-12 LH0228 MUC-TXL 1710 1815 A3XX stoze
2010-10-28 LH3864 MUC-FCO 1645 1815 E195 stoze
2010-10-31 LH1849 FCO-MUC 1905 2045 E195 stoze
2011-03-29 4U0088 CGN-MUC 1845 1950 A319 stoze

@stoze

2009-10-30 OS0176 HAM VIE 1050 ---- F70 Mr. Hard

2009-10-30 OS0176 HAM VIE 1050 1225 F70 Mr. Hard

@Mr. Hard

found 2007-06-09 KL1852 DUS AMS 0615 ---- NoUser PH-KXH #5150
found 2007-06-09 KL1853 AMS DUS ---- 0745 NoUser PH-KVD #5150
found 2007-06-09 KL1854 DUS AMS 0815 ---- NoUser PH-KVD #5150
found 2007-06-09 KL1856 DUS AMS 1035 ---- NoUser PH-KVG #5150
found 2007-06-09 KL1857 AMS DUS ---- 1255 NoUser PH-LXP #5150
found 2007-06-09 KL1858 DUS AMS 1320 ---- NoUser PH-LXP #5150
found 2007-06-09 KL1859 AMS DUS ---- 1555 NoUser PH-LXP #5150
found 2007-06-09 KL1860 DUS AMS 1625 ---- NoUser PH-LXP #5150
found 2007-06-09 KL1863 AMS DUS ---- 2200 NoUser PH-LXK #5150
found 2007-07-09 AB9422 DUS PMI 0600 ---- NoUser D-ABDJ #5150
found 2007-07-09 AB9845 PMI DUS ---- 1120 NoUser D-ABDJ #5150
found 2007-07-09 AB9414 DUS PMI 0930 ---- NoUser D-ABDL #5150
found 2007-07-09 AB9864 DUS PMI 1145 ---- NoUser D-ABBR #5150
found 2007-07-09 AB9423 PMI DUS ---- 1650 NoUser EC-KBQ #5150
found 2007-07-09 AB9844 DUS PMI 1745 ---- NoUser EC-KBQ #5150
found 2007-07-09 AB9865 PMI DUS ---- 2230 NoUser D-ABAF #5150
found 2008-06-01 LX0632 ZRH CDG 0736 ---- Nick Art HB-IJM #4798
found 2008-06-01 LX0634 ZRH CDG 0912 ---- Nick Art HB-IPV #4798
found 2008-06-01 LX0638 ZRH CDG 1237 ---- Nick Art HB-IXP #4798
found 2008-06-01 LX0644 ZRH CDG 1820 ---- Nick Art HB-IJI #4798
found 2008-06-01 LX0646 ZRH CDG 2006 ---- Nick Art HB-IJF #4798
found 2008-06-01 LX0656 ZRH CDG 1649 ---- Nick Art HB-IJN #4798
found 2008-06-02 LX0633 CDG ZRH ---- 1158 Nick Art HB-IJS #4798
found 2008-06-02 LX0635 CDG ZRH ---- 1222 Nick Art HB-IPY #4798
found 2008-06-02 LX0639 CDG ZRH ---- 1627 Nick Art HB-IPR #4798
found 2008-06-02 LX0645 CDG ZRH ---- 2144 Nick Art HB-IPR #4798
found 2008-06-02 LX0647 CDG ZRH ---- 0802 Nick Art HB-IJF #4798
found 2008-06-02 LX0657 CDG ZRH ---- 2037 Nick Art HB-IJP #4798
found 2013-10-31 LH1112 FRA MAD ---- ---- stoze D-AIPR #5187
found 2013-11-03 LH1115 MAD FRA ---- ---- stoze D-AISU #5187
found 2018-07-25 EW8590 TXL PMI 1015 ---- 330 D-AKNP #4808
found 2018-08-26 EW7751 VIE HAM ---- 2131 330 D-ABKJ #4808
found 2018-08-28 BA0937 DUS LHR ---- 1104 330 G-EUPP #4808
found 2018-08-28 EW8040 TXL DUS ---- 0735 330 D-AKNQ #4808
found 2019-01-28 LH0188 FRA TXL ---- 1500 330 D-AIRR #4808
found 2019-03-06 LX0977 TXL ZRH 1050 ---- 330 HB-IJR #4808, #4815
found 2019-05-14 LH1037 CDG FRA ---- 1658 330 D-AIBD #4808

found 2007-06-09 KL1852 DUS AMS 0615 0715 NoUser PH-KXH #5150
found 2007-06-09 KL1853 AMS DUS 0650 0745 NoUser PH-KVD #5150
found 2007-06-09 KL1854 DUS AMS 0815 0920 NoUser PH-KVD #5150
found 2007-06-09 KL1856 DUS AMS 1035 1140 NoUser PH-KVG #5150
found 2007-06-09 KL1857 AMS DUS 1200 1255 NoUser PH-LXP #5150
found 2007-06-09 KL1858 DUS AMS 1320 1430 NoUser PH-LXP #5150
found 2007-06-09 KL1859 AMS DUS 1500 1555 NoUser PH-LXP #5150
found 2007-06-09 KL1860 DUS AMS 1625 1730 NoUser PH-LXP #5150
found 2007-06-09 KL1863 AMS DUS 2105 2200 NoUser PH-LXK #5150
found 2007-07-09 AB9422 DUS PMI 0600 0815 NoUser D-ABDJ #5150
found 2007-07-09 AB9845 PMI DUS 0900 1120 NoUser D-ABDJ #5150
found 2007-07-09 AB9414 DUS PMI 0930 1150 NoUser D-ABDL #5150
found 2007-07-09 AB9864 DUS PMI 1145 1400 NoUser D-ABBR #5150
found 2007-07-09 AB9423 PMI DUS 1430 1650 NoUser EC-KBQ #5150
found 2007-07-09 AB9844 DUS PMI 1745 2005 NoUser EC-KBQ #5150
found 2007-07-09 AB9865 PMI DUS 2010 2230 NoUser D-ABAF #5150
found 2008-06-01 LX0632 ZRH CDG 0735 0900 Nick Art HB-IJM #4798
found 2008-06-01 LX0634 ZRH CDG 0910 1030 Nick Art HB-IPV #4798
found 2008-06-01 LX0638 ZRH CDG 1235 1355 Nick Art HB-IXP #4798
found 2008-06-01 LX0656 ZRH CDG 1640 1755 Nick Art HB-IJN #4798
found 2008-06-01 LX0644 ZRH CDG 1810 1930 Nick Art HB-IJI #4798
found 2008-06-01 LX0646 ZRH CDG 2005 2120 Nick Art HB-IJF #4798
found 2008-06-02 LX0647 CDG ZRH 0705 0825 Nick Art HB-IJF #4798
found 2008-06-02 LX0633 CDG ZRH 1000 1115 Nick Art HB-IJS #4798
found 2008-06-02 LX0635 CDG ZRH 1100 1215 Nick Art HB-IPY #4798
found 2008-06-02 LX0639 CDG ZRH 1505 1620 Nick Art HB-IPR #4798
found 2008-06-02 LX0657 CDG ZRH 1835 1945 Nick Art HB-IJP #4798
found 2008-06-02 LX0645 CDG ZRH 2010 2125 Nick Art HB-IPR #4798
found 2013-10-31 LH1112 FRA MAD 0905 1140 stoze D-AIPR #5187
found 2013-11-03 LH1115 MAD FRA 1700 1945 stoze D-AISU #5187
found 2018-07-25 EW8590 TXL PMI 1015 1255 330 D-AKNP #4808
found 2018-08-26 EW7751 VIE HAM 2000 2130 330 D-ABKJ #4808
found 2018-08-28 BA0937 DUS LHR 1050 1125 330 G-EUPP #4808
found 2018-08-28 EW8040 TXL DUS 0630 0740 330 D-AKNQ #4808
found 2019-01-28 LH0188 FRA TXL 1445 1555 330 D-AIRR #4808
found 2019-03-06 LX0977 TXL ZRH 1050 1220 330 HB-IJR #4808, #4815
found 2019-05-14 LH1037 CDG FRA 1550 1700 330 D-AIBD #4808

@330
@stoze
@Nick Art
@bursche99 nur als Update für die Fundliste

 

[bursche99]

2000-07-03 LH2036 TXL DUS 0635 0740 @travellersolo
2000-07-03 LH2010 DUS TXL 1655 1805 travellersolo

LHR ACARS spuckt hier aus für den 3.7.
LH2010 TXL DUS D-AIPK
LH2036 TXL DUS D-AIPT

wie üblich bei LHR sind die Strecken nicht sehr zuverlässig, ich kann die beiden ja nochmal bei TXL anfragen zur Validierung, aber ich denke das müsste passen.

Edit:
LHR hat noch 2 mehr (und diesmal mit richtigen Strecken)
found 2000-10-04 LH2030 TXL DUS 1140 1250 @travellersolo D-AILN #5277
found 2000-11-03 LH1687 DUS TXL 1815 1920 travellersolo D-AIQE #5277

 

[Bizsteve]

Guten Morgen,

es wird ja schon fleißig gesucht. Ich werde da mal nicht mitmischen da es sonst ein zu großes Durcheinander gibt. Falls es aber hakt kann ich gerne mit Schaufel in den Keller herabsteigen.

Wünsche allen einen schönen zweiten Weihnachtsfeiertag

Steve

 

[xelo]

Update der Flugzeiten via EC:

2010-07-20 AB8974 MUC CAG 1225 1425 B73- xelo
2010-07-23 AB8783 CAG CGN 0835 1050 B73- xelo
2010-08-22 TRK0526 STR AYT 2000 0025 A320/321 xelo
2010-08-31 X30105 AYT STR 2055 2320 B73- xelo
2014-05-13 4U7045 STR HAM 1215 1330 CRJ9 xelo (Callsign müsste GWI28U oder GWI44U sein)
2015-01-22 AB6838 DUS STR 0815 0915 DHC8 xelo
2015-02-05 BT0464 WAW RIX 0615 0840 DHC8 xelo



2012-09-13 PER250 CAI SSH 2000 ---- DHC7 xelo (Flugnummer ist evtl. falsch, könnte die vom Hinflug sein)

Meinst du hier vielleicht eher eine DHC8? Lt. Planespotters und AF hatten die keine DHC7.

Zur Auswahl stünden dann folgende:

SU-CBF
SU-CBG
SU-CBH
SU-CBJ
SU-CBN

Hi, das war einem Foto zufolge sicher eine DHC-7-102. Die sind in Planespotters und AF irgendwie nicht hinterlegt. Insgesamt hatte Petroleum Air Services (PAS) neben den 5 DHC8 noch 5 DHC7 in der Flotte. Laut Zeitungsberichten waren bis ins Jahr 2011 noch 4 DHC7 in Dienst, 2012 noch 3 und 2014 noch eine. Die Registrationen waren folgende:

SU-CBA
SU-CBB
SU-CBC
SU-CBD
SU-CBE

Mit der SU-CBC ist morgens um 06.00 Uhr der Hinflug erfolgt.

Grüße xelo

 

[SaschaX99]

Hier ein paar Flugnummern aus den Anfragen von @travellersolo

2002-03-06 LH1607 TXL-FRA 0715 0815 travellersolo
2002-06-03 LH1607 TXL-FRA 0715 0815 travellersolo
2002-06-03 LH1030 FRA-TXL 1815 1920 travellersolo

2004-07-19 LH0252 DUS-TXL 1125 1230 travellersolo (Cityline)

@travellersolo

Wie sicher bist du dir bei den Flugnummer DUS-TXL-DUS und TXL-FRA-TXL aus 2001? Ich frage, weil ich bei der Suche andere Flugnummer mit abweichenden Flugzeiten gefunden habe.

 

[red_travels]

Wie sicher bist du dir bei den Flugnummer DUS-TXL-DUS und TXL-FRA-TXL aus 2001? Ich frage, weil ich bei der Suche andere Flugnummer mit abweichenden Flugzeiten gefunden habe.

gebe die Frage weiter und melde mich nochmal dazu. Danke!

 

[red_travels]

@SaschaX99 sind leider aus einem alten Kalender. Könnten daher auch falsch sein, hast du andere Nummern, wo die Zeiten (sofern angegeben) passen?

 

[SaschaX99]

@SaschaX99 sind leider aus einem alten Kalender. Könnten daher auch falsch sein, hast du andere Nummern, wo die Zeiten (sofern angegeben) passen?

Ich werde morgen eine Übersicht posten mit den Flugnummern, Zeiten und Quellen. Dann könnt ihr schauen was davon passen könnte.

Eine Übersicht ist mir doch zu aufwendig, aber ich hänge hier mal an was ich gefunden habe.

Für diesen Flug sollte die Flugnummer LH1454 1955 xxxx lauten
2001-08-02 LH0089 HAM-DUS 1945 2040 travellersolo

 

[bursche99]

Monthly Update

Suchliste #1 first - 1995

Suchliste #2 1996 - 2006

Suchliste #3 2007 - latest

Gelöste Registrationssuchen All list entries are current up to Post #5283

https://probert.de/Vielfliegertreff-Masterthread_solved_aircraft_registration_results.html

Quellen #5 Tipps und Tricks

 

[euul]

Bin gerade dabei, mein kleines "Projekt" (automatisiertes Suchskript) wiederzubeleben. Dabei ist mir der hier aufgefallen:

2009-12-17 AB6613 HAJ STR 2015 2125 DH4 littleowl

Dazu gibt es bei DFLD eine Flugspur über FRA:

found 2009-12-17 AB6613 HAJ STR 2015 2125 DH4 littleowl D-ABQH #5285

@littleowl

 

[bursche99]

Bin gerade dabei, mein kleines "Projekt" (automatisiertes Suchskript) wiederzubeleben. Dabei ist mir der hier aufgefallen:
...

Da bin ich jetzt aber gespannt, wie stößt man auf / skriptet man / findet man den bitte bei DFLD?
Crawlest Du die DFLD-Seiten (mit wget ähnlichen Tools?)

 

[littleowl]

Bin gerade dabei, mein kleines "Projekt" (automatisiertes Suchskript) wiederzubeleben. Dabei ist mir der hier aufgefallen:

Dazu gibt es bei DFLD eine Flugspur über FRA:

found 2009-12-17 AB6613 HAJ STR 2015 2125 DH4 littleowl D-ABQH #5285

Vielen Dank

 

[Adam Smith]

Hi Adam, welcome, and no worries, we (I) understand you in English and German.

It's a near miss, if you kindly add your user name to each line item (by editing the above post).

And yes, I am confident that we can help here, Canada experts are available ...

Vielen Dank, @bursche99 . Ich freue mich, mein Deutsch ein bisschen zu üben Außerdem bitte ich hier um Ihre Hilfe und ich denke, ich sollte versuchen, es euch leichter zu machen

found 2009-12-08 AC0145 YYZ YYC 2030 2251 321 Adam Smith C-GITU #5258

Quelle: acarsd
C-GITU (A321 AC) 0251 20091208 AC0145 (YYZ-YYC) [Cambridge-2, Ontario, Canada]

Danke schön für deine Mühe. Leider ist es nicht der richtig Flug. Die Daten in acarsd.org sind in GMT, also diese Flug ist AC145 vom 7. Dezember. Und leider hat acarsd.org nicht AC145 vom 8. Dezember.

Quelle : acarsd
C-FWCN (B737 WS) 1546 20060102 WS0667 (YUL-YYC)

das Flugpaar 667/668 ist aus dem Sample Januar / Februar 2006 nur an 2-3 Tagen abweichend (wenn es Treffer gab.)
Da die Zeiten fehlen kann man das nur schlecht validieren, kann hier jemand helfen? Würde das vom Flugplan passen?

Leider hat Westjet keine Flugpläne online in 2006.

Lt. Calgary Airport gab es nur eine Verbindung am Tag unter der Woche:

YUL-YYC Arr. 11:18 Westjet WJA 667 Montreal
YYC-YUL Dep.11:48 Westjet WJA 668 Montreal

Wenn ich mir dann die anderen Flüge der C-FWCN anschaue, dann denke ich eher nicht, dass sie YYCY-YUL geflogen ist. Lt Airport YYC war Hinflug WS0908 YYC-FLL wie folgt geplant

Ich denke, dass @SaschaX99 recht hat. Calgary ist der wichtigste Flughafen von WestJet und... I'll say it in English, because I'm not sure I'll say it properly even with Google Translate, but I doubt they would schedule an aircraft for a 30-minute turn on YUL-YYC-YUL. Also not often that they would schedule a YUL-YYC-YUL turn, I think.

Hello Adam,

at least with these flights i can help you out for now :


found 2006-02-16 AC0155 YUL YYC 1825 2105 320 Adam Smith C-FMEQ # 5255
found 2008-06-05 LH4084 FRA VCE 1230 1345 AB6 Adam Smith D-AIAT # 5255
found 2008-06-18 LH4091 VCE FRA 0710 0835 AB6 Adam Smith D-AIAX # 5255
found 2009-08-20 AC8139 YYC YXE 1120 1224 CRJ Adam Smith C-GKEW # 5255 (ops by Air Canada Jazz)
found 2010-07-17 OS0285 INN FRA 1000 1120 DH3 Adam Smith OE-LTO # 5255 (ops by Tyrolean Airways)

Cheers

Steve

Thanks, @Bizsteve ! Excellent information. I'm really happy to find those A300 flights. Those are the only ones I've ever done, so it's nice to have a couple of A300 registrations in my database of flown aircraft

Also interesting that the INN-FRA flight was a DH3 and not a DH4. I had definitely found one source (maybe my original booking confirmation) that said it was a DH4, although I think FlightStats or some other source had suggested it was actually a DH3.

Can I ask where you found this information? I greatly appreciate your assistance, and the others from this board, but I'm also happy to do some research myself. I think that @SaschaX99 and I connected on another forum and I got a lot of info from that conversation. I even managed to do some brute force elimination using that information (plus some info I had previously gathered from acarsd.org) to find one registration.

 

[euul]

Da bin ich jetzt aber gespannt, wie stößt man auf / skriptet man / findet man den bitte bei DFLD?
Crawlest Du die DFLD-Seiten (mit wget ähnlichen Tools?)

Eigentlich hatte ich das Programm geschrieben, um heruntergeladene Dateien (z.B. die Zips von lhr-lgw) zu durchsuchen. Aber statt den Inhalt einer Datei auf der Festplatte zu lesen, kann man natürlich auch "On Demand" eine Website aufrufen.
Da sich das rohe HTML in der Regel nur schlecht durchsuchen lässt, wandele ich den Inhalt mit BeautifulSoup erst noch in eine Art CSV um.
Der Rest funktioniert dann genau wie bei der lokalen Suche, da habe ich ein paar Helferlein gebastelt, z.B. Umwandlung von ICAO/IATA Codes (in diesem Fall war ja BER6613 gelistet), Suche +/- 1 Tag für Langstrecke/Hin/Rückflüge, abweichende Flugnummern (Ähnlichkeit) usw...

 

[SaschaX99]

Würde das auch mit gepackten json Dateien funktionieren?

 

[euul]

Würde das auch mit gepackten json Dateien funktionieren?

Klar, allerdings würde ich die Daten dann wahrscheinlich auch erst konvertieren (Text mit einem Flug pro Zeile), das macht die Suche per Regex halt einfacher. Aber bei einer vorgegebenen JSON Struktur wäre es auch ohne weiteres möglich, direkt in den JSON-Daten zu suchen.

Alles was in Python irgendwie lesbar ist, kann verarbeitet werden. Momentan habe ich z.B. pdf, Excel/csv/tsv, mht.

 

[SaschaX99]

Klar, allerdings würde ich die Daten dann wahrscheinlich auch erst konvertieren (Text mit einem Flug pro Zeile), das macht die Suche per Regex halt einfacher. Aber bei einer vorgegebenen JSON Struktur wäre es auch ohne weiteres möglich, direkt in den JSON-Daten zu suchen.

Alles was in Python irgendwie lesbar ist, kann verarbeitet werden. Momentan habe ich z.B. pdf, Excel/csv/tsv, mht.

Womit ich dann wieder beim Anfangsproblem bin. Ich hab mal jetzt für ein Verzeichnis geschaut und dass wären dann ca. 40.000 Dateien die konvertiert werden müssten.

 

[Biohazard]

Ich hab mal jetzt für ein Verzeichnis geschaut und dass wären dann ca. 40.000 Dateien die konvertiert werden müssten.

Kannst du einfach mal eine Beispieldatei hochladen? Dann kann die Schwarmintelligenz gemeinsam prüfen, ob und wie die Dateien konvertiert werden können.

 

[euul]

Womit ich dann wieder beim Anfangsproblem bin. Ich hab mal jetzt für ein Verzeichnis geschaut und dass wären dann ca. 40.000 Dateien die konvertiert werden müssten.

Denke nicht, dass es bei JSON ein Problem wäre das "on-the-fly" zu machen. Ich habe eine Methode um aus einer Datei eine iterierbare Liste zu machen, und dann noch eine um dieses "Item" (entspricht einem Flug) in durchsuchbaren Text zu konvertieren. Bei den Textfiles ist das natürlich maximal einfach, da jede Zeile für sich schon 1:1 durchsucht werden kann.
Für JSON müsste man halt ein paar Zeilen Code schreiben, um die Struktur zu parsen.

Der Hauptgrund, warum ich die Umwandlung meist vorher mache ist einfach Speicherplatz: die .mhts von lhr-lgw sind z.B. durch ihre HTML-Struktur ca. 3x so groß wie der extrahierte Text. Auch JSON enthält viele "unnötige" Daten.
Und ich habe auch so schon über 300GB auf der Festplatte rumliegen .

 

[bursche99]

siehe hier im Anhang (das .txt musste ich anfügen um die Dateien hier anhängen zu können.)
Das "Problem" dabei ist dass das wie ein Forum / Board / Email-Chat genutzt wurde, und die Leute free style ihre Logs da reinkopiert bzw. gemailt haben.
Siehe hier im Anhang.
Das ist aus der Gruppe "acarsd", und dort sind ca. 60.000 solcher JSon-Email-Posts enthalten.
Jeder Post enthält theoretisch neue Logs (der User, je nachdem wo die gerade ihre Scanner laufen hatten), manches sind aber nur Rückfragen.
Und jedes Log-Format ist irgendwie anders...

Weitere Gruppen sind
WorldACARSLogs
SBS_AMS
CASN Canadian Aviation Network
CASN
....
und noch ein paar mehr, wir haben da auf die Schnelle uns die compressed files geholt bevor Yahoo die Gruppen / Boards dicht gemacht hat

 

[euul]

siehe hier im Anhang (das .txt musste ich anfügen um die Dateien hier anhängen zu können.)
Das "Problem" dabei ist dass das wie ein Forum / Board / Email-Chat genutzt wurde, und die Leute free style ihre Logs da reinkopiert bzw. gemailt haben.
Siehe hier im Anhang.
Das ist aus der Gruppe "acarsd", und dort sind ca. 60.000 solcher JSon-Email-Posts enthalten.
Jeder Post enthält theoretisch neue Logs (der User, je nachdem wo die gerade ihre Scanner laufen hatten), manches sind aber nur Rückfragen.
Und jedes Log-Format ist irgendwie anders...

Weitere Gruppen sind
WorldACARSLogs
SBS_AMS
CASN Canadian Aviation Network
CASN
....
und noch ein paar mehr, wir haben da auf die Schnelle uns die compressed files geholt bevor Yahoo die Gruppen / Boards dicht gemacht hat

Auf den ersten Blick sieht das nicht so schlimm aus, wenn die JSONs alle gleich aufgebaut sind (mit Email Text im Feld rawEmail) bekomme ich z.B. den Anhang als "aufbereiteten" Text. Man müsste noch irgendwie das Datum ermitteln (z.B. aus dem Betreff der Mail), das sollte aber auch kein größeres Problem sein.

Die Suche in den resultierenden Daten ist dann kein Problem, genau dafür habe ich ja das Skript (das aber noch nicht so ganz fertig ist). Dem ist es auch egal ob ICAO oder IATA Codes (für Airlines und Airports), führende Nullen vor Flugnummern, usw. verwendet werden.

 

[SaschaX99]

Auf den ersten Blick sieht das nicht so schlimm aus, wenn die JSONs alle gleich aufgebaut sind (mit Email Text im Feld rawEmail) bekomme ich z.B. den Anhang als "aufbereiteten" Text. Man müsste noch irgendwie das Datum ermitteln (z.B. aus dem Betreff der Mail), das sollte aber auch kein größeres Problem sein.

Ich habe ein paar Dateien aus den anderen Gruppen durchsucht und in den jason.raw dort fängt der Emailtext ebenfall mit "rawEmail" an.

 

[bursche99]

"Schlimm" ist das alles nicht, mir bereitet halt aktuell
- die schiere Menge (der Files)
- die Nichtstrukturierung der Filenamen und Filedatum / -location
- die teilweise fehlenden oder quer eingestreuteten Datums-Informationen
ein Problem.
Weil, so wie's aktuell steht kann ich nur RegEx über alles machen (Filter für 200407*.json oder so geht nicht) und werde teilweise mit Unmengen von Treffern erschlagen, muss aber dann jedes File einzeln öffnen und visuell prüfen von welchem Datum die Tracks sind, ob die Location und die Zeit etwa passen, etc.

Und Regex über "search in all files" bei >200.000 json files ist ne langwierige Geschichte.

Also wenn wir Schwarm-Intelligenz nutzen wollen wäre toll wenn wir z.B.
-> eindeutige Zuordnung der Files zu Datums-Ranges (welches Jahr, welcher Monat) wäre Prio1
-> Gruppieren oder Suchen / clustern nach Regionen oder Locations

 

[bursche99]

Anstatt zu jammern denke ich das jetzt mal laut weiter:

die meisten User posten ein einigermaßen sinnvolles subject in die Gruppe:
"subject": "ACARS log, Maastricht - The Netherlands, 21/Sep/2009 00:00 - 21/Sep/2009 23:59",
dazu gibt es noch das postdate in epoch
"postDate": "1253570463",

Meine Suchmethode wäre schon deutlich erleichtert wenn ich mir das subject aus dem File ziehen könnte, und das entsprechende File umbenenne von
28241_raw.json
-> ACARS log, Maastricht - The Netherlands, 21/Sep/2009 00:00 - 21/Sep/2009 23:59.json
(und das dann noch schön normalisiere in Richtung "ersetze Space durch _ und mach ein pretty print für dateTime"

-> ACARS_log_Maastricht_-_The_Netherlands_20090921_0000-20090921_2359.json

wäre ein wunderbar sinnvoll nutzbares Files für eine RegEx search all Suche.

ich hab hier ein paar Batch-Rename utilities ausprobiert aber noch keines gefunden dass Teile des contents für den Namen verwenden könnte?

Oder gibt es entsprechende Grep / rename Kommandos in bash oder (ich eher Windows) Powershell?

 

[seppi1337]

Auf den ersten Blick sieht das nicht so schlimm aus, wenn die JSONs alle gleich aufgebaut sind (mit Email Text im Feld rawEmail) bekomme ich z.B. den Anhang als "aufbereiteten" Text. Man müsste noch irgendwie das Datum ermitteln (z.B. aus dem Betreff der Mail), das sollte aber auch kein größeres Problem sein.

Die Suche in den resultierenden Daten ist dann kein Problem, genau dafür habe ich ja das Skript (das aber noch nicht so ganz fertig ist). Dem ist es auch egal ob ICAO oder IATA Codes (für Airlines und Airports), führende Nullen vor Flugnummern, usw. verwendet werden.

Ich habe anfang dieses Jahres die ACARS in mehrere SQLite Datenbanken geladen (Projekt nicht weiterverfolgt aufgrund Zeitmangels ). Werde falls interesse vorhanden sonst die Datenbanken inkl. Code für die "Filebereinigung" auf Github veröffentlichen (Code ist mehr schlecht als recht, war mein Anfang vom programmieren ).

Dazu könnte man die Datenbank mit allen weitern Quellen befüllen und z.B. eine Streamlit App erstellen auf die alle zugriff haben.