Masterthread Registration-Suche

[Jan1991]

ANZEIGE

Ich habe dir mal eine von den Dateien hochgeladen. In den Metadateien suche ich nur nach Datum und Standort und dann mit der dazugehörigen Id weiter in den json Dateien.

acarsd.rar

drive.google.com

Wie man das ganze in Masse umwandeln kann, weiss ich nicht. Habe wohl gesehen, dass es wohl irgendwas mit Python gibt, Aber eine csv wäre schon mal ein Fortschritt. wobei man auch das Callsign mit ausgewertet sollte, weil wenn beides (Flugnummer und Callsign) vorhanden ist, man dem Callsign mehr vertrauen kann.

Ich schaue es mir gleich mal an.

 

[Jan1991]

Ich schaue es mir gleich mal an.

So, ich bin dran und habe eine erste Rückfrage: Hat es eine besondere Relevanz, wenn vor der Registrierung ein * steht? Wenn ja, welche?

 

[SaschaX99]

So, ich bin dran und habe eine erste Rückfrage: Hat es eine besondere Relevanz, wenn vor der Registrierung ein * steht? Wenn ja, welche?

Ich bin mir nicht 100% sicher, aber ich meine, dass das darauf hinweist, dass die Reg zum ersten Mal vom Empfänger getrackt wurde. Aber für die Reg-Suche hat das keine Bedeutung.

 

[fakepcy]

Found 2009-10-20 AC0225 YYC YVR 1820 1843 319 Adam Smith C-GBHN

AC1159 YYZ-YYC
Actual Departure Time: 15:02
Actual Arrival Time: 17:19
Tail Number: C-GBHN (A319 AC) 2116 20091020 AC1159 (YYZ-YYC) [Cambridge-2, Ontario, Canada]

AC225 YYC-YVR
Actual Departure Time: 18:19
Departure Gate: A14
Actual Arrival Time: 18:47
Arrival Gate: Terminal M Gate C38

I was going to pick AC218 YVR-YYC which arrived at 17:56. However, C-FZUG, the aircraft that operated it, had another ACARS log of it operating AC134 YYC-YYZ departing at 18:55. AC1159 was the closest other AC A319 arrival and the turnaround time makes sense. C-GBHN did not have ACARS logs on October 21, 2009, after operating AC1159. What I observed here was that their two A319s flew YYZ-YYC-YVR and YVR-YYC-YYZ. Correct me if I'm wrong, but this should make sense.

 

[Jan1991]

Ich bin mir nicht 100% sicher, aber ich meine, dass das darauf hinweist, dass die Reg zum ersten Mal vom Empfänger getrackt wurde. Aber für die Reg-Suche hat das keine Bedeutung.

Danke. Ich habe jetzt mal die Dateien 700 bis 800 durchlaufen lassen. Es sieht soweit ganz gut aus. Ich musste ein paar Filter setzen, um die Zitate raus zu bekommen. Die ausgeschriebenen Routen musste ich ebenfalls weglassen, da einige Zeichen das csv-Format zerschießen würden. Ebenso habe ich die Einträge ausgelassen, die sowohl keine Reg als auch kein Callsign hatten.

Edit: Die Route ist jetzt wieder vollständig drin (wenn gegeben), dafür fehlen bei den Flugzeugtypen vereinzelt Klammern am Ende.
1 - 1000 ist fertig, aktuell laufen 1001 - 10000 (die Datei wird etwas größer)

Edit2: Die zweite Datei ist Stand jetzt etwa 135 MB groß und enthält ca. 2 Mio Datensätze. Hier muss ich aber noch einmal ran, da es wieder Probleme mit der Route gibt (sinnlose Zeilenumbrüche).

Darf ich die Datei hier anhängen?

 

[SaschaX99]

Danke. Ich habe jetzt mal die Dateien 700 bis 800 durchlaufen lassen. Es sieht soweit ganz gut aus. Ich musste ein paar Filter setzen, um die Zitate raus zu bekommen. Die ausgeschriebenen Routen musste ich ebenfalls weglassen, da einige Zeichen das csv-Format zerschießen würden. Ebenso habe ich die Einträge ausgelassen, die sowohl keine Reg als auch kein Callsign hatten.

Edit: Die Route ist jetzt wieder vollständig drin (wenn gegeben), dafür fehlen bei den Flugzeugtypen vereinzelt Klammern am Ende.
1 - 1000 ist fertig, aktuell laufen 1001 - 10000 (die Datei wird etwas größer)

Darf ich die Datei hier anhängen?

Wow das ging ja fix

Keine Ahnung ob man sowas grosse hier anhängen darf.

 

[Jan1991]

Wow das ging ja fix

Keine Ahnung ob man sowas grosse hier anhängen darf.

Ich hänge mal die kleinere Datei an. Wenn es damit Probleme gibt, nehmen wir sie wieder raus.
Schau mal, ob es so passt. Ich musste wieder eine txt daraus machen, weil eine csv nicht hochgeladen werden kann. Nach dem Download dann einfach wieder in csv ändern, dann müsste es passen.
Das sind jetzt die Dateien 1 bis 1000.

Edit: Den Rest schaue ich mir morgen an. Bis dahin habe ich vielleicht eine Idee, wie ich das Problem mit den Zeilenumbrüchen löse.

 

[SaschaX99]

Ich hänge mal die kleinere Datei an. Wenn es damit Probleme gibt, nehmen wir sie wieder raus.
Schau mal, ob es so passt. Ich musste wieder eine txt daraus machen, weil eine csv nicht hochgeladen werden kann. Nach dem Download dann einfach wieder in csv ändern, dann müsste es passen.
Das sind jetzt die Dateien 1 bis 1000.

Edit: Den Rest schaue ich mir morgen an. Bis dahin habe ich vielleicht eine Idee, wie ich das Problem mit den Zeilenumbrüchen löse.

Also auf den ersten Blick sieht das echt gut aus. 46K Flüge bei 1000 Dateien sollte auch hinkommen.

Wie geht dein Tool damit um, wenn es Callsign und Flugnummer gibt? Wäre es auch möglich die Msg ID der jeweiligen Datei mit zuübernehmen?

 

[SaschaX99]

@gotflyer @Jan1991

Und auch gleich ein Treffer

found 2004-04-15 SK0926 IAD CPH 1730 0730 A343 gotflyer SE-REF
20040415 2307 SE-REF SK0926 IAD-CPH SK Saint-Georges

 

[Jan1991]

Also auf den ersten Blick sieht das echt gut aus. 46K Flüge bei 1000 Dateien sollte auch hinkommen.

Wie geht dein Tool damit um, wenn es Callsign und Flugnummer gibt? Wäre es auch möglich die Msg ID der jeweiligen Datei mit zuübernehmen?

Ich muss ehrlich sagen, dass ich mir ein solcher Fall noch nicht aufgefallen ist und ich nach der Stelle gehe: Registrierung, dann Flugzeugtyp (evtl. in Klammern), danach Uhrzeit, Datum und das, was nach dem Datum kommt, habe ich callsign genannt. Dahinter kommt - wenn vorhanden - die Route.
Hast du zufällig ein konkretes Beispiel wo beides vorkommt?
Wenn es beides gibt, kann ich auch beides einbauen. Ich filtere das u.a. über einen Befehl, der sich StringField nennt.
Meinst du mit Msg ID die Nummer der Datei? Wenn ja, kann ich das sehr leicht ergänzen (Wäre nur ein +";"+Str(i) ).

 

[SaschaX99]

Ich muss ehrlich sagen, dass ich mir ein solcher Fall noch nicht aufgefallen ist und ich nach der Stelle gehe: Registrierung, dann Flugzeugtyp (evtl. in Klammern), danach Uhrzeit, Datum und das, was nach dem Datum kommt, habe ich callsign genannt. Dahinter kommt - wenn vorhanden - die Route.
Hast du zufällig ein konkretes Beispiel wo beides vorkommt?
Wenn es beides gibt, kann ich auch beides einbauen. Ich filtere das u.a. über einen Befehl, der sich StringField nennt.
Meinst du mit Msg ID die Nummer der Datei? Wenn ja, kann ich das sehr leicht ergänzen (Wäre nur ein +";"+Str(i) ).

Hier ein Beispiel für Flugnummer / Callsign aus Msg ID 27621

n D-ABAE 3C4825 (B737-86J/WL AB/BER) 1738 20090625 AB4858 (DRS-IBZ) AB297M


ja mit der Msg Id meinte ich die Dateinummer. Macht die Sache einfacher wenn man doch mal in die Originaldatei gucken muss.

 

[Jan1991]

Hier ein Beispiel für Flugnummer / Callsign aus Msg ID 27621

n D-ABAE 3C4825 (B737-86J/WL AB/BER) 1738 20090625 AB4858 (DRS-IBZ) AB297M


ja mit der Msg Id meinte ich die Dateinummer. Macht die Sache einfacher wenn man doch mal in die Originaldatei gucken muss.

Solange die Reihenfolge eingehalten wird, sollte das machbar sein.
Falls das nicht der Fall ist: Gibt es Mindestanforderungen, die ein Callsign erfüllen muss? (z.B. Länge, Mindestanzahl Großbuchstaben, Ziffern, dürfen auch Kleinbuchstaben vorkommen?, ...)
Die Msg ID ergänze ich noch. Möchtest du die Werte in einer bestimmten Reihenfolge haben?

 

[SaschaX99]

Falls das nicht der Fall ist: Gibt es Mindestanforderungen, die ein Callsign erfüllen muss? (z.B. Länge, Mindestanzahl Großbuchstaben, Ziffern, dürfen auch Kleinbuchstaben vorkommen?, ...)

Eigentlich sollten es 6 Zeichen sein, aber manchmal gibt es die auch mit 7 Zeichen. Flugnummer AB1234 = AB012J oder BER12J wäre der Normalfall. Kleinbuchstaben habe ich noch nie bemerkt. Hauptgrund für die Callsigns ist, das in den alten Dateien oft einer falschen Flugnummer zugeordnet waren. Grade beim Wechsel von SFP auf WFP und umgekehrt.

Die Msg ID ergänze ich noch. Möchtest du die Werte in einer bestimmten Reihenfolge haben?

Nein, das kann ich mir dann selbst sortieren

Danke nochmal für deine Hilfe.

 

[Jan1991]

Eigentlich sollten es 6 Zeichen sein, aber manchmal gibt es die auch mit 7 Zeichen. Flugnummer AB1234 = AB012J oder BER12J wäre der Normalfall. Kleinbuchstaben habe ich noch nie bemerkt. Hauptgrund für die Callsigns ist, das in den alten Dateien oft einer falschen Flugnummer zugeordnet waren. Grade beim Wechsel von SFP auf WFP und umgekehrt.

Nein, das kann ich mir dann selbst sortieren

Danke nochmal für deine Hilfe.

Danke. Ich habe währenddessen in ein paar meiner ADSB-Files geschaut. Dort gab es sogar 3-stellige Callsigns, aber das waren irgendwelche Kleinstflugzeuge. Ansonsten hatte ich eine 747 mit Frachtflug und Callsign UPS1 (war das kürzeste).
Ich würde in unserem Fall für das Callsign folgende Anforderungen definieren (korrigiert mich bitte, wenn ich falsch liege):
- 4- bis 7-stellig
- enthält nur Großbuchstaben und Ziffern
- bei 6- oder 7-stelligem Callsign kommt mind. eine Ziffer vor.

Sollte hier ein Callsign durchrutschen, landet es im Feld Route.

Edit: Jetzt wird es schwierig: Bei den Daten von 2004 aus Ungarn steht für mich hinter dem Datum mal das Callsign, mal die Flugnummer. Spricht etwas dagegen, wenn ich definere, dass alles, was aber der 3. Stelle einen Buchstaben hat, automatisch als Callsign gesehen wird?

 

[SaschaX99]

Danke. Ich habe währenddessen in ein paar meiner ADSB-Files geschaut. Dort gab es sogar 3-stellige Callsigns, aber das waren irgendwelche Kleinstflugzeuge. Ansonsten hatte ich eine 747 mit Frachtflug und Callsign UPS1 (war das kürzeste).
Ich würde in unserem Fall für das Callsign folgende Anforderungen definieren (korrigiert mich bitte, wenn ich falsch liege):
- 4- bis 7-stellig
- enthält nur Großbuchstaben und Ziffern
- bei 6- oder 7-stelligem Callsign kommt mind. eine Ziffer vor.

Sollte hier ein Callsign durchrutschen, landet es im Feld Route.

Edit: Jetzt wird es schwierig: Bei den Daten von 2004 aus Ungarn steht für mich hinter dem Datum mal das Callsign, mal die Flugnummer. Spricht etwas dagegen, wenn ich definere, dass alles, was aber der 3. Stelle einen Buchstaben hat, automatisch als Callsign gesehen wird?

Generell nicht, aber ich meine das ich auch Logs gesehen habe, bei denen die Flugnummer 3 Buchstaben hat. Ich forsche mal weiter und melde mich dann.

Was ab noch kommt (keine Ahnung ob du berücksichtigen musst), ist die Flugnmmer gleich als erste Information

MsgId 14444
nAA0071 N755AN B777-223 (ER) 1110 20060311 (FRA-DFW)

Beitrag automatisch zusammengeführt: Gestern um 17:24

Also ich ja jetzt was gefunden, aber aus einer anderen Datei.

C07FB1 WJA132 C-GWJG B737 38000 38000 21/02/2013 08:30:53\r

Aber wenn du das so schreiben kannst, dass dann das Feldflugnummer leer bleibt, dann würde das ja auch passen.

 

[Jan1991]

Generell nicht, aber ich meine das ich auch Logs gesehen habe, bei denen die Flugnummer 3 Buchstaben hat. Ich forsche mal weiter und melde mich dann.

Was ab noch kommt (keine Ahnung ob du berücksichtigen musst), ist die Flugnmmer gleich als erste Information

MsgId 14444
nAA0071 N755AN B777-223 (ER) 1110 20060311 (FRA-DFW)

Beitrag automatisch zusammengeführt: Gestern um 17:24

Also ich ja jetzt was gefunden, aber aus einer anderen Datei.

C07FB1 WJA132 C-GWJG B737 38000 38000 21/02/2013 08:30:53\r

Aber wenn du das so schreiben kannst, dass dann das Feldflugnummer leer bleibt, dann würde das ja auch passen.

Ich habe es jetzt bis 2000 laufen lassen. Es sieht schon besser aus. Ich hänge die Datei mal an. Ich musste sie komprimieren, da sonst zu groß.
Das Problem mit den Zeilenumbrüchen konnte ich lösen. Die MsgID habe ich hinzugefügt. Die automatische Sortierung Flugnummer / Callsign funktioniert auch.
Morgen mache ich dann weiter.

 

[cas_de]

Also, meine $.02:

Die C/S sind max. 7-stellig und bestehen aus Airline + Flugnummer oder wenn es das nicht gibt aus der Registration des A/C. Wenn es eine Flugnummer gibt, dann gibt es 2 Varianten:

1. 1.+2. Stelle für den IATA Code der Fluggesellschaft, plus max. 4 Stellen für die Flugnummer (numerisch). Es kann sein, dass in manchen Dateien mit führenden Nullen aufgefüllt wird um auf die 6 Stellen zu kommen.

2. 1.-3. Stelle für den ICAO Code der Flugesellschaft, plus max. 4 Stellen für die Flugnummer (Kombination numerisch + alphaumerisch). Kann von der eigentlichen Flugnummer abweichen.



Beispiel hier:

Lufthansa 434 MUC-ORD kann entweder

LH434 (Variante 1) oder
DLH2C (Variante 2) sein.

Variante 2 ist das Callsign, welches von ATC verwendet wird, während Variante 1 in den Flugplänen und für die Tickets & Buchungen genutzt wird. Die Unterscheidung wurde meines Wissens auch eingeführt um zu vermeiden, dass es bei sehr ähnlichen Flugnummern im Funkverkehr zu Verwechslungen kommt.

Für IATA vs. ICAO Code siehe Wikipedia. Beispiele:

LH vs. DLH
4Y vs. OCN

etc...

Analog dazu gibt es auch zwei Varianten der Airport Codes,

IATA - dreistellig
ICAO - vierstellig

Die IATA Codes werden in Variante 1 genutzt, die ICAO Codes in Variante 2. Beispiel

MUC vs. EDDM

 

[SaschaX99]

Ich habe es jetzt bis 2000 laufen lassen. Es sieht schon besser aus. Ich hänge die Datei mal an. Ich musste sie komprimieren, da sonst zu groß.
Das Problem mit den Zeilenumbrüchen konnte ich lösen. Die MsgID habe ich hinzugefügt. Die automatische Sortierung Flugnummer / Callsign funktioniert auch.
Morgen mache ich dann weiter.

Die MsgId ist wohl durcheinandergekommen.

topicId": 947,
"numMessagesInTopic": 2,
"msgSnippet": "Hungarian ACARS log Location: Balatonf ldvar, 46.50N 17.54E Hungary Created by: acarsd1.41-Beta26

20040614​

947​

1890​

OY-KHE

SK0793

CPH-NCE

MD82 [SAS] - 49 SK

EDDL/DUS 51N 007E Germany

Allerdings finde ich auch kein Log mit dem Flug am 14.06.2004.

Jetzt habe ich auch die ID gefunden "topicId": 1890,