Anzeige:
Ergebnis 1 bis 7 von 7

Thema: Remote Syslog für >500.000 msg/s

  1. #1
    Registrierter Benutzer
    Registriert seit
    08.01.2001
    Beiträge
    242

    Question Remote Syslog für >500.000 msg/s

    Hallo,

    ich würde gern die Logausgaben von einigen ein wenig gesprächigen Programmen auf einen Remote Host auslagern und das so, das auch alle Messages ankommen.
    Eine Message hat die Grösse von 100-1500 Byte und i.d. Regel schreibt ein einzelnes Programm so ca. 32.000 Meldungen/s ins Logfile und davon gibts derzeit 16 Stück auf 10 Hosts.

    Syslog-ng ist kläglich gescheitert, da komme ich auf max. 20.000 msg/s der Rest verschwindet im Nirvana. Auch geht das ganze Parsen ganz schön auf die CPU.

    Hat jemand eine Idee für ein solches Scenario? ... und nein, weniger loggen ist nicht die Lösung, perspektivisch wirds eher mehr

    Thx,
    tom

  2. #2
    Administrator
    Registriert seit
    13.04.1999
    Ort
    Reutlingen
    Beiträge
    534
    Hallo,

    da kommt einiges zusammen!

    Wo klemmt es denn? Am aufnehmendem Host?
    Am Netzwerk? I/O?

    Viele Grüße

    Eicke

  3. #3
    Registrierter Benutzer
    Registriert seit
    08.01.2001
    Beiträge
    242
    Sieht nach Problemen am Logserver aus. Wenn ich ihn zusätzlich ins lokale log schreiben lassen, kommen alle Meldungen an. Auf dem Logserver selber fehlen immer welche.

    Hab die Übetragung auf TCP eingestellt, es kommen keine Drop Meldungen im Message Log, irgendwie seltsam, er sollte zumindest alle 10min in der statistik meckern.

    Ich muss mir die sache mit den fifo Buffurn mal nochmal richtig ankucken, da gibts wohl ne möglichkeit was zu drehen. Mit IO und Netz hab ich noch keine Probleme, teste grad erstmal von einem Host aus und der sättigt beides noch nicht.....kommt später, aber wenn einer schon nicht das geforderte Pensum schafft, dann ist das vielleicht eh eine Sackgasse.

    cheers,
    tom

    Nachtrag: hab mir grad mal: syslog-ng-performance-tuning/ von den Machern durchgelesen.
    Dort wurde nach dem Tuning eine Performance von 183.000 msg/sec erreicht und ich brauche das x3 - ich glaube, syslog-ng ist dann doch der falsche Ansatz.
    Geändert von meinereinerseiner (04-11-2011 um 09:25 Uhr)

  4. #4
    Administrator
    Registriert seit
    13.04.1999
    Ort
    Reutlingen
    Beiträge
    534
    Hallo,

    ich glaube auch, daß es an der Software liegt.
    Was für eine Netzwerkverbindung / Karte / Bussystem wird verwendet?

    Hast Du schon Mal Rsyslog ausprobiert?

    Viele Grüße

    Eicke

  5. #5
    Registrierter Benutzer
    Registriert seit
    08.01.2001
    Beiträge
    242
    Zitat Zitat von netzmeister Beitrag anzeigen
    Hast Du schon Mal Rsyslog ausprobiert?

    nein, hab ich noch nicht - kannte ich bislang auch noch garnicht, werde ich mir morgen aber mal zu gemüte führen. Soweit ich jetzt gelesen habe, bewegt es sich bei denen aber auch um die 200.000 msg/s, allerdings haben die auf dem server ein erweitertes disk queueing, das könnte interessant sein, da die messages nicht unbedingt in echtzeit auf dem logserver geschrieben werden müssen, ich da aber weitaus mehr plattenspeicher, als ram hab. schaun wir mal.

    thx,
    tom

  6. #6
    Administrator
    Registriert seit
    13.04.1999
    Ort
    Reutlingen
    Beiträge
    534
    Hallo tom,

    bei dieser Anforderung wirst Du wahrscheinlich auch einen Aufbau mit entsprechend
    angepasster Hardware benötigen. Plattenplatz alleine reicht nicht.

    Viele Grüße

  7. #7
    Registrierter Benutzer
    Registriert seit
    06.12.2014
    Beiträge
    1
    Das ist sehr schön Beitrag herzlichen Dank ... !!!
    Download high quality SY0-401 exam dump dumps to prepare and pass testking.us - 642-997 dumps with oracle certification dumps loyola Also get free demos of www.clarku.edu

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •