Remote Syslog für >500.000 msg/s

[meinereinerseiner]

Hallo,

ich würde gern die Logausgaben von einigen ein wenig gesprächigen Programmen auf einen Remote Host auslagern und das so, das auch alle Messages ankommen.
Eine Message hat die Grösse von 100-1500 Byte und i.d. Regel schreibt ein einzelnes Programm so ca. 32.000 Meldungen/s ins Logfile und davon gibts derzeit 16 Stück auf 10 Hosts.

Syslog-ng ist kläglich gescheitert, da komme ich auf max. 20.000 msg/s der Rest verschwindet im Nirvana. Auch geht das ganze Parsen ganz schön auf die CPU.

Hat jemand eine Idee für ein solches Scenario? ... und nein, weniger loggen ist nicht die Lösung, perspektivisch wirds eher mehr :(

Thx,
tom

[netzmeister]

Hallo,

da kommt einiges zusammen!

Wo klemmt es denn? Am aufnehmendem Host?
Am Netzwerk? I/O?

Viele Grüße

Eicke

[meinereinerseiner]

Sieht nach Problemen am Logserver aus. Wenn ich ihn zusätzlich ins lokale log schreiben lassen, kommen alle Meldungen an. Auf dem Logserver selber fehlen immer welche.

Hab die Übetragung auf TCP eingestellt, es kommen keine Drop Meldungen im Message Log, irgendwie seltsam, er sollte zumindest alle 10min in der statistik meckern.

Ich muss mir die sache mit den fifo Buffurn mal nochmal richtig ankucken, da gibts wohl ne möglichkeit was zu drehen. Mit IO und Netz hab ich noch keine Probleme, teste grad erstmal von einem Host aus und der sättigt beides noch nicht.....kommt später, aber wenn einer schon nicht das geforderte Pensum schafft, dann ist das vielleicht eh eine Sackgasse.

cheers,
tom

Nachtrag: hab mir grad mal: syslog-ng-performance-tuning/ (http://blogs.balabit.com/2011/02/07/syslog-ng-performance-tuning/) von den Machern durchgelesen.
Dort wurde nach dem Tuning eine Performance von 183.000 msg/sec erreicht und ich brauche das x3 - ich glaube, syslog-ng ist dann doch der falsche Ansatz.

[netzmeister]

Hallo,

ich glaube auch, daß es an der Software liegt.
Was für eine Netzwerkverbindung / Karte / Bussystem wird verwendet?

Hast Du schon Mal Rsyslog ausprobiert?

Viele Grüße

Eicke

[meinereinerseiner]

Hast Du schon Mal Rsyslog ausprobiert?



nein, hab ich noch nicht - kannte ich bislang auch noch garnicht, werde ich mir morgen aber mal zu gemüte führen. Soweit ich jetzt gelesen habe, bewegt es sich bei denen aber auch um die 200.000 msg/s, allerdings haben die auf dem server ein erweitertes disk queueing, das könnte interessant sein, da die messages nicht unbedingt in echtzeit auf dem logserver geschrieben werden müssen, ich da aber weitaus mehr plattenspeicher, als ram hab. schaun wir mal.

thx,
tom

[netzmeister]

Hallo tom,

bei dieser Anforderung wirst Du wahrscheinlich auch einen Aufbau mit entsprechend
angepasster Hardware benötigen. Plattenplatz alleine reicht nicht.

Viele Grüße

[Shadab Kamal]

Das ist sehr schön Beitrag herzlichen Dank ... !!!