Anzeige:
Ergebnis 1 bis 6 von 6

Thema: Projekt zu verteiltem Kompilieren

  1. #1
    Registrierter Benutzer Avatar von SeeksTheMoon
    Registriert seit
    22.02.2002
    Beiträge
    762

    Projekt zu verteiltem Kompilieren

    (Dies hier ist eine Kopie des Posts auf Linuxforen.de)

    Es gibt ja Initiativen bei denen sich viele Leute z.B. WLAN teilen und es machen auch viele Leute bei Seti und ähnlichem mit.

    Gibt es Leute die möglicherweise Interesse daran hätten ein größeres distcc-Netzwerk aufzubauen?

    distcc ist ein Dienst, der auf jedem teilnehmenden Rechner installiert wird und sobald man irgendwo einen Kompiliervorgang anwirft, verteilt der Kompilierende Rechner ein paar Daten an die anderen Rechner und jeder kompiliert ein Stück mit. Die Effizienz steigt dabei linear an, d.h. doppelt so viele Rechner halbieren die Zeit.
    Homepage: http://distcc.samba.org/

    Das wäre ein weiterer Schritt in Richtung "Hardware für alle" und es wäre vor allem mal etwas anderes als seti, folding und was es sonst so gibt, denn von diesen Projekten hat man nicht direkt selber etwas, sondern hilft in erster Linie irgendwelchen Institutionen bei mehr oder weniger sinnvollen Projekten und sammelt vielleicht noch ein paar virtuelle Punkte.
    Hier käme die Rechenpower direkt den einzelnen Teilnehmern zugute (Gentoo-User aufgemerkt!).

    Hier ist noch ein interessanter Artikel, in dem der Autor z.B. schreibt dass er schon mit 12 Rechnern mit je 500-866MHz die kdelibs in 6 Minuten kompiliert hat, welche Voraussetzungen so ein Netz haben sollte und was man noch tunen kann:
    http://www.csh.rit.edu/slashdot/distcc.html

    hier steht auch was dazu, was mich eigentlich erst auf den distcc-Trip gebracht hat:
    http://www.linuxforen.de/forums/showthread.php?t=141215

    Ich würde mal sagen, dass jeder Teilnehmer mindestens 500MHz, mindestens DSL (oder direkt einen Anschluß ans DFN ) und zwecks Binärkompatibilität den gcc aus der 3.3.x Reihe hat. Längere Verfügbarkeit am Tag wäre auch nicht schlecht.
    Wer das nicht erfüllt, der muss ein eigenes Projekt nach dieser Art aufmachen, sonst bremst er die anderen aus oder wird ausgebremst

    Gute Idee? Schlechte Idee?
    I haven't lost my mind - It's somewhere on a backup-disc

  2. #2
    Registrierter Benutzer
    Registriert seit
    11.07.2004
    Beiträge
    8
    Hi,
    klingt doch irgendwie spannend - vor allem der Installations-/Verwaltungsaufwand scheint begrenzt.

    Hat in diesem Zusammenhang schon jemand Erfahrungen mit icc statt gcc gesammelt ? (x86 ist ja inzwischen für einige Fließkommaorgien auch gewappnet)

    Gruß,
    Tom

    PS: Ich denke Du meinst, daß die Leistung (fast) linear skaliert.
    Die Effizienz bleibt nahe bei 100% (im Beispiel auf distcc.samba.org 90%). In dem Beispiel lief die Kommunikation allerdings über einen 100MBit Switch - übers Netz dürfte noch das eine oder andere Prozent verloren gehen. Bleibt aber für größere Sourcen sicherlich interessant.

  3. #3
    Registrierter Benutzer Avatar von oracle2025
    Registriert seit
    18.03.2002
    Beiträge
    136
    Naja, ob das über DSL noch so schnell geht, das es sich lohnt?
    Niemand dringt hier durch und
    gar mit der Botschaft eines Toten.
    Du aber sitzt an Deinem Fenster und
    erträumst sie Dir, wenn der Abend kommt.

  4. #4
    Registrierter Benutzer Avatar von tuxipuxi
    Registriert seit
    30.08.2002
    Beiträge
    667
    Ich schliesse mich meinem Vorposter an, über DSL dürfte das eher langsamer werden und nicht schneller. Eine Datei zu kompilieren dürfte schneller sein als sie zu übertragen und wieder zu empfangen(ich hab es einmal über DSL getestet, konnte man vergessen).

    Michael.

  5. #5
    Administrator Avatar von anda_skoa
    Registriert seit
    17.11.2001
    Ort
    Graz, Österreich
    Beiträge
    5.477
    Abgesehen davon das es problematisch wird, wenn die anderen Rechner zur selben Zeit benutzt werden.
    Nicht für den der kompiliert, sondern für den der benutzt, denn der hat dann potentiell x Jobs mit zig hundert Megabyte Speicherbedarf am Hals.

    Ciao,
    _
    Qt/KDE Entwickler
    Debian Benutzer

  6. #6
    Registrierter Benutzer
    Registriert seit
    11.07.2004
    Beiträge
    8
    Vielleicht sollte man ein wenig differenzieren.

    Daß eine langsame Leitung kontraproduktiv ist scheint klar. Manche Rechner sind aber schneller als DSL angebunden... (bevor Fragen kommen - hab nur ISDN)
    Nicht alle Rechner werden primär als Arbeitsplatz genutzt. Die könnten je nach Aufgabe/Hardware durchaus interessant sein.
    Ok, viele bleiben jetzt nicht mehr über.

    Was mir offen gestanden mehr Kopfschmerzen bereitet ist das Thema Sicherheit. Ist derzeit auch ein großes Thema bei Grid-Computing (ist im Grunde ja sowas im entfernten Sinne). Ich würde mir auf jeden Fall gut ansehen mit wem ich solche Kooperationen eingehen würde.

    Gruß,
    Tom

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •