Sandy: Wie funktioniert google?

Hallo!
Das ist warscheinlich eine sehr bescheuerte Frage, aber mich interessiert brennend, wie so eine große Suchmaschine funktioniert.
Ich kann z.B. keine Programmiersprache entdecken.
Wenn ich selfhtml suche lädt sich
http://www.google.de/search?q=selfhtml&hl=de&ie=UTF8&oe=UTF8.
Ist das cgi???
Kann man wo so ein Script oder ein ähnliches runterladen?
Danke!

  1. Hallo,

    Wenn ich selfhtml suche lädt sich
    http://www.google.de/search?q=selfhtml&hl=de&ie=UTF8&oe=UTF8.
    Ist das cgi???

    Wir schon sein, bloß, ob Perl ... Afaik hat Google sogar ein eige-
    nes Betriebssytem für seine Suchserver entwickelt ...

    Bitte entschuldigt und korrigiert mich, falls ich hier gerade Müll
    verbreitet habe ;-)

    Bye,
    Peter

    1. Hallo,

      Wir schon sein, bloß, ob Perl ... Afaik hat Google sogar ein eige-
      nes Betriebssytem für seine Suchserver entwickelt ...

      soweit ich weiß laufende die vielen hundert Server auf einem, eventuell
      etwas modifizierten, Linux.

      siehe auch:
      http://www.intel.com/eBusiness/casestudies/snapshots/google.htm
      http://www.intel.com/deutsch/eBusiness/casestudies/snapshots/google.htm

      Viele Grüße,
      Stefan

      1. Hallo,

        soweit ich weiß laufende die vielen hundert Server auf einem, eventuell
        etwas modifizierten, Linux.

        siehe auch:
        http://www.intel.com/eBusiness/casestudies/snapshots/google.htm
        http://www.intel.com/deutsch/eBusiness/casestudies/snapshots/google.htm

        Danke. Habe den Artikel nicht vollständig gelesen, sondern nur ü-
        berflogen. Ich denke nicht, dass die Antwort auf meine Frage in
        diesem Artikel steht: Werden bei einem Suchrequest alle 3500 Ser-
        ver im Google-Netz kontaktiert, und jeder sucht in "seinem" Daten-
        bestand?

        Bye,
        Peter

        1. Danke. Habe den Artikel nicht vollständig gelesen, sondern nur ü-
          berflogen. Ich denke nicht, dass die Antwort auf meine Frage in
          diesem Artikel steht: Werden bei einem Suchrequest alle 3500 Ser-
          ver im Google-Netz kontaktiert, und jeder sucht in "seinem" Daten-
          bestand?

          das glaub ich kaum, das würde ewig dauern, wegen der server kommunikation.
          ich denke, dass jeder server für bestimmte suchbereiche zuständig ist und dementsprechend "angewählt" wird.
          nur so kann der megamäßige google-speed zustande kommen...

          Bye,
          Peter

          Fabian

        2. Hi,

          Werden bei einem Suchrequest alle 3500 Ser-
          ver im Google-Netz kontaktiert, und jeder sucht in "seinem" Daten-
          bestand?

          aus http://www.intel.com/eBusiness/casestudies/snapshots/google.htm:

          "We architected our solution to be scalable by using smaller servers that are multiply redundant and very fast through load balancing."

          Die Begriffe "scalable", "multiply redundant" und "load balancing" weisen darauf hin, dass nur ein Server pro Request befragt wird und in einer Datenmasse sucht, über die auch die anderen Geräte verfügen.

          Cheatah

        3. Hallo Peter,

          Danke. Habe den Artikel nicht vollständig gelesen, sondern nur ü-
          berflogen. Ich denke nicht, dass die Antwort auf meine Frage in
          diesem Artikel steht: Werden bei einem Suchrequest alle 3500 Ser-
          ver im Google-Netz kontaktiert, und jeder sucht in "seinem" Daten-
          bestand?

          In einem c't-Artikel hab ich mal gelesen, dass Google immer 10 PCs zu einem Cluster zusammenfuegt, d.h. auf je 10 zusammengehoerigen PCs ist jeweils eine Spiegelung der Gesamtdatenbank verfuegbar, und vermutlich teilen sie sich auch die CPU-Last. In dem Artikel war von isg. 10.000 PCs die Rede, so dass also isg. 100 Cluster zur Verfuegung stehen. Jede eintreffende Suchanfrage wird dann nach einem Load-Balancing-Verfahren auf eines der Cluster geleitet. Wenn man also was sucht bei Google, landet man auf einem von 1000 vituellen Rechnern, der sich aus der Speicher- und Rechenkapazitaet von 10 realen, handelsueblichen PCs zusammensetzt.

          viele Gruesse
            Stefan Muenz

    2. Hi Peter,

      http://www.google.de/search?q=selfhtml&hl=de&ie=UTF8&oe=UTF8.
      Ist das cgi???
      Wird schon sein

      nicht mal da wäre ich mir sicher.

      Soweit ich weiß, hat Google sich seinen eigenen Web-
      server "GWS" geschrieben:

      http://www.schroepl.net/cgi-bin/http_trace.pl?url=http%3A%2F%2Fwww.google.de%2F&method=HEAD&version=HTTP%2F1.0

      Es könnte also sein, daß "/search" irgendwas Internes
      ist - analog zu Apache-Modulen wie "mod_status" oder
      "mod_info", welche ja auch URLs über Webserver-eigenen
      Code abbilden, statt auf irgendwelche Dokumente zuzu-
      greifen. Schneller wäre das auf jeden Fall.

      Viele Grüße
      <img src="http://www.schroepl.net/projekte/gzip_cnc/gzip_cnc.gif" border=0 alt=""> Michael

      1. Hallo Michael,

        Soweit ich weiß, hat Google sich seinen eigenen Web-
        server "GWS" geschrieben:

        steht für "Google Web Server" und dabei handelt es sich afaik um einen
        modifizierten Apache, die Quelle dieser Behauptung habe ich jetzt
        leider nicht zu Hand. Sollte ich die wiederfinden, poste ich hier
        den Link.

        Viele Grüße,
        Stefan

  2. Hallo,

    Das ist warscheinlich eine sehr bescheuerte Frage, aber mich interessiert brennend, wie so eine große Suchmaschine funktioniert.

    auf http://www.google.com/about.html ff. findest Du umfangreiche Infos.

    Ich kann z.B. keine Programmiersprache entdecken.

    ?

    Kann man wo so ein Script oder ein ähnliches runterladen?

    nein, aber Du kannst http://www.google.com/appliance/ und damit quasi
    "Google in Kleinform" erwerben.

    Viele Grüße,
    Stefan

  3. Tach auch,

    Das ist warscheinlich eine sehr bescheuerte Frage, aber mich interessiert brennend, wie so eine große Suchmaschine funktioniert.

    Nachdem die anderen Dir ja allen moeglichen Unsinn erzaehlt haben will ich Dir dann doch mal richtig helfen. Google funktioniert naemlich in Wahrheit so: http://www.google.com/technology/pigeonrank.html

    Ich kann z.B. keine Programmiersprache entdecken.

    Nein, das ist alles nur Training, wie ja in dem Artikel beschrieben

    Kann man wo so ein Script oder ein ähnliches runterladen?

    Runterladen wird schwierig sein, aber Du koenntest ja mal im Park um die Ecke oder auf Eurem Marktplatz vorbeischauen.

    Danke!

    Aber dafuer doch nicht, gern geschehen.

    Gruss,
    Armin

  4. Moin

    Das ist warscheinlich eine sehr bescheuerte Frage, aber mich interessiert brennend, wie so eine große Suchmaschine funktioniert.

    Hier solltest Du fündig werden, auch deutschsprachig:
    http://www.suchfibel.de/3allgem/google.htm
    http://www.suchfibel.de/5technik/verlinkung.htm
    Auf http://www.suchfibel.de/9glossar/quellen.htm gibts mehr Links:
    http://www.tau-web.de/home/interests/uni/google.pdf Algorithmen für das WWW, Die Suchmaschine Google
    Seminararbeit von Volker C. Schöch am Institut für Informatik, Freie Universität Berlin. (PDF)
    http://www-db.stanford.edu/pub/papers/google.pdf Originale Studienarbeit
    HTH, Gruss

    stefan