Moin!

1. Woher weiss ich dass google die Einträge in der robots.txt sehr wohl befolgt?

Vertraue ihnen in diesem Punkt. Die Webmastertools geben dir Auskunft darüber, was Google zu deiner robots.txt sagt, insbesondere würden sie dort vermutlich auch melden, wenn du irgendwelche Fehler eingebaut hast. Meine Erfahrung: Der Dateiinhalt ist extrem case-sensitive, insbesondere bei den Keywords! Also mit anderen Worten: Selbst wenn Google auf die Groß/Kleinschreibung liberal reagiert und mehrere Versionen zulässt, gilt das nicht für den Rest der Suchmaschinen.

2. gibt es einen Weg dass ich meinem ajax-Request die meta-Einträge vermeide?

Wenn du Google misstraust, robots.txt zu beachten (dies ist nicht der Fall), dann musst du ihnen auch misstrauen, die Meta-Einträge zu beachten - also musst du in so einem Fall eigentlich einen Scanner für User-Agent-Strings bauen, der den Google-Bot erkennt und ihm den Dateiinhalt vorenthält. Was aus SEO-Sicht auch wieder doof ist, weil der Google-Bot zur Kontrolle auch mal mit normalen Browser-User-Agents vorbei kommt, und deine Seite bestraft wird, wenn der normale Browser was ganz anderes zu sehen bekommt, als der Bot.

3. löst sich mein Problem wenn ich das meine Daten von einer xml-Datei ziehe?

Nein.

4. oder löst sich das ganze wenn der ajax-Request an ein onclick-Event binde?

Nein.

- Sven Rautenberg