Mahlzeit,

sudo apt-get install php5 php5-cli libapache2-mod-php5 php5-mysql mysql-client mysql-server synaptic

Zwei kleine Tips. Befasse dich mit den Grundlagen deines Systems, das erspart dir Frust und viel Zeit, die du zum rumprobieren brauchst. Grad das Suchen nach Paketquellen ist essentiell, weil du nur so schnell erfährst, was es gibt.

Der zweite Tip: Nutze, anstatt apt-get lieber aptitude. Wenn noch nicht verfügbar, installieren mit

sudo apt-get aptitude

Der Vorteil, es werden alle Abhängigkeiten gespeichert, also werden bei der Entfernung per Aptitude auch nicht mehr benötigte Pakete mit entfernt.

Suchen:
sudo aptitude search STRING

Installieren
sudo aptitude install PAKET

Entfernen inkl. aller Config-Dateien:
sudo aptitude purge PAKET

Update aller Pakete:
sudo aptitude update && sudo aptitude upgrade

Damit solltest du schonmal was anfangen können.

Für die Logfiles machst du folgendes im Terminal:
tail -f /var/log/apache/error.log

Das zeigt dir das error-log des Indianders an und aktualisiert selbst.
Wenn du dir dann noch xdebug installierst wirst du merken, wie einfach die PHP-Entwicklung sein kann, wenn der Server klartext spricht ;)