Moin!

Gibt es Methoden solche Textblöcke -automatisch per PHP- verläßlich zu
analysieren (und dann ggf. zu konvertieren), oder wäre ein Umweg über eine
Formular-Eingabe der Texte sinnvoller?

Nein, es gibt keine verlässliche Methode. Das einzige, was du prüfen kannst, ist, ob ein Text Zeichen enhält, die nicht in UTF-8 kodiert sind. Damit kannst du praktisch prüfen, ob der Text UTF-8-kodiert ist oder nicht.

Das ist sowas wie eine notwendige, aber keine hinreichende Bedingung. Wenn Bytes vorkommen, die laut UTF-8-Schema illegal sind, dann kann es kein UTF-8 sein. Das heißt für den umgekehrten Fall aber nicht, dass es dann in jedem Fall UTF-8 ist.

Aber es gibt keine Methode, herauszufinden, welches Encoding ein Text hat.

Man kann natürlich "raten": Ein Encoding ist in der Regel mit typischen Sprachen verbunden, die eine gewisse Zeichennutzung aufweisen. Diese Muster kann man natürlich analysieren, und wieder durch Ausschlußverfahren wegstreichen, welches Encoding es dann vermutlich nicht mehr ist.

Das ist allerdings ziemlich "Magie". Als Anschauungsobjekt empfiehlt sich vielleicht, die Encoding-Rate-Routine des Firefox anzugucken. :)

Oder eben die strikte Vorgehensweise, das Encoding von den externen Quellen entweder fixiert festgelegt einzukalkulieren (der Fall des Scheiterns muß dann aber eingeplant werden), oder die Quellen übermitteln dynamisch ihr gewähltes Encoding (HTTP-Header wären z.B. der klassische Fall).

- Sven Rautenberg

Moin!

wäre ein Umweg über eine Formular-Eingabe der Texte sinnvoller?

Ja! In dem Fall kannst du nämlich die Kodierung festlegen (accept-charset)

Naja, so halbwegs. Browserübergreifend funktioniert nur, an allen drei denkbaren Positionen (HTTP-Header, Meta-Element und Form-Attribut accept-charset) identisch UTF-8 anzugeben (jedes andere Encoding würde natürlich im Grundsatz auch funktionieren, aber bei nicht codierbaren Zeichen dann höchst unterschiedlich scheitern).

bzw. durch einen Indikator herausfinden, welche Kodierung der Browser tatsächlich zur Kodierung der POST-Daten verwendet hat.

Das ist nach meiner Erfahrung nur notwendig, wenn man befürchten muß, extrem kaputte Browser (also sehr alte Browser) in relevanter Anzahl unter den Nutzern vorzufinden, oder wenn man auf UTF-8 verzichten muß (einige Browser kommen auf die Idee, angeblich "kompatible", aber im Detail doch unterschiedliche Codierungen als Alternative zu dem Formularvorschlag zu verwenden - z.B. Windows 1252 anstelle von ISO-8859-1. Das macht u.a. Spaß beim Eurozeichen).

Wenn man UTF-8 verwenden kann, sollte das in allen aktuellen Browsern (sogar noch den IEs der 5er-Reihe, aber natürlich nicht im Netscape 4) gut funktionieren.

- Sven Rautenberg

Moin!

Da scheint die Formular-Eingabe der sicherste Weg zu sein.

Wenn es sich bei den Quellen um Erzeugnisse menschlicher Eingabetätigkeit handelt, dann ja. Textdateien beliebiger Encodingqualität sind ohne konkretes Tagging nicht sonderlich leicht zu behandeln.

Viel besser sieht es aus, wenn man maschinelle Quellen anzapft - die tendieren nicht dazu, ihr Encoding überraschend zu wechseln, sondern konsistent immer das gleiche zu verwenden. Einmal drauf eingestellt, und fertig.

Ansonsten überlege ich aber auch noch, ob es möglich ist durch einen immer
stattfindenden umfassenden Zeichenaustausch der Quellen (ggf. auch die
PHP-Möglichkeiten zur Konvertierung) alle Möglichkeiten abzudecken und zuletzt
bei utf-8 anzukommen.

Logisch, dass die Konvertierung nach UTF-8 stattfinden muß, anders kriegst du die beliebigen Encodings ja gar nicht gemischt. Wenn du das verwendete Encoding kennst, sollte dieser Schritt eigentlich auch problemlos funktionieren. PHP bietet z.B. ein Interface zur GNU Recode Bibliothek (wenn's allgemein bleiben soll) - und natürlich utf8_encode speziell für ISO-8859-1-Strings.

Hier noch ein Ansatz zur Erkenung von utf-8:
http://www.w3.org/International/questions/qa-forms-utf-8.en.php

Das ist ja "nur" der Regex, um zu prüfen, ob die Annahme, ein String sei UTF-8-codiert, auch zutrifft.

Da müßte ich wohl zuerst überlegen, was alles an Quellen möglich wäre, wenn
mit verschiedener Software einfacher Text gespeichert wird, ASCII, *.txt,
deutschsprachiger Raum, Windows, Mac, Linux. Oder würde so etwas viel zu
umfangreich oder bei begrenzter Auswahl doch wieder zu riskant?

Du hast im Prinzip immer dann Pech, wenn eine Datenquelle ihr Encoding nicht mitteilt. Und das ist in der Regel nur bei Textdateien der Fall. Formate wir Word haben ein bekanntes Encoding (kann man sicherlich irgendwo nachlesen), XML-Dateien sind zwar flexibel, aber erfordern die Encoding-Angabe im <?xml>-Header, sofern nicht UTF-8 verwendet wird.

- Sven Rautenberg