StreamReader und StreamWriter Probleme

• StreamReader kann keine neuen Zeilen übersetzen.
• StreamWriter unterstützt keine „Zeilenpufferung“ (flush, wenn der Eingabetext eine neue Zeile enthält).
• StreamReader-Klassen der CJK-Kodierungen (z. B. GB18030) unterstützen nur UNIX-Zeilenumbrüche (’\n’).
• StreamReader und StreamWriter sind zustandsbehaftete Codecs, exponieren aber keine Funktionen zur Steuerung ihres Zustands (getstate() oder setstate()). Jeder Codec muss Eckfälle behandeln, siehe Anhang A.
• StreamReader und StreamWriter sind sehr ähnlich zu IncrementalReader und IncrementalEncoder, einige Code sind für zustandsbehaftete Codecs dupliziert (z. B. UTF-16).
• Jeder Codec muss seine eigene StreamReader- und StreamWriter-Klasse neu implementieren, auch wenn dies trivial ist (rufe einfach den Encoder/Decoder auf).
• codecs.open(filename, “r”) erstellt ein io.TextIOWrapper-Objekt.
• Kein Codec implementiert eine optimierte Methode in StreamReader oder StreamWriter basierend auf den Besonderheiten des Codecs.

Probleme im Bug-Tracker

• Issue #5445 (2009-03-08): codecs.StreamWriter.writelines Problem, wenn ein Generator übergeben wird
• Issue #7262: (2009-11-04): codecs.open() + eol (windows)
• Issue #8260 (2010-03-29): Wenn ich codecs.open(…) verwende und f.readline() gefolgt von f.read() ein falsches Ergebnis liefert
• Issue #8630 (2010-05-05): Keepends-Parameter in codec readline(s)
• Issue #10344 (2010-11-06): codecs.readline kümmert sich nicht um Pufferung
• Issue #11461 (2011-03-10): Lesen von UTF-16 mit codecs.readline() schlägt bei Surrogat-Paaren fehl
• Issue #12446 (2011-06-30): StreamReader Readlines-Verhalten seltsam
• Issue #12508 (2011-07-06): Codecs Anomalie
• Issue #12512 (2011-07-07): Codecs: StreamWriter-Probleme mit zustandsbehafteten Codecs nach einem Seek oder mit Append-Modus
• Issue #12513 (2011-07-07): codec.StreamReaderWriter: Probleme mit verschachteltem Lese-Schreib-Vorgang

TextIOWrapper Features

• TextIOWrapper unterstützt jede Art von Zeilenumbruch, einschließlich der Übersetzung von Zeilenumbrüchen (zu UNIX-Zeilenumbrüchen) zum Lesen und Schreiben.
• TextIOWrapper verwendet Codecs' inkrementelle Encoder und Decoder wieder (keine Code-Duplizierung).
• Das io-Modul (TextIOWrapper) ist schneller als das codecs-Modul (StreamReader). Es ist in C implementiert, während codecs in Python implementiert ist.
• TextIOWrapper verfügt über einen Readahead-Algorithmus, der kleine Lesevorgänge beschleunigt: Zeichen für Zeichen oder Zeile für Zeile lesen (io ist bei diesen Operationen 10x bis 25x schneller als codecs).
• TextIOWrapper hat einen Schreibpuffer.
• TextIOWrapper.tell() ist optimiert.
• TextIOWrapper unterstützt Zufallszugriff (lesen+schreiben) mit einer einzigen Klasse, die eine Optimierung von verschachtelten Lese-Schreib-Vorgängen ermöglicht (aber keine solche Optimierung ist implementiert).

TextIOWrapper Probleme

• Issue #12215 (2011-05-30): TextIOWrapper: Probleme mit verschachteltem Lese-Schreib-Vorgang

Mögliche Verbesserungen von StreamReader und StreamWriter

Durch Hinzufügen von Codec-Zustands-Lese-/Schreibfunktionen zu den StreamReader- und StreamWriter-Klassen wird es möglich, Probleme mit zustandsbehafteten Codecs in einer Basisklasse anstelle von jeder zustandsbehafteten StreamReader- und StreamWriter-Klasse zu beheben.

Es wäre möglich, StreamReader und StreamWriter zu ändern, um sie IncrementalDecoder und IncrementalEncoder verwenden zu lassen.

Ein Codec kann Varianten implementieren, die für die spezifische Kodierung optimiert sind oder bestimmte Stream-Methoden abfangen, um Funktionalität hinzuzufügen oder die Kodierungs-/Dekodierungsleistung zu verbessern. TextIOWrapper kann solche Optimierungen nicht implementieren, aber TextIOWrapper verwendet inkrementelle Encoder und Decoder sowie Lese- und Schreibpuffer, sodass der Overhead unvollständiger Eingaben gering oder null ist.

Für andere variable Längen-Kodierungen, z. B. UTF-8, könnte noch viel mehr getan werden, da diese oft Probleme am Ende eines Lesevorgangs aufgrund fehlender Bytes haben. Die UTF-32-BE/LE-Codecs könnten einfach die Zeichenposition mit 4 multiplizieren, um die Byteposition zu erhalten.

Verwendung von StreamReader und StreamWriter

Diese Klassen werden selten direkt verwendet, sondern indirekt über codecs.open(). Sie werden in der Python 3-Standardbibliothek (außerhalb des codecs-Moduls) nicht verwendet.

Einige Projekte implementieren eigene Codecs mit StreamReader und StreamWriter, verwenden diese Klassen aber nicht.

Öffentliche API beibehalten, codecs.open

codecs.open() kann durch die eingebaute open()-Funktion ersetzt werden. open() hat eine ähnliche API, hat aber auch mehr Optionen. Beide Funktionen geben dateiähnliche Objekte zurück (gleiche API).

codecs.open() war bis Python 2.6 der einzige Weg, eine Textdatei im Unicode-Modus zu öffnen. Viele Python 2-Programme verwenden diese Funktion. Das Entfernen von codecs.open() bedeutet mehr Arbeit beim Portieren von Programmen von Python 2 auf Python 3, insbesondere bei Projekten, die die gleiche Codebasis für beide Python-Versionen verwenden (ohne das 2to3-Programm zu verwenden).

codecs.open() wird zur Abwärtskompatibilität mit Python 2 beibehalten.

StreamReader und StreamWriter als veraltet kennzeichnen

Das Instanziieren von StreamReader oder StreamWriter muss in Python 3.3 eine DeprecationWarning ausgeben. Das Definieren einer Unterklasse gibt keine DeprecationWarning aus.

codecs.open() wird so geändert, dass es die eingebaute open()-Funktion (TextIOWrapper) wiederverwendet, um Textdateien zu lesen/schreiben.

Zustandsbehaftete Codecs

Python unterstützt die folgenden zustandsbehafteten Codecs

• cp932
• cp949
• cp950
• euc_jis_2004
• euc_jisx2003
• euc_jp
• euc_kr
• gb18030
• gbk
• hz
• iso2022_jp
• iso2022_jp_1
• iso2022_jp_2
• iso2022_jp_2004
• iso2022_jp_3
• iso2022_jp_ext
• iso2022_kr
• shift_jis
• shift_jis_2004
• shift_jisx0213
• utf_8_sig
• utf_16
• utf_32

read und seek(0)

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
    f.write('def')
    f.seek(0)
    assert f.read() == 'abcdef'
    f.seek(0)
    assert f.read() == 'abcdef'

Die io- und codecs-Module unterstützen diesen Anwendungsfall korrekt.

seek(n)

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
    pos = f.tell()
with open(filename, 'w', encoding='utf-16') as f:
    f.seek(pos)
    f.write('def')
    f.seek(0)
    f.write('###')
with open(filename, 'r', encoding='utf-16') as f:
    assert f.read() == '###def'

Das io-Modul unterstützt diesen Anwendungsfall, während codecs fehlschlägt, da es beim zweiten Schreiben ein neues BOM schreibt (Issue #12512).

Append-Modus

with open(filename, 'w', encoding='utf-16') as f:
    f.write('abc')
with open(filename, 'a', encoding='utf-16') as f:
    f.write('def')
with open(filename, 'r', encoding='utf-16') as f:
    assert f.read() == 'abcdef'

Das io-Modul unterstützt diesen Anwendungsfall, während codecs fehlschlägt, da es beim zweiten Schreiben ein neues BOM schreibt (Issue #12512).