Zusammenfassung

Dieses PEP beschreibt eine Spiegelinfrastruktur für PyPI.

Rücknahme eines PEP

Der Haupt-Webdienst von PyPI wurde im Mai 2013 hinter das Fastly Caching CDN verlegt: https://mail.python.org/pipermail/distutils-sig/2013-May/020848.html

Anschließend wurde diese Vereinbarung als Sachleistungssponsoring mit der PSF formalisiert, und die PSF hat auch die Aufgabe des Risikomanagements übernommen, falls diese Sponsoringvereinbarung jemals beendet werden sollte.

Die Download-Statistiken, die zuvor direkt auf PyPI bereitgestellt wurden, werden nun indirekt über Google Big Query veröffentlicht: https://packaging.python.org/guides/analyzing-pypi-package-downloads/

Daher ist der in diesem PEP beschriebene Spiegelvorschlag nicht mehr erforderlich und wurde als zurückgezogen markiert.

Begründung

PyPI hostet über 6000 Projekte und wird täglich von Leuten zum Erstellen von Anwendungen genutzt. Insbesondere Systeme wie easy_install und zc.buildout nutzen PyPI intensiv.

Für Leute, die PyPI intensiv nutzen, kann es zu einem Single Point of Failure werden. Leute haben begonnen, einige Spiegel einzurichten, sowohl private als auch öffentliche. Diese Spiegel sind aktive Spiegel, was bedeutet, dass sie PyPI durchsuchen, um synchronisiert zu werden.

Um das System zuverlässiger zu machen, beschreibt dieses PEP

• die Spiegelauflistung und Registrierung bei PyPI
• die Seiten, die ein öffentlicher Spiegel pflegen sollte. Diese Seiten werden von PyPI verwendet, um Trefferzahlen und das Datum der letzten Änderung zu erhalten.
• wie ein Spiegel mit PyPI synchronisieren sollte
• wie ein Client einen Fail-over-Mechanismus implementieren kann

Spiegelauflistung und Registrierung

Personen, die PyPI spiegeln möchten, machen einen Vorschlag bei catalog-SIG. Wenn ein Spiegel in der Mailingliste vorgeschlagen wird, wird er manuell in eine Spiegel-Liste in der PyPI-Anwendung aufgenommen, nachdem er auf Konformität mit den Spiegelregeln geprüft wurde.

Die Spiegel-Liste wird als Liste von Hostnamen des Formats bereitgestellt

X.pypi.python.org

Die Werte von X sind die Sequenz a,b,c,…,aa,ab,… a.pypi.python.org ist der Master-Server; die Spiegel beginnen mit b. Ein CNAME-Eintrag last.pypi.python.org verweist auf den letzten Hostnamen. Spiegelbetreiber sollten eine statische Adresse verwenden und geplante Änderungen an dieser Adresse im Voraus an distutils-sig melden.

Der neue Spiegel erscheint auch unter http://pypi.python.org/mirrors, einer menschenlesbaren Seite, die die Liste der Spiegel anzeigt. Diese Seite erklärt auch, wie ein neuer Spiegel registriert wird.

Spiegelauthentizität

Bei einem verteilten Spiegelungssystem möchten Clients möglicherweise überprüfen, ob die gespiegelten Kopien authentisch sind. Es gibt mehrere Bedrohungen zu berücksichtigen

1. der zentrale Index kann kompromittiert werden
2. der zentrale Index wird als vertrauenswürdig angenommen, aber die Spiegel könnten manipuliert werden.
3. ein Man-in-the-Middle zwischen dem zentralen Index und dem Endbenutzer oder zwischen einem Spiegel und dem Endbenutzer könnte Datagramme manipulieren.

Diese Spezifikation befasst sich nur mit der zweiten Bedrohung. Es werden einige Vorkehrungen getroffen, um Man-in-the-Middle-Angriffe zu erkennen. Um den ersten Angriff zu erkennen, müssen Paketautoren ihre Pakete mit PGP-Schlüsseln signieren, damit Benutzer überprüfen, ob das Paket von dem vertrauenswürdigen Autor stammt.

Der zentrale Index stellt einen DSA-Schlüssel unter der URL /serverkey im PEM-Format bereit, wie er von "openssl dsa -pubout" generiert wird (d.h. RFC 3280 SubjectPublicKeyInfo, mit dem Algorithmus 1.3.14.3.2.12). Diese URL darf *nicht* gespiegelt werden, und Clients müssen den offiziellen Serverkey direkt von PyPI abrufen oder die im PyPI-Client-Software enthaltene Kopie verwenden. Spiegel sollten den Schlüssel dennoch herunterladen, um einen Schlüsselwechsel zu erkennen.

Für jedes Paket wird eine gespiegelte Signatur unter /serversig/<package> bereitgestellt. Dies ist die DSA-Signatur der parallelen URL /simple/<package> im DER-Format, unter Verwendung von SHA-1 mit DSA (d.h. als RFC 3279 Dsa-Sig-Value, erstellt vom Algorithmus 1.2.840.10040.4.3)

Clients, die einen Spiegel verwenden, müssen die folgenden Schritte ausführen, um ein Paket zu verifizieren

1. die /simple-Seite herunterladen und ihren SHA-1-Hash berechnen
2. die DSA-Signatur dieses Hashs berechnen
3. das entsprechende /serversig herunterladen und es (Byte für Byte) mit dem in Schritt 2 berechneten Wert vergleichen.
4. die MD-5-Hashes aller von ihnen vom Spiegel heruntergeladenen Dateien berechnen und verifizieren (anhand der /simple-Seite).

Eine Implementierung des Verifizierungsalgorithmus ist verfügbar unter https://svn.python.org/packages/trunk/pypi/tools/verify.py

Die Verifizierung ist beim Herunterladen vom zentralen Index nicht erforderlich und sollte vermieden werden, um den Rechenaufwand zu reduzieren.

Ungefähr einmal im Jahr wird der Schlüssel durch einen neuen ersetzt. Spiegel müssen alle /serversig-Seiten neu abrufen. Clients, die Spiegel verwenden, müssen eine vertrauenswürdige Kopie des neuen Serverschlüssels finden. Eine Möglichkeit, ihn zu erhalten, ist der Download von https://pypi.python.org/serverkey. Um Man-in-the-Middle-Angriffe zu erkennen, müssen Clients das SSL-Serverzertifikat verifizieren, das von der CACert-Autorität signiert wird.

Spezielle Seiten, die ein Spiegel bereitstellen muss

Ein Spiegel ist eine Teilkopie von PyPI, daher bietet er dieselbe Struktur, indem er sie kopiert.

• simple: REST-Version des Paketindex
• packages: Pakete, gespeichert nach Python-Version und Buchstaben
• serversig: Signaturen für die einfachen Seiten

Er muss auch zwei spezielle Elemente bereitstellen

• last-modified
• local-stats

# package,filename,useragent,count
zc.buildout,zc.buildout-1.6.0.tgz,MyAgent,142
...

Wie ein Spiegel mit PyPI synchronisieren sollte

Ein Spiegelprotokoll namens Simple Index wurde von Martin v. Loewis und Jim Fulton beschrieben und implementiert, basierend darauf, wie easy_install funktioniert. Dieser Abschnitt fasst es zusammen und gibt ein paar relevante Links, plus einen kleinen Teil über User-Agent.

>>> import socket
>>> socket.gethostbyname_ex('last.pypi.python.org')[0]
'h.pypi.python.org'

Referenzen

Danksagungen

Georg Brandl.

Urheberrecht

Dieses Dokument wurde gemeinfrei erklärt.