Python Jiří Znamenáček Modul „urllib“ 2011-04-28

Moduly pro podporu internetových protokolů jsou jednou z nejzměněnějších částí Python'u 3.x. Neustále se rozrůstající a čím dál tím více nepřehledná „sběř“ modulů pro práci s nimi byla „umravněna“ a přesunuta pod jeden společný rodičovský modul urllib. V rámci přesunutí došlo též k jednotnému přejmenování dílčích modulů podle jejich funkce a sdružení souvisejících částí kódů do společných modulů.

Z mnoha dostupných objektů nás v tomto úvodu bude zajímat především objekt urllib.request, jehož primárním úkolem je zajištění komunikace po protokolech HTTP, FTP a file (tedy lokální soubory). Modul je to dosti obsáhlý, ale pro začátek si vystačíme s minimem.

Tento modul je přímým pokračovatelem modulu urllib2 z Python'u 2.x. Asi až po Python 3.1 bylo HTTP omezeno pouze na verze 0.9 a 1.0?

Navázání komunikace se servrem (v nejjednodušším možném případě tedy zaslání dotazu typu GET) se používá metoda urllib.request.urlopen(). K jejímu výstupu se dá přistupovat v podstatě jako k práci s binárním souborovým proudem (stream). Budeme-li prozatím ignorovat možná selhání při spojení apod., stačí tedy v podstatě napsat pouze..

stream = urllib.request.urlopen('URL')

..jak ostatně ukazuje výstup následujícího programu:

Některé z uvedených atributů nejsou přímo vlastními atributy objektu urllib.request, ale „probublají“ do něj odjinud, např.: info() z urllib.response, code() z urllib.error apod.

Jelikož návratový objekt metody urlopen() se pro všechny praktické účely tváří jako binární soubor, obsah odkazovaného dokumentu snadno přečteme např. pomocí metody read():

Obsah návratového objektu je text v konkrétním kódování, zde UTF-8. Pro jeho převod z binární podoby tedy musíme použít metodu binárního řetězce decode().

Běžné dotazy na server (z předchozího slajdu) probíhají jako GET. Pokud zavedeme požadavek i s částí data, bude změněn na POST:

stream = urllib.request.urlopen('URL', data=b'DATA')

Jelikož urlopen() očekává v parametru data bajtový řetězec, je pro jednoduché dotazy snažší použít okliku (nebo spíš plnou cestu, protože urlopen() je v podstatě zkratka) přes objekt typu Request, kterému pro (jednoduchá) data stačí řetězec. Ukažme si to rovnou na příkladu:

Nechť v adresáři /cgi-bin/ našeho serveru sídlí následující CGI-skript:

#!/usr/bin/env python import sys data = sys.stdin.read() print('Content-type: text-plain\n\nPrijata data: "%s"' % data)

Tomuto skriptu pošleme vstupní data např. takovýmto způsobem:

Praktičtější (a častější) je poslat komplikovanější dotaz obsahující mapování typu klíč=hodnota. V takovém případě je třeba zasílaná data vhodným způsobem zakódovat, o což se stará metoda urllib.parse.urlencode().

Její výstup můžeme předhodit parametru data jak u urlopen(), tak u Request().

Budeme-li pokračovat v příkladu z předchozího slajdu, upravený kód vypadá takto:

Často je třeba doplnit POST-dotaz o konkrétní HTTP-hlavičky. O to se stará další nepovinný parametr konstruktoru Request().

A tentokrát už urlopen() ekvivalentní parametr nemá, pro práci s hlavičkami tedy musíte použít Request().

Ukažme si jeho použití na jednoduchém příkladu:

Velmi často se vám může stát, že server s vámi odmítne komunikovat, pokud se neohlásíte jako určitý známý klient. Jelikož knihovna urllib se ve výchozím nastavení hlásí jako Python-urllib/x.y, bude třeba „podvrhnout“ jinou identifikaci úpravou HTPP-hlavičky User-Agent:

Stejným způsobem se přidávají i další potřebné HTTP-hlavičky.

Knihovna urllib se sama stará o nejtypičtější události v rámci protokolu HTTP. Tak kupříkladu přesměrování na jinou adresu je provedeno automaticky a vy jako uživatel obdržíte v odpovědi až finální výsledek.

Pokud se ale dotážete na neexistující zdroj nebo se podaří vyprodukovat jakoukoliv jinou chybu v rozsazích 4xx a 5xx, výše uvedený postup použití knihovny pochopitelně ošklivě selže:

V reálném programu je proto třeba doplnit kód o zpracování takovýchto chyb, jak ukazuje dotaz na neexistující cestu na serveru:

Jelikož výjimka HTTPError je potomkem výjimky URLError, musí být uvedena jako první, jinak by ji zpracovala hned větev u URLError a ve starších verzích Python'u by to celé ošklivě zhavarovalo pro nedostupnost argumentu reason. (Alespoň v Python'u 3.4 už to ale není pravda – atribut reason už je prvkem až výjimky HTTPError.)

Mimochodem kdybychom se pokusili stejným kódem zavolat neexistující server, obdrželi bychom výstup právě z druhé výjimky URLError: