Jak na rychlost

Python Jiří Znamenáček Jak na rychlost – Numba 2016-12-21

Numba patří mezi alternativní interpretry Python'u s několika dodanými velmi výraznými vylepšeními. Použít se dá v podstatě dvěma způsoby:

méně často pouze jako interpretr pythoního kódu;
jako knihovna sloužící k relativně snadnému zrychlení pythoních kódů, obzvláště pokud používají knihovnu Numpy.

Vývoj Numby probíhá dosti rychle, přesto mezi podporovanými pythoními a numpyovskými vlastnostmi může zatím chybět to, co zrovna potřebujete. Ale za pokus to vždy stojí.

Nainstalovat Numbu není vůbec jednoduché – mimo jiné vyžaduje instalaci správné verze LLVM a jeho pro potřeby Numby upraveného rozhraní pro Python llvmlite plus samozřejmě Numpy (se všemi jeho závislostmi) a ještě několik dalších balíčků.

Kde se nezadaří klasické pip install numba, zabere téměř určitě conda install numba (musíte ovšem pracovat minimálně pod Minicondou).

PS: Podpora CUDA se musí doinstalovat a nastavit zvlášť (viz oficiální dokumentace). S Condou to jde jako vždy výrazně jednodušeji.

Mezi nejzajímavější prostředky, které Numba nabízí, patří dekorátor @jit. Jeho základní použití je triviální:

from numba import jit @jit def funkce(parametr): ...

Numba se v tomto případě pokusí vstupní i návratové typy odhadnout sama a odekorovanou funkci zJITovat. Ve většině případů je to asi to nejlepší (a rozhodně to nejjednodušší), co můžete udělat.

Nechcete-li z nejrůznějších důvodů nechat odhadování typů na Numbě, můžete použít typovou anotaci, kterou řeknete, o jaké typy se u dané funkce jedná. Jednoduchý příklad upravený podle dokumentace:

from numba import jit, int16 @jit(int16(int16, int16)) def fn(x, y): return x + y Zatímco Numba samotná se snaží být co nejobecnější, u vlastních kódů musíte vědět, co děláte, jinak vás čekají překvapení o něco dříve, než s obecným řešením: >>> fn(1, 2) 3 >>> fn(2**15, 0) -32768 >>> fn(2**15, -1) 32767

PS: Anotace nemusí být úplná, můžete vynechat typ návratové hodnoty. Podobně se jich dá použít vícero (tedy vyjmenovat více možných otisků funkce pro různé typy), pak už ale záleží na jejich pořadí.

Numba se pokusí odekorovanou funkci zJITovat nejvhodnějším možným způsobem (tzv. nopython mode), ale ne vždy se to podaří, v kterémžto případě automaticky spadne do mnohem pomalejšího – ale na druhou stranu zcela Python C API kompatibilního – módu kompilace object mode.

Chcete-li uvedenému automatickému překladu předejít, stačí doplnit dekorátor na tvar @jit(nopython=True) – objeví-li Numba při kompilaci konstrukci, se kterou není optimálně proveditelná, místo přechodu na object mode vyhodí výjimku a zpracování kódu zastaví.

Co pak provedete, je na vás. Ideální je pokusit se dekorovanou funkci upravit tak, aby šla zJITovat a Numba přestala házet výjimku, ale nemusí se to vždy snadno podařit.

Plná varianta dekorátoru @jit jest:

@numba.jit( signature=None, nopython=False, nogil=False, cache=False, forceobj=False, locals={} )

Odtud je mimo jiné vidět, proč může být typová anotace zadána beze jména parametru – je totiž první. Podobně přepínač nopython má – především asi pro ladicí účely – doplněk forceobj. A ty další:

nogil – možnost vypnutí nechvalně proslulého GILu, ovšem se všemi důsledky z toho plynoucími (tedy pozor na paměť!);
cache – možnost uložení již dříve zkompilovaných funkcí na disk; Může-li, skončí výsledek této kompilace v tradičním adresáři __pycache__ vedle kódu. Ne pro všechny funkce lze uložení provést – chcete-li vidět zprávu o neúspěchu, nastavte proměnnou prostředí NUMBA_WARNINGS na nenulovou hodnotu.
locals – může být použito pro vnucení typů lokálních proměnných funkce (ale nedoporučuje se používat).

TODO