第14章　Pythonの高速化について

76回生 まふまふ

14.1　はじめに

76回生のまふまふです(^^♪.まだ知らないことも多いのでよろしくお願いします.

僕は主にPythonを使っているので,Pythonについて書こうと思ったのでこの内容にしました.

Pythonを使ったことがない人やプログラミングを知らない人でも,面白そうだなぁと思ってくれたら嬉しいです.

特にプログラミングをしたことがない人はPythonから始めることをお勧めします(^^♪

いきなりC言語*1やJava(⇦プログラミング言語のひとつ)からなどから始めようとすると,難しくてあきらめてしまうかもしれません.

Pythonなら初心者でもわかりやすいような簡単な文法なので,簡単に始められます.

もちろん他の言語のような高度なこともできるため,機械学習などにも生かせるため最近人気です!

今回はこの言語の唯一の欠点の『速度が遅い』ことを克服するため,高速化について書こうと思います.

Pythonがどういうものか知らない方も目を通していただけたら嬉しいです.

そんなに長くないので...汗

14.2　なぜPythonは遅いの??

Pythonが遅い理由はいくつかあります.

インタープリタ型言語であること

Pythonはインタープリタ型言語といって実行するときに一行ずつ機械語に翻訳されていきます.

なのでC言語などのコンパイル型言語*2とくらべてかなり速度が低下します(;´･ω･)

変数宣言がない

Pythonでは変数宣言(型を明確に表記して,変数を使用すること)が不要で,いきなりソースコードの中で新しい変数を使用することができます.

※変数とは値(整数,文字列など...)を保存する箱みたいなもの(?)です.数学の変数とは意味が違います.

なので変数を使った操作で毎回型チェックが行われます.⇦遅くなる原因

考察

これ以外にもたくさんの理由がありますが,主な理由はここに挙げた二つです.

どうにかして速くできないですかねぇ...)

14.3　高速化したいのはどうして??

繰り返しの処理が遅い!!

理由の一つにループ処理(繰り返しの処理)が遅いことがあります.型指定を行わないせいで,ループ時にも型のチェックが必要となってすごく遅くなるんですね.

14.4　では,どうやって高速化するのか

どうすれば遅いものが速くなるの??と,思うでしょう(多分.

しかしPythonのままで高速化する方法があるんです.

※速度計測環境

[pc]:CPython&C++:Windows 10,Cython&PyPy:Ubuntu,[Python]:Python3.7

※比較に使うPythonのコード

  from time import time
  def mf():#関数の定義
      a=0;
      for i in range(100000):
        a+=1;
  st=time();
  mf();
  en=time()
  print("%s[sec]"%(en-st));
  if __name__=="__main__":#呼び出されたら実行する
      mf()

速度は0.0047[sec]でした.

※CPythonとはCで作られたPythonのことで,これが通常のPythonです.

これ以外にはRPythonなどがあります.

(Cで作られているのに遅いのは納得いかないな

NumPyを使う!!

NumPyというライブラリ(これを読み込むことでその機能を使用できる)があります.

このライブラリはC言語でつくられています.(速い理由)

これを使用すると高度な計算なども高速に行うことができます!!

導入方法(NumPy)

pipコマンド(Pythonをダウンロードすると,コマンドプロンプトから使用できます)を使ってpip install numpyで使えるようになります.(簡単ですね!!

そしてimport文(必要なライブラリを読み込むコード)でimport numpyとすると使えます.

計測(NumPy)

計算に限られるため,ほかの方法との比較はできません.次のに期待しましょう)

Numbaを使う！

次はNumbaライブラリのJITコンパイル*3を使う方法です.

この方法では主にNumPyを扱ったプログラムが大幅に高速化します.JIT技術を使ってコンパイルされます.⇦速い原因

NumPyを使わないプログラムではあまり効果がないことがありますが,ループ処理のあるものは速くなることがあります.

導入方法(Numba)

pipコマンドを使ってpip install numbaで使えるようになります.デコレータ*4を使って

from numba import jit#import numbaで関数前で@numba.jitでもok
@jit
def mf():#mf には定義したい関数名を
    #....

とすると自動でその関数がコンパイルされます.

注意！(Numba)

NumbaのJITを使う上での注意は一回目は速くならないことです.

二回目以降の呼び出し時にはすでに一回目のときにコンパイルされているため,速く処理を行えますけどね.

計測(Numba)

計測しまーす!

from time import time
from numba import jit
@jit
def mf():
    a=0;
    for i in range(100000):
    a+=1;
st=time();
mf();
en=time()
print("%s[sec]"%(en-st));
if __name__=="__main__":
    mf()

速度はPython:0.0047[sec],Numba:0.0674[sec]

ということで残念ながら速くなりませんでした.やはりNumPy用なのかなぁ...

※ファイル名の最後に"_"をつけているのは自分自身をNumbaというライブラリとして読み込まないようにするためです.Pythonでは優先度を分ける書き方がないので^^;

Cythonを使う!!

今までは計算だけ!とかNumPyをつかったものだけ!などでしたが,今回はどのようなプログラムにも適用できて速いです!!!

Cythonは一種のプログラミング言語です.しかしPythonとの高い互換性があり,多くのコードはそのままでも使えます.

Cythonがなぜ速くなるのかというと,コンパイルするからです.また型指定(変数宣言)もできます.

望み通りの素晴らしい言語ですねぇ(笑)

Pythonのライブラリも幅広く対応しており便利です.

導入方法(Cython)

pipコマンドを使ってpip install cythonで使えるようになります.※管理者権限が必要です

どのようにすると使えるのかというと,まず記述したコードを.pyxという拡張子で保存します.

その後cython mf.pyxで.cファイルに変換します.(mf.pyxには任意のファイルを指定)

さらに,これによって生成された.cファイルをCのコンパイラ*5を使用して.pyd(Mac,Linuxでは.so)にコンパイルします.

これにより,Pythonからimportするだけで簡単に使える高速なライブラリができます.

このファイルは共有ライブラリといい,C,Pythonなどから使用できるライブラリです.

(Jupyter Notebook*6を使って対話的にCythonを使用することもできます.この場合,自分でコンパイルする必要はありません)

Cython公式サイト

和訳されたCythonドキュメント(少し古いです)

で,終わろうと思ったのですが手元の環境では上記の方法ではエラーとなったので,もう一つの方法を紹介します!

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

ext_modules = [Extension("mf", ["mf.py"])]
setup(
  name = 'mf',
  cmdclass = {'build_ext': build_ext},
  ext_modules = ext_modules
)

このような内容のsetup.pyを用意します.

そしてコマンドプロンプトからそのフォルダに移動し(cdコマンドを使用)て,python setup.py build_ext --inplaceと入力します.

すると,.pyファイルから.pydまたは.soに直接変換できます!!

※Visual Studioがインストールされている必要があります.

(;;) なんで両方できないんだぁ-(基本はできますのでご心配なく...)

計測(Cython)

Cythonでこのコードを実行してみます.

from time import time
def mf():
    a=0;
    for i in range(100000):
        a+=1;
st=time();
mf();
en=time()
print("%s[sec]"%(en-st));
if __name__=="__main__":
    mf()

※残念なことにcython mf.pyx を実行したときにlanguage_levelでエラーが発生しました.基本はcython language_level=3できるはずなのですができませんでした.前のPCではできたのに...

PyPyを使う！

PyPyはCPython(CPythonとはCで作られたPythonです.つまり一般的なPythonのことです)より速いというのがうりです.

Numbaと同じようにJIT技術を使います.ただ,一つ問題がありCでつくられたライブラリが使えないことです(RPython特有なので仕方ないです).しかし,NumPyなどの主要ライブラリはPyPy版があり,ある程度フォローされています!!

PyPy2,PyPy3はAtCoder*7の言語にもあります.言語なのかは怪しいですが)※Cythonはありません

単なるPythonのコードでもPyPyとして提出することで実際にPythonでは実行時間超過だったコードが正解となることもあるようです.

導入方法(PyPy)

PyPyではここが重要です.aptコマンドが使える環境ではapt install pypyでインストールできるのですが,Windows等の場合は公式サイトからファイルをダウンロードする必要があります.

公式サイト

Python3の場合はPyPy3なのでPyPy3をダウンロードしてください.

これをコマンドラインから使用するには自分でパスを通す必要があります.

使用するにはpypy mf.pyとします.mfの部分には任意のファイル名を指定してくださいね！

これで使用できます.

14.5　計測(PyPy)

from time import time
def mf():
    a=0;
    for i in range(100000):
        a+=1;
st=time();
mf();
en=time()
print("%s[sec]"%(en-st));
if __name__=="__main__":
    mf()

速度はPython:0.0047[sec],PyPy:0.0010[sec]

速くなりましたね!

14.6　pipコマンドを使っても使えなかった場合の対処法

もし'pip' は,内部コマンドまたは外部コマンド,操作可能なプログラムまたはバッチ ファイルとして認識されていません.とでた場合はpipがインストールできていないのでapt install python-pipでダウンロードできます.※Windowsでのメッセージ.Macの場合は-bash: pip: command not found

※PyPyやPython2が入っている場合になることがあります.

あとがき

速度が変わらなかったものもありましたが,状況に合わせて使用すれば速くなりそうですね.実際に使ってみるのもいいですね!

プログラミングを知らない人も,Pythonを知らない人も,少しでもPythonに興味をもってもらえれば幸いです.

最後まで読んでくれた方、ありがとうございました!!