Pythonの高速化技法について一歩踏み込んだプロユースの解説書。ボトルネックの測定方法から、最適なデータ構造の使い分け、CythonやPyPyなどのコンパイラの比較、numpyなどのパッケージの使い方、マルチコアCPUの活用法、メモリ効率を劇的に改善するトライ構造や近似計算まで、シンプルな実例プログラムを用いながらわかりやすく説明します。高性能なプログラムの書き方だけでなく、高性能なシステムの作り方を総合的に学ぶことができるPythonエキスパート必携の一冊です。

https://www.oreilly.co.jp/books/9784873117409/

ここにも書いてあるように、プロファイリングのやり方からデータ構造、Cコンパイル・並列並行処理など幅広い内容が扱われていた。CPython以外の実装について勉強しようと思ってこの本を読み始めたので、個人的には「7章 Cにコンパイルする」が特に面白かった。

また普段はI/Oバウンドなプログラムを書くことが多いので、RAM使用量の削減とかそのためのプロファイリングなどCPUバウンドなプログラムについての知見が得られてよい。

時間ができたら次は積ん読になってるCythonのやつを読もう。

Cython ―Cとの融合によるPythonの高速化

作者: Kurt W. Smith,中田秀基,長尾高弘
出版社/メーカー: オライリージャパン
発売日: 2015/06/19
メディア: 大型本
この商品を含むブログ (3件) を見る

読書メモ

3章リストとタプル

リストは動的な配列
タプルは静的な配列
サイズが1~20の小さなタプルについては、使われなくなってもメモリがOSに返却されず、将来の再利用のために保持される

>>> %timeit l = [0, 1, 2, 3, 4, 5 ,6, 7, 8 ,9]
96.8 ns ± 1.22 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
>>> %timeit t = (0, 1, 2, 3, 4, 5 ,6, 7, 8 ,9)
16.4 ns ± 0.205 ns per loop (mean ± std. dev. of 7 runs, 100000000 loops each)

4章辞書と集合

辞書と集合は、ハッシュ表を使ってO(1)の検索と挿入を実現
ハッシュ可能なデータ型であればキーに使える
異なるキーが同じハッシュ値になることが(ハッシュ値の衝突)起こる
衝突数を適度に抑えるには、要素数がハッシュ表のサイズの2/3を超えないようにする
- ハッシュ表は2/3を超えるとサイズを拡張する
「ハッシュ関数がどれほどよく分散するか」という概念をハッシュ関数のエントロピーと呼ぶ
- エントロピーを最大化するハッシュ関数は、衝突数が最小になることを保証する理想ハッシュ関数

5章イテレータとジェネレータ

ジェネレータと無限数列
- フィボナッチ数列

def fibonacci():
    i, j = 0, 1
    while True:
        yield j
        i, j = j, i +j

def fibonacci_succinct():
    is_odd = lambda x: x % 2
    first_5000 = islice(fibonacci(), 0, 5000)
    return sum(1 for x in first_5000 if is_odd(x))

ジェネレータで省メモリで高速な処理が可能
- 遅延評価

6章行列とベクトルの計算

メモリ断片化
- リストはデータそのものではなくポインタを保持している
  - どんな型でも格納できるのでたいていの場合では便利
  - ベクトルや行列の演算においては、著しい性能劣化の原因に
  - データをメモリ上の連続した１つのブロックとして扱うことができれば、データ全体を一回の操作で移動できる
  - データが断片化されていると、ブロック全体を移動できず、各位要素をばらばらに移動する必要がある
- ループがベクトル化に対応していない
  - 一度に1つの要素を演算するループを、ひとまとまりのデータに対して同時に処理したい
numpy導入
- 効率のよいベクトル化演算パッケージ
- データを連続的なメモリ領域に保持し、ベクトル演算命令をサポート
- +=や*=などのインプレース演算は、入力の1つを出力としても使うから、計算結果を格納するための領域を確保する必要がない
- numexpr
  - 計算式をコンパイルして、効率の良いコードに変換

7章 Cにコンパイルする

AOTコンパイラ
- Cython
- Shed Skin
- Pythran
JIT コンパイラ
- Numba
  - Continuum(Anaconda)謹製
  - @jitデコレータを付けるだけ
- PyPy
  - GCのやり方が違う
    - CPythonは参照カウント法/PyPyはマーク&スイープ法
  - Cによる拡張ライブラリには効果がない
    - Pythonのコードを高速化するのが仕事
  - RAMの使用量が多い
CPython Compiler Tools
- ここに色々まとまってる
PyPyはPython3・Numpy対応できるように進化しててすごい
ctypes
- 外部関数インターフェース
- 引数をCの型へキャストする必要あり
- 複雑でメンテナンスが大変になりやすい
cffi
- http://cffi.readthedocs.io/en/latest/
- 関数や構造体の定義を理解できるCのパーサーが内蔵されている
- なのでCのコードを書くだけでOK
f2py
- FortranのコードをPythonにインポート

8章並行処理

イベントループで並行処理を実現
- 2つの考え方
  - コールバック
  - Future
gevent
- http://www.gevent.org/
- 標準 I/O 関数を非同期に変えるモンキーパッチ
- 軽量スレッドで並行処理ができるGreenlet
  - 複数のCPUを使わずに、イベントループを使うことによって I/O 待ちの間にgeventのスケジューラがGreenletを切り替える
- grequests知らなかった
  - https://github.com/kennethreitz/grequests
  - requests x gevent
tornado
- http://www.tornadoweb.org/en/stable/
- コールバックの方法を採用していたけど、バージョン3.xからは、互換性を保ったまま、コルーチ風の処理が追加された
- イベントループは全体で動作していて、非同期I/Oにかぎらずプログラムの実行の流れを制御している
- geventはiwait関数が実行している間だけイベントループが動作
asyncio
- asyncioライブラリは、tornadoやgeventのようなモジュールと組み合わせて、同じイベントループで動作させることも可能
やっぱり標準ライブラリがいいよね

9章 multiprocessingモジュール

embarrassingly parallel問題(あきれるほど簡単に並列化可能な問題)
- ジョブを互いに独立な単位に分割する
- ワーカーによって計算時間にばらつきがあるのなら、処理の順序をランダム化することを検討する
- 処理の遅い順に並べて、もっとも遅い処理から先に片づける
- 検証された理由がないかぎり、デフォルトのchunksizeを用いる
- チャンク数を物理コア数の倍数にすること
可能なら自前で非同期システムを作るのは避ける
- geventのような成熟したライブラリがbetter
- 外部のキュー管理システムについてもCeleryとかを使おう

10章クラスタとジョブキュー

Parallel Python
- https://pypi.python.org/pypi/pp
- multiprocessingを用いたコードを、１台のマルチコアのマシンから複数台のマシンを使うように簡単に変更できる
- リモートマシンにコードや静的なデータを分配する機能はない
- embarrassingly parallelな処理を小さなローカルクラスタで実行するのに適している
IPython Parallel
- https://github.com/ipython/ipyparallel
- ZeroMQをメッセージング用ミドルウェアとして利用
NSQ
- https://github.com/nsqio/nsq
- 分散型メッセージングミドルウェア
Celery
- https://github.com/celery/celery
Gearman
- http://gearman.org/
PyRes
- https://github.com/binarydud/pyres
SQS
- https://aws.amazon.com/jp/sqs/

11章 RAM使用量を削減する

テキスト処理アルゴリズム
- トライ
- DAWG(有向無閉路文字列グラフ)
RAM使用量を削減するコツ
- 数値データを扱うならnumpy
- ジェネレータを使う(Python2.x: xrange/Python3.x: range)
- 大量のUnicodeオブジェクトを使うならPython3.3+
- ビット列を太陽に使うならnumpy/bitarray
確率的データ構造
- 精度を犠牲にしてメモリの使用量を膨大に削減

2017-11-06

2017年10月の振り返り

仕事

silkを使ってプロファイリング
N+1クエリを消していった
transactionの見直し
transactionの観点からよくないsignalをリファクタ
マルチスレッド処理で発生したギャップロックを解消
RemovedInDjango20Warning対応
使ってないメソッドを掃除

アウトプット

ブログ

スライド

イベント

音楽

N/A

映画・ドラマ・アニメ

N/A

ラクロス

プレーオフ第2戦 vsStealers 6-26 LOSE

目標と成果

◯ Web連載執筆
- 第1回分納品できた
△ 書籍の第3章執筆とサンプルアプリケーション作成
- 第3章は書けたけど、サンプルアプリできてない
◎ なんか本2冊読む
- 「理科系の作文技術」「ハイパフォーマンスPython」「Angular CLIがわかる本」「逆引きwebpack」とか色々読み終えた
× 出社チャレンジ頑張る
- 改善できてきた気はするから11月に期待

11月に向けて

Web連載第2回執筆
書籍のサンプルアプリケーション作成と第5章執筆
JS本執筆の準備
出社チャレンジ頑張る
ライブに向けてBAND-MAIDの予習
Advent Calendarの準備
Rustの勉強を再開

2017-10-24

「Angular CLIがわかる本」を読んだ #AngularCLIがわかる本

leanpub.com

Angular Japan User Group代表のlacoさんが、「Angular CLIがわかる本」という電子書籍を出版したので早速読んでみた。

lacolaco.hatenablog.com

本書について
- フィードバックについて
- 対応バージョン
Angular CLIの基礎
- Angular CLIとは
- はじめてのAngular CLI
- Angular CLIの学び方
Angular CLIを使いこなす
- ng newを使いこなす
- ng generateを使いこなす
- ng buildを使いこなす
- ng testを使いこなす
- E2Eテストの実行
- Lintの実行
Schematics
- Schematicsの概要
- ng generateコマンドを拡張する
ng ejectとwebpack
- ng ejectコマンド
- @ngtools/webpackモジュール
インテグレーション
- Angular Material
- Google Analytics
- Firebase / AngularFire

感想

Angularの基本的な使い方・オプションを体系的に復習できた
stories · angular/angular-cli Wiki · GitHub にある内容を、かいつまんで説明してもらえてよい
Angularのチュートリアルやったことある人なら理解できる内容だったと思う
Schematicsを使ってng generateのカスタマイズという話は初耳だったんで、勉強になった
量もほどほどで1時間ちょっとで読めた
- "この本は 55％完全です"ってあるから、今後ページ数も増えていくのかな
"取り上げるユースケースも順次増やしていく予定"とのこと
- 実践的な話をもっと読みたいから楽しみ
登録料分すぐに売れて、lacoさんのモチベーション高まってよかった
#AngularCLIがわかる本あっという間にたくさん買ってもらえてLeanpub登録料の$100.00を無事取り戻したので、さらに書き進めるモチベーション湧いてきましたフィードバックお待ちしてます
— laco (@laco2net) 2017年10月21日

おわりに

#AngularCLIがわかる本 <- このシリーズで #AngularAnimateがわかる本とか #AngularRouterがわかる本とか #Angulari18nがわかる本とか増えるといいね
— Fumio SAGAWA (@albatrosary) 2017年10月22日

うん「Angular〇〇がわかる本」他にも読みたいから、シリーズ化に期待！

2017-10-17

PyLadies Tokyo - 3周年記念パーティに参加してきた #pyladiestokyo

はじめに

2017/10/15に開催された PyLadies Tokyo - 3周年記念パーティに参加してきたので、その参加メモです。

pyladies-tokyo.connpass.com

PyLadies Tokyo

https://pyladies-tokyo.connpass.com/

PyLadies Tokyo は，PyLadies の東京(or 日本!?)支部として，女性 Pythonista (=Python利用者) を繋ぐために活動しています．

普段は女性Pythonistaのコミュニティですが、周年記念のパーティの時には男性も参加できるのです。

参加動機

PyLadies Tokyoのメンバーと一緒にPyCon APAC 2017 in Malaysiaへ行って来たのがきっかけ

massa142.hatenablog.com

PyLadies Tokyoメンバーによるレポートはこちら

LTしてきた

slideship.com

先月開催したPyCon JP Reject Conference 2017について
みんなに聞いていった「落選した理由」から探るCfPアンチパターン
たまたまkame-chanが「周りのPyCon JPでtalk当選したことがある人に応募のコツを聞いてみた」というLTだったんで、バトンタッチができて楽しかった

Pycon CFP 敗因わかった。なるほどなー。続きは@okusama27 さんの発表でw！　　#PyLadiesTokyo
— sugita (@ane45) 2017年10月15日

パーティの様子

#pyladiestokyo pic.twitter.com/r1tQwjTxiV
— PyLadiesTokyo (@PyLadiesTokyo) 2017年10月15日

かんぱーい！ pic.twitter.com/w2GKwjWvw1
— PyLadiesTokyo (@PyLadiesTokyo) 2017年10月15日

Rettyさんによるご飯提供！ごちそうさまです！ #pyladiestokyo pic.twitter.com/8lZb1Diyn7
— masataka arai (@massa142) 2017年10月15日

🎂🎂🎂 #pyladiestokyo pic.twitter.com/FJ5dpvLTRT
— masataka arai (@massa142) 2017年10月15日

二次会始まりまーす！ #pyladiesTokyo pic.twitter.com/Z678ahnEb9
— PyLadiesTokyo (@PyLadiesTokyo) 2017年10月15日

全体を通しての感想

はじめてPyLadies Tokyoに参加したけど、あったかいコミュニティで居心地がよかった
スポンサーのRetty・Google Cloud Platform ありがとうございました！
@a_macbeeが体調崩して来れなかったの残念
- 東京と沖縄の温度差にやられたらしい...
2次会でいろいろ話せた
- @maaya8585とJava9・Azureについて
- @atsuoishimotoと表参道勤務あるあるについて
- @miとDjangoについて
PyCon JP 2017に参加して悩みが解決したとか、刺激を受けて自分もやってみたという、PyCon JP 2017のテーマである「Output & Follow」なLTが多くてとても嬉しかった
めっちゃ遅刻したけど糖質たくさん買ってくる@usaturnかっこいい

@usaturn さんからの差し入れです！ありがとうございます！ #pyladiesTokyo pic.twitter.com/voD55iTZRL
— PyLadiesTokyo (@PyLadiesTokyo) 2017年10月15日

煽ったらちゃんと来てくれる@iktakahiroもイケメン

Jupyter本の著者の4分の3が今日参加してる@iktakahiro だけ来てないのはなんでかな#pyladiestokyo
— まーや(Maaya) (@maaya8585) 2017年10月15日

おわりに

祝 3周年 🎉🎉🎉

来年の4周年パーティぜひまた参加したい。

f:id:massa142:20171017143551j:plain

2017-10-15

「理科系の作文技術」を読んだ

理科系の作文技術 (中公新書 (624))

作者: 木下是雄
出版社/メーカー: 中央公論新社
発売日: 1981/09/22
メディア: 新書
購入: 107人クリック: 1,559回
この商品を含むブログ (327件) を見る

読んだ動機

技術文書を書く機会をいただいた
@terapyonと@takanoryがすごくお薦めしていた
ずっと読まなきゃと思いながら積ん読してたけど、いざ原稿のレビューで論理構成などの指摘を受けると「これはやばい」と感じて慌てて読んだ

悩んでいたこと

自分が文書を書いていて悩んでいたことや、レビューで指摘してもらったことに以下の点があった。

読者に伝えたいことがぶれる
「文章を区切りすぎるとMarkdown・Qiitaっぽい感じになってよくないのでは」という不安から、冗長な修飾節をいれてしまう

勉強になったこと

目標規定文

準備作業を無視して、いきなり書き始めるところに、多くの失敗の原因があると述べられている。

この準備作業のひとつに目標規定文の設定がある。

自分は何を目標としてその文書を書くのか、そこで何を主張しようとするのかを熟考して、それを一つの文にまとめて書いてみる

この文が目標規定文である。目標規定文が決まったら、そこに収束するように文章全体の構想を練ることで一貫した文章を書くことができる。

目標規定文の例として、以下の文章が紹介されている。

このレポートでは、ランダムな変動を考慮に入れても、1970年代にはいってからは春がくるのがおくれ、また春が寒くなりつつあることを示す。

読者に伝えたいことがぶれていた原因は、この目標規定文を設定・意識できていなかったためだと感じた。これからは文章を書き始める前に、準備をしっかり行いたいと思う。

文の構造と文章の流れ

英語の論文では、

(a) 逆茂木型の文章を書いてはいけない
(b) 少々くどいと思っても論理の鎖の環をはぶいてはいけない

という。

逆茂木型の文章とは

文の相互の連関がパラグラフ全体を読んだあとではじめてわかるような文章
論述のわき道にいることがその話が終わってからでないとわからない文章

のような論理構成が明確ではない文章のことである。

日本語の文では、(a)の要求を完全にみたすことに多少の無理がある。また、(b)に忠実にしたがうと在来の日本語の文章のゆかしさをそこなう場合がある。しかし、理科系の仕事の文章は、(a), (b)の要請をみたすように書くべきだと本書では述べられている。

この指摘にしたがって、変な心配はせずに冗長で不必要な表現は可能な限り削っていこうと思う。書いた後に読み返してみて自分でも「ちょっと変かもしれないけど、まあいいか」という文章は、だいたいレビューで指摘されているので、もっと自分に厳しくチェックしていかないといけない。

おわりに

「理科系の作文技術」を読んで、文章の論理構成という面がとても勉強になった。論文のようなアカデミックな文書を意識している内容もあるのですべてを読む必要はないと思うが（特に9章以降）、作文の基本を教えてくれるとても良い本だった。

@terapyonからもう一冊ロジカル・ライティングという本を借りているので、次はこっちを読んでみようと思う。

ロジカル・ライティング (BEST SOLUTION―LOGICAL COMMUNICATION SKILL TRAINING)

作者: 照屋華子
出版社/メーカー: 東洋経済新報社
発売日: 2006/03/24
メディア: 単行本
購入: 4人クリック: 62回
この商品を含むブログ (66件) を見る

読書メモ

2章準備作業(立案)

2.1 準備作業の必要

理科系の仕事の文書に関しても、準備作業が必要
それを無視して、いきなり書き始めるところに、多くの失敗の原因がある

2.2 文書の役割の確認

自分の書こうとする文書の役割を確認することが第一の前提
いったい読者はこの文書に何を期待しているはずか

2.5 材料あつめ

思いつくままのメモ
図・表
- フリーハンドの図で十分

3章文章の組み立て

3.2 序論

序論の使命は読者を本論にさそいこむ、読者が抵抗なく本論にはいっていけるように準備をととのえることにある
- 読者が本論を読むべきか否かを敏速・的確に判断するための材料を示し
  - 目標規定文を第１文としてOK
- またほんとんにかかる前に必要な予備知識を読者に提供する
  - 本論の主題となる問題は何か
  - その問題をなぜ取り上げたか
  - その問題がなぜ重要か
  - 問題の背景はどんなものか
  - どういう手段によってその問題を攻めようとするのか
序論はみじかく、みじかくと心がけて書くべき

3.3 結び

いちど書いたことは再びくりかえさず、どうしても必要なことだけを書き終わった途端に文章が終わるのが通例になってきた
- 現代的重点先行主義
- 「なくてもすむことばは一つ残らず削れ」
- 客観主義

6章はっきり言い切る姿勢

「であろう」「と思われる」「と考えられる」などのあいまいな、責任回避的な表現は避けて、「自分は・・・と思う」「・・・と考える」と書くべき

8章わかりやすく簡潔な表現

8.1 文は短く

まず、書きたいことを一つ一つ短い文にまとめる
それらを論理的にきちっとつなげていく
いつでも「その文の中では何が主語か」をはっきり意識して書く
1. 主語を文字に書き表すことはかならずしも必要ではない
2. しかしいつも明確に意識していなければならない

2017-10-03

2017年9月の振り返り

仕事

設計の見直し
せっせとリファクタリング
SQUEEZE 3周年！
自社ホテル「Minn」グランドオープン！
PyCon JP 2017でダイアモンドスポンサーやってきた！

アウトプット

ブログ

イベント

音楽

N/A

映画・ドラマ・アニメ

吾輩の部屋である
- 作業片手に見るのにちょうどいいシュールさ

ラクロス

リーグ戦第6戦 vsRAGGAMUFFINS 13-5 WIN
入替戦 vsVIKINGS 10-7 WIN
プレーオフ第1戦 vsVALENTIA 8-7 WIN
いくぞクラブ選手権!!!!!

目標と成果

△ Web連載執筆
- なんとかドラフトは書けた
◯ 書籍第1章執筆
- 第1章はとりあえず書けたのでよしとする
◎ PyCon JP 2017楽しんでくる
- 準備めっちゃ大変だったけど楽しめたぞ！
- PyCon JP 2017 にスポンサー・スタッフとして参加してきた #pyconjp - massa142's blog
◎ 入れ替え戦に勝つ
- 一部復帰！最高！！
- 今年の取り組みが報われて本当によかった
◎ Perfume FES!!参戦
- Perfumeの恋ダンス最高でした

Perfume FES!! 2017 w/ 星野源 #prfm

Masataka Araiさん(@massa142)がシェアした投稿 - 2017 9月 13 2:03午前 PDT

10月に向けて

Web連載執筆
書籍の第3章執筆とサンプルアプリケーション作成
なんか本2冊読む
出社チャレンジ頑張る

徒然

9月はSQUEEZE3周年・RejectCon・PyCon JP 2017・ラクロス・Perfumeとかなり忙しかった
けやき坂スタバを知ってから執筆作業が捗りはじめてよい
10月はもっと勉強する時間を確保したい

1月

日本テレビ水曜ドラマ『東京タラレバ娘』に、あ～ちゃんが声の出演

2月

『TOKYO GIRL』リリース

3月

Perfumeオリジナル香水「PERFUME OF PERFUME」発売

4月

テレビ東京 ドラマスペシャル『パンセ』初主演

5月

WOWOW特別番組『Perfume スペシャルプログラム ～collaboration～』放送

6月

Perfume FES!! 2017 @ MAKUHARI MESSE

Amuse Fes in MAKUHARI 2017 – rediscover -

8月

『If you wanna』リリース

9月

Perfume FES!! 2017 追加公演

10月

NHK総合「内村五輪宣言！～TOKYO 2020開幕 1000日前スペシャル～」出演

11月

『Everyday』-AWA DANCE 360°VR ver 公開

Perfume×ドコモ 『FUTURE-EXPERIMENT VOL.1 距離をなくせ』生配信

『Perfume Clips 2』発売

おわりに

読書メモ

3章 リストとタプル

4章 辞書と集合

5章 イテレータとジェネレータ

6章 行列とベクトルの計算

7章 Cにコンパイルする

8章 並行処理

9章 multiprocessingモジュール

10章 クラスタとジョブキュー

11章 RAM使用量を削減する

仕事

アウトプット

ブログ

スライド

イベント

音楽

映画・ドラマ・アニメ

目標と成果

11月に向けて

目次

感想

おわりに

はじめに

PyLadies Tokyo

参加動機

LTしてきた

パーティの様子

全体を通しての感想

おわりに

読んだ動機

悩んでいたこと

勉強になったこと

目標規定文

文の構造と文章の流れ

おわりに

読書メモ

2章 準備作業(立案)

3章 文章の組み立て

6章 はっきり言い切る姿勢

8章 わかりやすく簡潔な表現

仕事

アウトプット

ブログ

イベント

音楽

映画・ドラマ・アニメ

目標と成果

10月に向けて

徒然

テレビ東京ドラマスペシャル『パンセ』初主演

WOWOW特別番組『Perfume スペシャルプログラム～collaboration～』放送

Perfume×ドコモ『FUTURE-EXPERIMENT VOL.1 距離をなくせ』生配信

3章リストとタプル

4章辞書と集合

5章イテレータとジェネレータ

6章行列とベクトルの計算

8章並行処理

10章クラスタとジョブキュー

2章準備作業(立案)

3章文章の組み立て

6章はっきり言い切る姿勢

8章わかりやすく簡潔な表現