tl;dr¶

ボトルネックはちゃんと測定して把握しないとダメだよ。

N+1問題¶

DjangoやRailsなど、ORMを利用するWebフレームワークなどの開発では、よく 「N+1問題」 というのが話題になります。ORMでは、あるモデルが参照している別のモデルを参照するとその時点でSQLが発行されてしまうため、気が付かないうちにパフォーマンスが低下する場合がある、というやつですね。

Django¶

例えば、Djangoで次のようなモデルがあったとき、

class Table1(models.Model):
    text = models

Djangoのadminユーザをメールアドレス無しで登録するOne liner¶

テスト用に適当なadminユーザ登録したいだけなのに、パスワードが甘いだのメールアドレスも入れろだの怒られてムカついたときに。

python manage.py shell -c 'from django.contrib.auth.models import User;User.objects.create_superuser("admin", "", "pass")'

[Python] jashin.dictattrで辞書の要素を属性値として参照する¶

Pythonで辞書データをたくさん扱うコードを書いていると、辞書の要素をオブジェクトの属性みたいに参照したくなることがあります。

Javascriptなんかだと、辞書でも

data = {
    'name': 'value'
}

alert(data.name)

のように、辞書.名前 で参照できますが、Pythonの場合は

data = {
    'name': 'value'
}

print(data['name'])

となり、数が多いとちょっと面倒になります。

ありがち

久しぶりに、Raindrop.ioのPython APIに手を入れてみた¶

先日から作りかけだったRaindrop.ioのPython API、久しぶりに機能追加しました。Webアプリケーションなどでも使えるように、OAuth2で認証して、トークンのリフレッシュなんかもできるようになりました。

Flaskのサンプルアプリケーションはこちら

ほんらい、どってことない作業のハズで、requests-oauthlib を使ってサクッと終了する予定でした。

しかし、どうもリフレッシュがうまく動かない。requests-oauth

[JupyterLab] macOSでターミナルのalt+キーバインディングを使う¶

先日作成して JupyterLabに送ったパッチ がリリースされていたので、ちょっと紹介します。

これまで、macOS上のブラウザでJupyterLabのターミナルを使うとき、option+f などの、Optionキーを使ったバインディングが効きませんでした。「単語右」のつもりで ⌥f を入力すると、

ƒ

などと言う文字が出てきて、大変不愉快でした。

しかし、このパッチ が取り込まれた現在のJupyter Labでは、OptionキーをMetaキー

Github actionでvenv環境をキャッシュする¶

これまで、PythonのプロジェクトでGithub Actionを使うとき、こんな感じで仮想環境ごとキャッシュしていました。

# 仮想環境を作成
  - name: Create venv
    run: |
      python3 -m venv .venv

  # 仮想環境をキャッシュから復元
  - name: Cache venv dependencies
    uses: actions/cache@v1
    with:
      path: .venv
      key: venv-${{ runner.os }}-${{ hashFiles('requ

さて、ビッグデータ全盛の昨今、数ギガバイト程度のデータのやり取りは珍しくもなんともない時代になりました。交換用データファイルのフォーマットもいろいろな形式が使われていますが、ここではPythonで一般的に使われているファイル形式を簡単に検討してみましょう。

CSV¶

昔から、単純な表形式のデータにはCSVが使われてきました。Microsoft Excelをはじめとしてさまざまなツールでサポートされており、幅広い環境で利用できます。

データの作成¶

例として10万行・100カラムのデータを作成し、CSV形式で保存してみ

Fletsのルータ設定¶

ちょっとした実験で、自宅から外部のサーバとTCP接続を試みたところ、どうもうまくつながらなくて往生してました。接続先サーバのFirewallをすべて取っ払っても届きません。

しばらく苦戦した挙げ句、ためしに他のサーバから接続してみると成功。おお？と思って、自宅のPCから試すとつながらない。自宅の回線になんらかの制限がかかっているようなので、別のポートを試してみたらあっさりつながりました。

で、自宅の環境を確認してみると、AtermもNTT Fletsのルータもデフォルトでいくつかポートを制

pythonのslackclientで非同期タスクを実行したらValueErrorになった話 で、たぶん asyncioのtaskを勘違いしてる気がするので簡単に解説。

要は asyncio.run にコルーチンではなくてTaskを渡したらエラーになった、という話ですが、このページでは、

Taskオブジェクト(asyncioが内部的にloopに委ねるときにwrapするオブジェクト)

と書かれていて、Taskオブジェクトをちょっと誤解している感じがします。このTaskの役割を理解したら納得がいくのではないかと思います。

まず

macOSでデフォルトのPATHは？¶

macOSで、デフォルトの PATH はどうやって決まってるんだろうか？

macOS Catalina 10.15.5で /etc/profile を見ると、こんな感じになっている

# System-wide .profile for sh(1)

if [ -x /usr/libexec/path_helper ]; then
        eval `/usr/libexec/path_helper -s`
fi

if [ "${BASH-no}" != "no" ]; then
        [ -r /etc/bashrc ] && . /etc/bashrc
f

WindowsでCapsLockキーをCtrlに変更するPythonスクリプト¶

管理者として実行してください。

import winreg

key = 'System\CurrentControlSet\Control\Keyboard Layout'
scancodemap = (b'\x00\x00\x00\x00\x00\x00\x00\x00\x02\x00'
               b'\x00\x00\x1d\x00:\x00\x00\x00\x00\x00')

with winreg.OpenKey(winreg.HKEY_LOCAL_MA

Ansibleで、Playbookを作らずにロールを指定して実行¶

ansible "*" -m include_role -a name=ロール名 -i ホスト名,

[Python] 正しくない global の使い方¶

Pythonは名前だらけでは、Pythonの変数も関数も結局はみんな名前、という解説をしました。この特徴を使って、Pythonのちょっとおもしろい挙動を調べてみましょう。

Pythonの変数には、グローバル変数とローカル変数があります。関数の内部で定義した変数はローカル変数、それ以外はグローバル変数となります。

global_var = "これはグローバル変数です。"

def func():
    local_var = "これはローカル変数です"

グローバル変数は同じモジュール内なら

Pythonは名前だらけ¶

Pythonでもなんでも、プログラムを書くといろんな名前が出てきます。変数名や関数名、クラス名にモジュール名。

次のコードは、100 という数値に、number という名前をつけます。

JupyterLab CMS化計画¶

私が管理するこのサイトや python.jp は MiyadaikuというSSGを使って構築しています。

記事の執筆は普通にエディタを立ち上げてMarkdownやreStructuredTextで書いていましたが、最近、JupyterLab を使うようになってきました。MiyadaikuはJupyter NotebookからHTMLを作成できるようになっており、私が書くブログ記事の執筆には最適なPythonの実行・ドキュメント環境です。

Notebook以外にも、Preview付きMar

静的サイトジェネレータ miyadaiku¶

このサイトは、静的サイトジェネレータ Miyadaiku で作っています。

miyadaikuは以前からJupyter Notebook からページを作成する機能を持っていましたが、あたらしくMiyadaikuのテーマを作成し、普通のブログっぽくノートブックを表示できるようにしてみました。

CSSを多少いじくって、Jupyterっぽさを隠しています。

このページもノートブックです。

先日、雑誌 Software Designの記事 を書かせていただいたとき、数十ページの原稿をすべて Jup