valid,invalid

関心を持てる事柄について

Python

Airflow webserverのUIがなぜ2種類存在するのか

AirflowでDAG実行時にGUI, CLI, REST APIからパラメータを渡す - valid,invalid件の調査をしていて知ったのだが、Airflow webserverのUIには2種類のUIが存在する。 利用できる機能に差分があるうえに、Airflow本体のリリースフローも初見ではわからず、やや…

AirflowでDAG実行時にGUI, CLI, REST APIからパラメータを渡す

Airflow webserver GUIの ▶️ 再生アイコンからTrigger DAGをクリックすると事前にDAG定義の内容で[DAG]が実行される。 ただ、以下のようなユースケースのために、実行するDAG(以下、DAG Run)にパラメータを渡したいことがある。 バッチによってはパラメー…

Airflow 1.10.6ではweb serverのREST APIがデフォルトで全公開されている

問題 Airflow webserverはREST APIを公開しており、DAGの参照や作成などが可能となっている。 # 疎通確認 $ curl 'https://your.domain/api/experimental/test' {"status":"OK"} 1.10.6のデフォルトの設定では破壊的操作を含むAPIを認証なしで全公開するinse…

PyPIにMarkdown Serverを公開した

公開した話 『Pythonプロフェッショナルプログラミング第2版』の Chapter 03 Python プロジェクトの構成とパッケージ作成を読んでいたら自分の作ったアプリも公開したくなった。 そこで、先日作ったMarkdown->HTML変換WebアプリをPyPIに公開してみた。 markd…

Pythonのダミーデータ生成ライブラリfakerにPull Request送ってみた

テストデータが欲しくて自動生成ライブラリ使おうとするけど、要求に微妙に沿ってなかったりして結局本番に近いデータでテストしたい、ってことがよくある。 けど本番環境だと当然個人情報などのセンシティブなデータが含まれるのでマスクが必要になる。 そ…

PipでGitHubからパッケージをインストールする

$ pip installしたけどGitHubにコミットされてる内容が含まれてなかった。 PyPIにまだリリースされていないらしい。 そんな時には下記コマンドでGitHubから直接インストールできるとのこと。 $ pip install git+[URL] 今回ハマったのはfakerというライブラリ…

Pythonのpyenv, virtualenvで仮想環境を構築する

新しくPythonプロジェクトを立ち上げる時にvirtualenvを使って仮想環境を構築するやり方をいつも忘れるのでメモ。 前提 下記インストール済みの前提で。 pyenv virtualenv 使用したいバージョンのPython 手順 仮想環境を構築したいディレクトリに移動する。 …

MarkdownをHTMLに変換するWebアプリをPythonで作ってみた

MarkdownファイルをHTMLに変換して、text/html形式でレスポンスするだけのシンプルなWebアプリケーションをPythonで作ってみた。 ohbarye/markdown-servergithub.com 詳細はQiitaに投稿してみた。 MarkdownをHTMLに変換するWebアプリをPythonで作ってみた - …