2020-10-01から1ヶ月間の記事一覧
AirflowでDAG実行時にGUI, CLI, REST APIからパラメータを渡す - valid,invalid件の調査をしていて知ったのだが、Airflow webserverのUIには2種類のUIが存在する。 利用できる機能に差分があるうえに、Airflow本体のリリースフローも初見ではわからず、やや…
Airflow webserver GUIの ▶️ 再生アイコンからTrigger DAGをクリックすると事前にDAG定義の内容で[DAG]が実行される。 ただ、以下のようなユースケースのために、実行するDAG（以下、DAG Run）にパラメータを渡したいことがある。 バッチによってはパラメー…
問題 Airflow webserverはREST APIを公開しており、DAGの参照や作成などが可能となっている。 # 疎通確認 $ curl 'https://your.domain/api/experimental/test' {"status":"OK"} 1.10.6のデフォルトの設定では破壊的操作を含むAPIを認証なしで全公開するinse…
仕事で利用しているライブラリがSorbetを使っており、sorbet-runtimeをupgradeするdependabotのpull requestsがバリバリ供給されてくるのでもう少し中身を知っておきたいと思って公式ドキュメントを拾い読みしたりしたメモと所感。 ドキュメントではStripe社…
