valid,invalid

関心を持てる事柄について

『CPUの創りかた』でCPUの設計と動作原理を学んだ

コンピュータシステムの学習の一環として『コンピュータシステムの理論と実装』 (通称Nand to Tetris project) を進めているのだが、Nand to Tetrisの課題ではハードウェア記述言語を使ってハードウェアをコードとして表現し、あくまでエミュレータ上で回路を実行するので現実のハードウェアに関するイメージがリアルに湧かなかった。

それでも学習には大いに役立っているのだが副読本として『CPUの創りかた』を読んだ。工作はしていないのであしからず。

CPUの創りかた

CPUの創りかた

実際にパーツを用いながらCPUを構築していくマジモンの電子工作本なのでテスター(電圧を測定するやつ)や部品の準備から始めていく。制作のために実際の製品やメーカーの名前が挙がるのでコンピューターを支えている企業に思いを馳せることができる。

前半は電子工作に関する記述が中心なのでソフトウェアエンジニアがCPUの動作原理や設計について詳しく知りたい場合はChapter 6以降を中心に読むと良さそうだ。機械語の知識、CPUのbit数とは何か(演算やデータ移動の単位が決定する)、CPUの命令フォーマットの設計、ジャンプ命令の実装方法、フリップフロップ、加算器、命令デコーダなど専門的な内容が盛りだくさんではあるが軽妙な文体なのでわりとサクサク読める。

本書の最後のほうで「実際にはこのように細かい部品を組み合わせてCPUを設計・実装することは現代ではほぼない*1とハッキリ言っているが、あとがきにある「ブラックボックスを1つ減らす」のはとても価値があるし何より面白い。


もともと工作する気はなかったのだけど、実際に組んでみた方々を見ていたらやりたくなってきたのでそのうちやるかもしれない。

www.youtube.com

*1:ロジックをプログラムで制御できる[CPLD https://ja.wikipedia.org/wiki/CPLD]を使う

Courseraで"Algorithms, Part I"を修了した

アルゴリズムの学習の一環としてCourseraの "Algorithms, Part I" を完了した。

www.coursera.org

先日アルゴリズムに関する学習教材を探していた折、同講座に関する満足の声を見かけたのでやってみることにした。(英語のレビューは上記ページに載っている)

時間はかかったが全課題を及第点以上で完了できた!!

"Algorithms, Part I" とは何か

Princeton大学がCourseraで公開している、アルゴリズムに関する講座である。Part I, IIの2つの講座があり、Part Iでは基本的なデータ構造、ソート、および検索アルゴリズムを扱う。本記事ではPart Iの話をする。*1

コースの説明には "This course covers the essential information that every serious programmer needs to know" という強い言葉が書かれており、今すぐやれと煽られている気がしてくる。

この講座の公開は2012年頃とのことだが実に基礎的な領域を扱っているので教材としての価値は2020年でも全く衰えていなさそうだ。むしろ半世紀を超えてなお現役だったりするアルゴリズムたちを学ぶことで、廃れることなく有用な知識とは何であるかということを改めて考えさせられる。

無料

この講座は動画の視聴〜課題の採点まですべて無料。ただし修了証明書の発行はなし。

満足度がすごく高いのでお金を払いたいぐらいなのだが…。

講師

動画の講師はRobert Sedgewick先生。講座内容はセジウィック本(英語圏ではアルゴリズム解説の定番書とのこと。600ページ超のなかなか重そうなやつ)をベースにしている。

英語字幕は全編にわたって存在する。ちなみに日本語字幕は一部講座のみにしか存在しないのであてにしないほうがよい。

ボリューム

公式には "Approx. 53 hours to complete" と書かれている。自分の場合は57.5時間かかった。

「動画を見る -> 課題を解く」

のシンプルな構成を素直にやったわけではなく、

「動画を見る -> 英語or内容が理解できなければ巻き戻す -> 理解できた内容をノートに書く -> 課題を解く」

のように丁寧に学習した。課題は平均して6.5時間ぐらいで終えたと思う。((各週に用意された課題1つ解く目安が8時間とあるので課題だけでも8 * 5 = 40時間かかる計算のようだ))

私とJavaIntelliJ

課題はすべてJavaで提出する。

5年以上Javaから離れて過ごしてきたので不安だったが、IntelliJ IDEA Community Editionとプロジェクトファイルが提供されるので環境構築で躓くことはなかった。format on saveとか、findbug on compileとかも入っていた。

課題を解く上で要求されるJava自体の知識というのはほとんどなく、条件分岐やオブジェクト指向など一般的なプログラミングの知識があればあとはJavaの記法を調べてコードに落とし込むだけだった(まぁそれでいらいらすることもあるのだが…)。実装対象のクラス名やpublic APIは指示があるし(従わないと採点不可になる)、IteratorやComparetorなどで込み入った実装をする際には記法のサンプルが提示されている。

動画内でのセジウィック先生の解説もJavaベースだが、こちらもJavaの練度が理解を大きく左右するような箇所は殆どなかったと思う。

良かった点

実践的で頭を使う課題

Week 6を除きすべての週に課題が用意されており、これが非常に良かった。解説したアルゴリズムをそのまま記述しろというようなお勉強ぽい内容は少なく、「現実世界ではこのような問題を解くのにアルゴリズムが使われるぞ」というのを実感できる内容が多かった。

また、APIデザインを変えずに内部実装の工夫で高速化や効率化を測る工夫が求められるのも良い。現実でもそういうシーンがしばしばある、と語っておられた。

ナイーブな実装では要求するパフォーマンスを満たせ無いことが多い。採点では何よりも正しく実装することへの配点が大きいものの、パフォーマンスやメモリ使用量に関するペナルティでもしばしば減点される。

ちなみに課題採点は完全に自動化されておりいつでも何度でも提出ができるし、ローカルで実行可能なテストデータも提供される。

(どんなに質の高い講義動画であってもずっとPCの前で話を聞くだけだと眠くなってしまうので手を動かす課題のほうが面白いというのもある)

解説が丁寧

科学的なパフォーマンスの解析に焦点をあてる、とコースの説明に書いてあるのだが予想以上に丁寧だった。

ざっくりとした計算量オーダーを見積もって終わるのではなく最悪実行時間、償却実行時間、期待実行時間それぞれについて時間を割いているので知っているつもりのアルゴリズムの違う側面が見えたりする。

応用事例に広く触れている

学ぶ内容は基礎だが、各種データ構造とアルゴリズムの応用事例に触れていることが多く、全体的に応用への強い意識を感じる。

たとえばStackの利用シーンとしてJVM, エディタのUndo, ブラウザのバックボタン, コンパイラにおける関数呼び出しの管理を挙げたり、Priority QueueについてはイベントドリブンなシミュレーションやゲームAIの話になったり。

全6週をおさらい

学んだ内容を軽くおさらい。

解法までは書いていないが課題についても触れるので一切の事前情報なしに挑戦したい人は一番下の「まとめ」まで飛ばしてほしい。

Week 1: Union-Find, アルゴリズムの解析

前半ではUnion-Findを扱う。要素のグループ分けを木構造で管理するデータ構造です…みたいなことを言われてもフーンという感じだが、この講座では「Quick Find -> Quick Union -> 改良版Quick Union」の順に実装を詳解し、アルゴリズムの問題点の指摘から計算量の劇的な改善に至るまでを俯瞰する。

「コンピュータの速度がいかに早くなろうともアルゴリズムの強力さは一切失われず、それどころか、扱うデータや人々の性能への期待が増え続けるのでより重要にさえなっていく…」というようなことをSedgewick先生がたびたび言うのだが、冒頭からそれを言葉でなく心で理解できるようにしている講座設計が非常に良かった。

課題

講義で解説したUnion-Findはライブラリとして提供されるので、それを利用してpercolationを扱う課題。*2

f:id:ohbarye:20200510203037p:plain
https://coursera.cs.princeton.edu/algs4/assignments/percolation/specification.php より引用

盤面にランダムに穴を空けていったとき、何回の操作でpercolationが発生するかをモンテカルロ法で求める。

Week 2: Stack, Queue, 基礎的なソートアルゴリズム

StackとQueueという基本的なデータ構造の解説。

『みんなのデータ構造』でデータ構造の基礎を学んだ - valid,invalidにも書いたのだが、基本的なデータ構造のインタフェースと性能を知るだけでなく内部実装の違いを学べるのが面白い。

課題

双方向キューのDequeとRandomizedDequeの実装を行う。

インタフェースを理解したうえでリストで実装するか、配列で実装するかなどを考慮する。

また、配列で実装する場合には性能要件を満たすためにresizeの実装を工夫する必要がある。

Week 3: Mergesort, Quicksort

主要なプログラミングの内部でも多く使われているマージソートクイックソートに関しては詳細な解説があった。

重複キーが存在するケースの性能や安定ソートの問題に触れたり、データ型の定義とソート処理ロジックの分離(ソート条件ごとのComparatorを用意する)など。

クイックソートの応用で重複するデータを検査せずに分割を完了することができるDijkstra's 3-way partitioningなど、発展的な内容も一部あった。

課題

平面内にあるn個の点から4つ以上の点を接続するすべての線分を見つける課題。パターン認識の基礎。

f:id:ohbarye:20200510203157p:plain
https://coursera.cs.princeton.edu/algs4/assignments/collinear/specification.php より引用

まずBruto forceで解いて、次にソートを上手く利用して高速化するよう促される。

安定ソートの問題に直面する。

Week 4: Priority Queue, Symbol Tableの基礎

Stack, Queueと違い、追加順ではなく最小または最大の要素をremoveするPriority Queueを扱う。内部実装の解説でヒープについても触れる。

ヒープの要素が整列される様子がアニメーションで解説されるのだが、Sedgewick先生がピーターの法則に言及していたのが面白かった。

課題

スライドパズルをPriority Queueを使って解く。

f:id:ohbarye:20200510203254p:plain
https://coursera.cs.princeton.edu/algs4/assignments/8puzzle/specification.php より引用

これはなかなか難しかった。基本的には幅優先探索なのだが、各盤面がどれだけゴールに近いかを評価して高速化を図るのが工夫のしどころ。

このように評価関数(ヒューリスティック関数という)を導入するA*アルゴリズム自体は知っていたのだが、ほんの少し関数をいじるだけで実行速度が段違いになるというのは手を動かさないとなかなかイメージできなかったので良い演習になった。

Week 5: Balanced Search Tree, Geometric Applications of BSTs

テーマはBST全般だが、この講座の白眉であるRobert Sedgewick先生が研究していた赤黒木の解説が遂に来る。

実際、赤黒木の解説は力が入っていると感じた。他の動画はたいてい10~20分なのに赤黒木の説明動画だけ35分もある(確かに木の操作とか説明に時間がかかる内容ではあるが)。

Sedgewick先生が赤黒木の論文を書いたのが1979年、大学の講義で赤黒木を扱う中で2007年にさらに改良された実装を見つけたという話と、"there are simple algorithms still out there waiting to be discovered and this is one of them that we're going to talk about." という言葉はグッときた。

課題

平面上で最も近い点を求めたり、図形の中にどの点が含まれているかを検出する。

f:id:ohbarye:20200510203505p:plain
https://coursera.cs.princeton.edu/algs4/assignments/kdtree/specification.php より引用

この課題ではKd-treeというデータ構造を用いる。このデータ構造は講義の動画を見るだけではあまり理解できなかったのだが、実際に課題でアルゴリズムを書く中でようやく理解できた。

また、一見すると木構造とは関係なさそうな平面や立体上の問題も木構造に落とし込むことで強力なアルゴリズムを活かすことができるという学びもあった。

Week 6: Hash Table, Symbol Tableの応用

最終週の主な内容はHash Table。衝突回避の方法としてSeparate chainingとLinear probingの両方を学んだり、Hash TableとBSTのどちらを使うべきかを考察したり、脆弱なハッシュ関数が起こした過去の問題などについても触れた。

最後のSymbol Tableの応用では現実のアプリケーションとの関連を解説。ここはこれまでの内容を深堀りするのではなく事例紹介という感じ。

最終週の課題はなくてちょっと寂しかった。

まとめ

アルゴリズムの基礎をしっかり学びたい」という自分の要求に照らし合わせると素晴らしい教材だった。

すでに学んだ経験がある人の復習に適しているかはわからないが、理解度を試すためにプログラミング課題に挑戦してみるのは面白いと思う。

真面目にやると50時間以上かかるボリュームがあるので怖気づくが、「コンピュータサイエンスを専攻した人はこのレベルの内容を学部4年間で修了している」と思えば追いつくには時間をかけるしかない。短期間で知識を身に付けるには単に量をこなすだけではなく質も大事なのでこうした有用な教材に積極的に挑戦していきたい。

より発展的な内容にフォーカスする "Algorithms, Part II" にはまだ着手していないが2020年内には終えるぞ!!

*1:Part IIでは、グラフおよび文字列処理アルゴリズムに焦点を当てているようす

*2:percolationは直訳すると浸透だがあくまで抽象的なモデル。図だと上から下に水が流れる様子だったりするが、通電などをイメージしてもよいかもしれない。

『みんなのデータ構造』でデータ構造の基礎を学んだ

データ構造とアルゴリズムの学習の一環として『みんなのデータ構造』を読んだ。これまでで最も良いデータ構造の学習になった。

みんなのデータ構造

みんなのデータ構造

  • 作者:Pat Morin
  • 発売日: 2018/07/20
  • メディア: 単行本(ソフトカバー)

日本語訳がWebで公開されているので気になる方は無料で読める。が、著者や訳者や出版社応援の意味も込めて購入すると良いと思います。また、ラムダノート社のサイトから買うと紙書籍と電子書籍のセットがお得。

内容

データ構造とアルゴリズムに関連する本はアルゴリズム寄りのものが多いが、データ構造に焦点を当て続けていることが本書の特色。

f:id:ohbarye:20200510154321p:plain
内容の依存関係 p.21より

大学の教科書のように、正確性を優先したハードコアな内容。

アルゴリズムの内容も少しだがある。「11章 整列アルゴリズム」ではそれまでの章で学んだデータ構造がどのように使われるかを一瞥でき、「12章 グラフ」では深さ優先探索幅優先探索を扱う。また、各データ構造の応用・発展や実世界との照合も各章の末尾に添えられている。

自分の読み方

すでに理解しているデータ構造は一部あったが、メモを取ったり写経したりを経て通読するのに14時間ほどかかった。

理解が及ばない部分や、訳者まえがきで重要性があまり高くないとされていた一部(スケープゴート木とかトライ木とか)は読んだものの完全理解する前に先へ進んだ*1

練習問題は全部やるとかなりハードなので1周目では問題を眺めつつ解法を想像するぐらいにして、2周目に復習としてやるぐらいが良いと思った。

数学

計算量の解析や定理の証明部分はけっこうハードコアで高校数学を復習しないとかなり厳しそうであった。最初は数式と向き合っていたがやりたかったデータ構造の学習から逸れそうなのでほどほどに読み飛ばすことにした。

苦しんだ一方、データ構造とそれを支える数学的背景の理解のために自分が数学のどの分野を学習すればよいのかが見えてよかった。特に確率論が弱い。

言語

本書に掲載されているコードはすべてC++だが、他言語でのプログラミング経験者なら書籍に掲載されているコードがC++であることは問題ない。

(2020-05-10 22:56 JST 追記) 訳者の方から他言語の実装や擬似コードもあるとのご指摘いただきました。ありがとうございます!

C++をメインの言語として利用していない自分にとってはむしろ、C++で書かれたアルゴリズムを慣れた言語に落とし込むことでより頭を使う写経になって良かった。

助教

本書は図とコードを豊富に載せているが、それでも挙動がピンと来ない場合はデータ構造やアルゴリズムの名前で検索したり、以下のサイトでアニメーションを見て視覚的に理解することに努めた。

yutaka-watanobe.github.io

visualgo.net

また、同時期に視聴していたCourseraのアルゴリズム講座で同種のデータ構造*2に出くわしたり、Courseraの課題を解く際に本書を参照したり、相互に補完しあって理解を深めることができた。同講座に関する感想は以下の記事にまとめた。

ohbarye.hatenablog.jp

印象に残ったところ

印象に残ったところの感想を少しだけおさらい。

「2章 配列を使ったリスト」「3章 連結リスト」

さすがにStackとかQueueとか理解しているだろと思って読み始めたところ、自分が理解しているのは抽象・インタフェースとしてのデータ構造とその使い方であって、内部実装まではイメージできていなかったことがわかって序盤から引き込まれた。

同じインタフェースでも内部実装を変えることで処理時間やメモリ効率が変わるのは当たり前のことなのだがそのプリミティブな実装を複数並べて比較することができて面白い。

「4章 スキップリスト」「5章 ハッシュテーブル」

スキップリスト、ハッシュテーブル、Treap、クイックソート等々…ランダム性を扱うデータ構造やアルゴリズムのかっこ良さが心で理解できた。

「6章 二分木」「7章 ランダム二分探索木」「9章 赤黒木」「10章 ヒープ」

木が多すぎてもはや森。

赤黒木の代償として実装が複雑という話が出てきており、これはSedgewick先生がCourseraの講座でも言っていたことを思い出した。特に2008年のLeft-Leaning Red Black Treeの発表以前、とあるデータベースプロバイダが赤黒木の削除の実装を誤ったために障害を起こしたという話。(木の高さを常に一定に保つことが保証されていないHibbard deletionを採用したので木の高さが高くなりすぎ、再構築のためにシステムダウンするほどだった)

「14章 外部メモリの探索」

B treeとデータベースの話がC言語でSQLiteのクローンを作るチュートリアルやった - valid,invalidで学んだ内容とリンクしており、知識の点が線になった感覚があってよかった。

感想

業務にて行き当たりばったりでデータ構造を学んできた身からすると、このように正確性を重視しつつ体系立てて基礎を学べる一冊があるのはありがたい。

この本で扱うのはシンプルなもののみだが、実世界のソフトウェアの骨子はシンプルなデータ構造の組み合わせでできているから、本書の内容を理解することは良いソフトウェアエンジニアになるために有用だ(本書の訳者まえがきより)…という主張もグッときた。

自分同様にデータ構造の基礎を学習したい人には無条件でおすすめする。

*1:本書の訳者まえがきにて、わからない部分は飛ばしてもよいとの言があり、勇気づけられる

*2:特にRed Black Treeは本家のSedgewick先生の解説が聞けるのでCourseraの講座を圧倒的におすすめしたい

『アルゴリズム図鑑 絵で見てわかる26のアルゴリズム』読んだ

目次を見て新しく学ぶことは少なさそうと思ったが、アルゴリズムの勉強を本当に初歩の初歩から始めようと思って読んでみた。

事実そんなに多くなかったものの「第4章 グラフ探索」「第5章 セキュリティのアルゴリズム」あたりは説明しろと言われたら答えに詰まりそうなところだったので良い復習になった。

コードも全く出てこないのでコレ一冊でアルゴリズム力が上がるというものでもないのでそこを求めるなら本書以外での演習が大事。この本に乗っているA*とかが自分にとってはまさにそうで、評価関数ちょっといじるだけで実行速度がそんなに変わるか?とかはコードを書いてみて確かめてみないと実感が湧かない。

とはいえ、図解は非常に丁寧でわかりやすいので、もし誰かにアルゴリズムを教えるとしたらこの本を見せながら話すと良いかもしれない。

Google Code Jam 2020 Round 1敗退

Googleが主催する競技プログラミングの大会 "Google Code Jam" に参加し、Round1で敗退しました。

codingcompetitions.withgoogle.com

Qualification Round (予選) -> Round 1 -> Round 2 -> Round 3 -> Final Round の5ステップがあるので、2つ目での敗退。先は長い。

Qualification Round

予選は30点以上の獲得で突破が確定します。 例年だと30点獲得には最初の2問を正解すれば良さそうだったのですが、今年は2問解くだけでは届かない配点になっていました。

f:id:ohbarye:20200503114239p:plain

43点での突破でした。

Round 1C

1500位以上で通過のところ、4559位での敗退でした。

1,2問目で得点したときに順位表を見ると1500位以内にいたので逃げ切れるかと思ったけど全くそんなことはありませんでした。最低でも2完していないと届かないランクだったので壁は高い。

f:id:ohbarye:20200503113941p:plain
最も輝いていた瞬間

全体的に問題を読み解くのが大変だったのでDeepLにめっちゃ頼りました。

来年はRound 1通過を目指すぞ!!

競技プログラミング始めた

今年の1月にAtCoderを始め、3ヶ月強ゆるく続けてきてようやく緑コーダーになりました。始めて半年以内には到達したいとぼんやり思っていたので良かった!!

動機

職業プログラマとして働いて5年以上経つわけだけどいまだに胸を張って「プログラミングが得意です」と言い切れない煮えきれなさがあり、これはなんだろうと考えていました。

ここでいう"プログラミングが得意"ってそもそもなんやねんというのはあるが、自分の中では「課題を見つけたり解決したり、ビジネスロジックをじっくり議論して考えつつ特定言語やフレームワークの上で実現していくスキル」、事業会社でWebサービスを開発していく中での中核となるスキルとは別で、前提条件と課題が与えられたときに論理的・数学的な思考によって手段を発想してスッとコードに書き起こせるような能力をイメージしています。

もちろんそれだけがプログラマとして必要なスキルではないことは承知しつつ、そういうことができる人を見て「この人プログラミング得意だな」と感じているので自分の中ではそのへんの欠乏感がありました。

そう思いつつ数年が経過した折、Quipperに競プロ勢の方が入社(現在青コーダー)し、社内で毎週競技プログラミングの練習をしているのを見かけて「これじゃん」と。

言語

最も手慣れたRubyで書いている。Rubyでこれまで使ったこと無いビルトインの機能を使ったり、業務で書くような可読性寄りのコードを書いたら計算量多すぎてTLEしたりして面白い。

「同じロジックを書いてもC++ならACするがRubyだと通らない」みたいなこともたまにあるようだけどその域には達していないのと、どんな言語でもACできないことは無いので言語は言い訳にならない。

公式や野良の解説は主にC++なので、文法を読める程度にしたりSTL (Standard Template Library) をさらっと眺めて写経したりしたがまだコンテストで使えるレベルではない。

今後

プログラミング得意ですと言えるようになるためこれからも続けていくが、そろそろ真面目に数学やアルゴリズムを学習していかないと伸び悩みそう。

当面は「2020年内に水色コーダーになる」のを目標とする!!

既存のRESTish APIエンドポイントにOpenAPI定義を足していく試み

昨年、とあるアプリケーションのフロントエンドリニューアルプロジェクト*1の際に取り組んだ課題について書きます。Ruby, Railsの話が出てきますがRESTish APIの定義をどのように管理するかAPI定義が存在しない既存アプリケーションにどのようにドキュメントを足していくかという課題については言語・フレームワークを問わない内容です。

同プロジェクトでは以下のような状況であり、既存のAPIエンドポイントに関する情報をなんらかの形で提供したいというのがモチベーションでした。

  • Single page applicationやモバイルアプリのバックエンドとして動作するRESTish API server (Rails) が存在する
  • API serverの各APIエンドポイントに関するドキュメントが存在しない (または存在するが実装と一致しているか不明で信頼性が低い)
  • フロントエンドエンジニアはAPIの仕様を知らない、かつAPIのコードリーディングには時間がかかる

欲しかったものは「APIのin/outについてきちんと"型"が定義されていること」「実装と乖離していないことの保証」「定義が常に参照可能であること」でした。

やったこと

OpenAPI 3の採用

フロントエンドエンジニアが最も慣れていて、かつ習得難易度とかエコシステムとか考慮して今後の運用にも耐えうるであろう記述形式としてOpen API 3を選択しました*2

OpenAPIはWeb APIの仕様の記述形式です。または関連する周辺ツールです。かつてSwaggerと名乗っており今もその名を関した周辺ツールがたくさん残っていますが、現在はOpenAPIという名前でバージョン3が公開されています。バージョン2と3でだいぶ差がありますが、本記事ではOpenAPIというときにバージョン3を指すことにします。

OpenAPI 3によるAPI specificationの定義

同プロジェクトで必要とされたAPI群の定義をゼロから手動で書き起こしました。

初っ端から非人道的な話ですみません。自動化の道を探ったほうが良さそうにも一見思いました…が、自分もまったく詳しくないエンドポイントたちの中身を知らずに提供するのは望ましくない状況だったので、各エンドポイントのコードリーディングをしたりリクエストを投げて挙動を確認したりしながら書き起こすことで理解を得ました。

また、その過程で既存APIのバグ改修やパフォーマンス改善を行うこともありました。

定義が実装と乖離しないようにする

もともと存在していたYARDコメントがまさにそうだったのですが、記述形式がなんであろうと実装と乖離することが保証されていなければ信頼性は保てません。定義通りにAPIが動くことを継続的に検証する必要があります。

Rubyではcommitteeというgemがあり、これを利用してOpenAPI定義 (JSON or YAMLのファイル) に違反する挙動を検出できます。

また、既存APIに対して後追いで人間が記述する場合、その暖かみのある定義が間違っていないかどうかの検証にもなります。

テストで実装を検証する

committeeにはrequest validation, coercion, test assertion, stub機能などありますが同プロジェクトで使った機能はCommittee::Middleware::ResponseValidationのみです。これは名前の通りRack middlewareであり、アプリケーション(この場合は我々が提供するAPI server)のレスポンスを検証します。

test assertionをすべてのテストに都度書いていくのは面倒なため、API定義が書かれているすべてのエンドポイントについて自動的に検証を走らせるようにしています。OpenAPIによる定義が書かれていない場合は検証は行われません。

# config/environments/test.rb
Rails.application.configure do
  config.middleware.use(Committee::Middleware::ResponseValidation, schema_path: Rails.root.join("openapi/index.yaml"), raise: true)
end

committeeではエラーを検出した際のハンドラを自前で書くこともできますが、ここではシンプルにraise: trueを指定することでテストが単にfailします。たとえばこのようにテスト中にとあるエンドポイントにリクエストを発行するケースがあるとします。

describe "#GET /:language/api/users/:id", type: :request do
  let(:user) { create(:user, username: "butcher") }

  subject { get "/ja/api/users/#{user.id}" }
  
  it "returns 200" do
    subject
    expect(response).to have_http_status(200) 
  end
end

テストケースとしてはstatus codeを検証しているのみですが、middlewareがレスポンスを検証し、違反を見つけたら以下のようなエラーを吐きます。

  1) #GET /:language/api/users/:id
     Failure/Error: subject { get "/ja/api/users/#{user.id}" }

     Committee::InvalidResponse:
       true class is TrueClass but it's not valid integer in #/components/schemas/User/properties/is_teacher
     # ./spec/requests/api/users_spec.rb:160:in `block (3 levels) in <top (required)>'
     # ------------------
     # --- Caused by: ---
     # OpenAPIParser::ValidateError:
     #   true class is TrueClass but it's not valid integer in #/components/schemas/User/properties/is_teacher
     #   ./spec/requests/api/users_spec.rb:160:in `block (3 levels) in <top (required)>'

注意事項としては、この検証はrack middleware層で行っているのでcontroller specでは実行されないということです(もちろんrack middlewareレイヤも込みで動くrequest spec, feature specでは実行されます)。今どきcontroller spec…*3?とお思いかもですが古いアプリケーションらしく一部はcontroller specが生き残っていたのでこれを機にガッとrequest specへ書き換えたりもしました。

これでテスト実行時にOpen API specificationと実装の乖離に気づけるようになりました。

…本当でしょうか?

実はこの検証だけでは実装との乖離を完全に防ぐことはできません。用意されたテストデータに対してしかテストを行っていないためです。たとえば上記コードでは user というテストデータを生成してそのデータに基づいてレスポンスを返すAPIを検証していますが、もしこのデータが変わったとしてもAPIが定義通りに動くことは保証しません。開発者が想定した正常系ド真ん中のテストデータによってしか動かない可能性もあります。

ステージング環境での違反検出と通知機構の整備

開発者が想定していないデータをカバーしたいときや、レスポンスのパターンが複雑でテストデータを用意しきれないようなときはどうすれば良いでしょうか。

そのような場合はテストですべてをカバーしようとするのではなく、実際に動くアプリケーション or "リアル"に近いデータ or "リアル"に近いリクエストで検証するアプローチが有効です。

一例として、QAやプレビューとして利用するステージング環境*4Committee::Middleware::ResponseValidationを有効にします。ただし、違反検出時にstatus code 500を返すと他の開発者や社内ステークホルダー諸氏が困るので「定義違反は検知するがレスポンスには手を加えず素通りさせる」「API開発者が気付けるように検知した違反の通知機構を作る」ようにします。

# config/environments/production.rb
Rails.application.configure do
  if ENV["USE_COMMITTEE_RESPONSE_VALIDATION"]
    config.middleware.use(
      Committee::Middleware::ResponseValidation, schema_path: Rails.root.join("openapi/index.yaml"),
      error_handler: -> (ex, env) { Raven.capture_exception(ex, tags: { committee_response_validation: true }) },
      ignore_error: true,
    )
  end
end

ステージング環境はRAILS_ENV=productionの前提でconfig/environments/production.rbに設定を記述しています。middlewareのoptionとしてignore_error: trueによって「定義違反は検知するがレスポンスには手を加えず素通りさせる」を、error_handler: -> (ex, env) { Raven.capture_exception(ex, tags: { committee_response_validation: true }) }によって「API開発者が気付けるように検知した違反の通知」を実現しています。この例ではSentryにエラーを通知しています。

f:id:ohbarye:20200428214538p:plain
Sentryへの通知をSlackに流す

ステージングとはいえ用意されたテストデータよりも遥かにバリエーションがあるのでこれにより実装のバグやOpen API定義の間違いなどに気づくことができました。

書き忘れましたが、ステージング環境のDBのデータがproductionのdumpをリストアしてマスクしたものであればさらに盤石です。テストする環境が本番に近ければ近いほどより信頼性の高いテストができるというわけです。

Kent C. Dodds先生の発言を思い起こさせます。

Swagger UIでいつでも参照できる状態にした

記述したAPI定義の参照容易性は大事です。

JSONまたはYAMLは定義そのものですが人間にとって可読性が高いものでは有りません。なのでdevelop branchが自動的にデプロイされるたびにSwagger UI (Open APIのviewer) で最新の定義がCOOOLな感じで見られるようにしました。

f:id:ohbarye:20200428215837p:plain
Swagger UIはこういうやつです

swaggerapi/swagger-uiのdocker imageを使っています。

おわりに

当初のゴールに対して以下のようにアプローチを行い、既存のRESTish API serverのドキュメント事情が"無"だったところを整備しました。

  • APIのin/outについてきちんと"型"が定義されていること」 <= 何もなかったところにOpenAPI定義を書いた
  • 「実装と乖離していないことの保証」 <= テストで実装を検証する + ステージング環境での違反検出と通知機構の整備
  • 「定義が常に参照可能であること」 <= OpenAPI viewerの提供

そして次にゼロからRESTish APIサーバを立ち上げるプロジェクトがあればSchema Firstでやっていく強い気持ちを得ました。

また、同プロジェクトにおいてやってないこと、今後やれそうなこととしてはコードの自動生成、OpenAPI specificationの自動生成 (from YARD to OpenAPI, grape-swagger)、検知した違反の自動修正等が挙げられます。これらも面白そうですがまた別のお話。

*1:https://speakerdeck.com/ohbarye/migration-from-react-native-to-pwa に詳しいです

*2:実質RESTish APIに関する形式としてはデファクトといっても良いと思います。API Blueprint, RAML...懐かしい名だ

*3:https://everydayrails.com/2016/08/29/replace-rspec-controller-tests.html

*4:production環境で検証するというハードコアな道もありますが一歩間違えると大惨事なのでまずはステージング環境から始めると良いと思います