11月9日、Earthly.devが「Lessons learned when hiring engineers in the age of AI」と題した記事を公開した。AI全盛期におけるエンジニア採用で実際に得られた知見と、現在の選考プロセスの設計について詳しく紹介されている。
結論から言う：ホワイトボード面接は死んでいない
AIを使って1時間でアプリを作れる時代に、コーディングテストに意味はあるのか——この問いに対して、Earthly.devが出した答えは「AI面接はスクリーニングに過ぎず、真の実力を測るには従来型の問題解決テストが依然として有効」というものだ。
この記事が面白いのは、「AIを使わせてみれば実力がわかる」という直感が、実際の採用経験によって否定されている点にある。
AI面接でわかること、わからないこと
フロンティアモデル（GPT-4oやClaude Opusクラスの、現時点で最も高性能な大規模言語モデル）は、短時間のアプリ構築演習においてすでに「思考の大半を代替できる」レベルに達している。候補者のプロンプト操作をリアルタイムで観察することはできるが、完成したアプリが「優れたソフトウェアエンジニアリング能力」を証明することにはならないという。
AI面接の有用性は「エージェント型のコーディングツールをほぼ初めて触る候補者をふるい落とす」程度にとどまる。ほとんどの候補者はこのラウンドを通過する設計になっている。
さらに問題なのが、「AIワークフローを説明してください」という質問が機能しないことだ。初心者も上級者も、言葉だけだと区別がつかない。
「私のメインのエントリポイントです」「チケット管理にAIを使っています」「並行してセッションをたくさん走らせています」
こうした発言は、熟練者も初心者も同じようにする。実際に使っているところを見なければわからない、というのが同社の結論だ。
AI面接の実践的な設計
最も効果的なスクリーニング質問として紹介されているのが、シンプルな一問だ。
「あなたがメインで使っているAIモデルは何ですか？」
候補者プールの中では、答えが特定のフロンティアモデル（Claude OpusやGemini 2.5 Proなど）でなければ、AIワークフローラウンドで落ちる傾向が強かったという。続けて「現在の会社のAI利用ポリシーや予算上限は？」と聞くことで、候補者がトップクラスのモデルを十分に使い込んできたかどうかの背景を把握できる。
月200ドル（約3万円）以下のAI予算で働いてきた候補者は珍しくなく、それが実力ではなく環境の制約によるものかを見極める必要がある。
また、スキルや自動化の設定に凝りすぎる候補者ほどパフォーマンスが悪い傾向があった。フロンティアモデルは余計な設定なしでも動くため、過度な"儀式"がむしろ足を引っ張る。
「優秀さ」を測るための従来型テスト
ここが記事の核心だ。AIなしの従来型面接ラウンドについて、同社は次の3点を見ている。AI面接が「スクリーニング」にとどまるのに対し、この段階こそが実質的な選考の軸となる。
① 未知の問題に対する問題解決力
LeetCode的な暗記を必要としない、初見のアルゴリズム問題を出す。目的は知識テストではなく、「知らない問題に対してどう思考するか」の観察だ。同社では候補者の約90%がこのラウンドで落ちる。意図的な設計だという。
② アーキテクチャの判断力
AIなしのシステム設計問題。要件が変化する中でトレードオフを説明でき、負荷・障害・スケールに自発的に言及できるか。AIが誤った判断をしたときに気づける「健全な悲観主義」を持っているかが重要な観点だ。
③ スパーク（光るもの）
「この人が自分が今まで一緒に働いた中で最高のエンジニアになるかもしれない」と思わせる何かを探す。具体例として挙げられているのは以下のようなものだ。
- 若くして重要なシステムのオーナーシップを持った実績
- トップエンジニアリングカンパニーでの勤務経験（ただし「何をやったか」の確認は必須）
- ピックルボールのセミプロ選手という競技実績（スポーツで高い成果を出した経験が、ハードワークと目標への集中力の証明として評価されるという考え方に基づく）
- GitHubスターや実ユーザーを持つサイドプロジェクト
テイクホームは「毒」
取材期間中、テイクホーム課題も試みたがすぐに廃止したと明言している。理由は2つ。多忙な優秀な候補者が離脱しやすいこと、そして「仕事が必要な人ほど時間をかける」というバイアスが選考に入り込むことだ。これを同社は「絶望フィルター」と呼んでいる。
採用の本質：AIの判断を「所有」できるか
記事全体を通じて強調されるのは、エンジニアに求めるのは「AIでアプリを作れること」ではなく、「エージェントが下した判断の結果に責任を持てること」だという点だ。AIが誤った設計決定をしたとき、それに気づいて修正できるかどうか——これは従来の問題解決力とアーキテクチャ判断力なしには成立しない。AI面接はあくまで入口であり、その奥にある判断力・思考力を測る手段として、従来型テストは依然として有力な指標であると同社は結論づけている。
詳細はLessons learned when hiring engineers in the age of AIを参照していただきたい。
