メインコンテンツへスキップ
       

ハーネスエンジニアリングとは―OpenAI・LangChain・Anthropicの公表資料と政府の論点(案)から読むAIエージェントの周辺設計(AI作成)

第1 結論と用語の早見表

「ハーネス」は,AIエージェントのモデル本体ではなく,その周りで動作・確認・記録を支える仕組みを指して使われる言葉である。
ただし,本記事で確認した公表資料の間でも,指す範囲は完全には一致していない。
OpenAI,LangChain及びAnthropicの技術記事は,いずれもソフトウェア開発を念頭に置いた自社の報告である。
政府のAI・デジタル改革推進会議(第1回)の資料4は,「ハーネス(AIが動作する実行環境の枠組み)」を,AIエージェントのシステム全体で安全性を確保する対策の一つに挙げている。
資料4は論点(案)であり,法定の基準ではない。
いずれの資料も,法律事務所で同じ効果が出ることを実測したものではない。
本記事は,令和8年11月19日に各原文を取得して確認した範囲で整理する。
裁判例を根拠とする命題は扱っていないため,判例秘書による検索は行っていない。

表1 各資料における「ハーネス」の扱い(本記事の整理)

資料公表日ハーネスの扱い報告・記載されている主な事実
OpenAI「Harness engineering: leveraging Codex in an agent-first world」2026年2月11日環境の設計,意図の明確化及びフィードバックループの構築(記事の説明)手書きコードを使わず約5か月で約100万行,約1,500件のプルリクエスト(当初3名)
LangChain「Improving Deep Agents with harness engineering」2026年2月17日システムプロンプト,ツール及びミドルウェアの三つを調整することTerminal Bench 2.0で52.8%から66.5%(モデルはgpt-5.2-codexに固定)
Anthropic「Effective harnesses for long-running agents」2025年11月26日複数の作業セッションにまたがる環境,機能一覧,進捗記録及び確認の方法四つの典型的な失敗(早まった完了宣言,未記録の中途状態,試験なしの完了,起動方法の探索)と対策
Anthropic「Harness design for long-running application development」2026年3月24日計画役,作業役及び評価役を分ける構成同じ依頼で,単独構成は20分・9ドル,三役構成は6時間・200ドル
政府「AI・デジタル改革推進会議における論点(案)」(資料4)令和8年10月22日「AIが動作する実行環境の枠組み」ID認証,ガードレール,権限管理,評価及び監査ログと並ぶ6項目の一つ

第2 各資料が報告していること

1 OpenAI(2026年2月11日)

OpenAIのRyan Lopopolo氏の記事は,手書きコードを使わずに社内向けベータ版の製品を作った約5か月の経験を報告している。
記事によれば,アプリケーションのロジック,テスト,CI設定,ドキュメント,監視機能及び内部ツールまで,コードはすべてCodexが書いた。
約1,500件のプルリクエストが,当初3名のエンジニアによって開かれ,マージされたという。
手作業で書いた場合の約10分の1の時間で作れたとOpenAIは推定している。
初期の進捗が遅れた理由について,記事は,Codexの能力ではなく,環境が十分に定義されていなかったためだと説明している。
他方,記事は,ここに挙げた一連の動作がそのリポジトリの特定の構造とツールに大きく依存しており,同様の準備なしに一般化できるとは考えるべきではないとも述べている。

2 LangChain(2026年2月17日)

LangChainのVivek Trivedy氏の記事は,同社のコーディングエージェントを,モデルをgpt-5.2-codexに固定したまま,Terminal Bench 2.0で52.8%から66.5%へ13.7ポイント改善したと報告している。
Terminal Bench 2.0は89件のタスクを持つ,エージェントのコーディング能力の評価用ベンチマークである。
調整の対象は,システムプロンプト,ツール及びミドルウェア(モデルやツールの呼出しの前後に挟む処理)の三つに絞ったという。
同社は,順位が上位30位の少し外から上位5位へ上がったと説明している。
この順位表の現在の状況は,本記事では確認していない。

3 Anthropic(2025年11月26日・2026年3月24日)

Anthropicの2025年11月の記事は,長時間のエージェントが,前の作業の記憶を持たない新しい作業セッションを重ねて進む点を問題にしている。
同社は,最初のセッションで環境を整える初期化役と,以後のセッションで少しずつ作業を進める作業役に分け,機能一覧と進捗ファイルを残す方法をとった。
2026年3月の記事は,計画役,作業役及び評価役の三役の構成を報告している。
この比較は,同社がClaude Opus 4.5を使い,ゲーム制作ツールを作らせた一つの例である。

4 政府(令和8年10月22日)

デジタル庁のページで公表されている,AI・デジタル改革推進会議(第1回)の資料4は,論点4の「対応すべきリスク」で,AIモデルだけに着目しない対応を問うている。
資料4は,AIエージェントのシステム全体での安全性を確保していくべきではないかとして,次の6項目などを挙げている。
①ハーネス(AIが動作する実行環境の枠組み),②ID認証(誰が動いているかの識別),③ガードレール(許容範囲の逸脱防止),④権限管理(何をどこまで委ねるか),⑤評価(能力・安全性の検証),⑥監査ログ(行動の証跡)。
資料4の表題は「論点(案)」であり,この記載は検討の方向性を示すものにとどまる。

第3 公表資料に共通する五つの設計

1 完了の確認を環境側に置く

LangChainは,最も多かった失敗の型として,エージェントが解答を書き,自分のコードを読み直して問題なさそうだと確認し,そこで止まる例を挙げている。
対策として,エージェントが終了する前に割り込み,課題の仕様に照らした確認を促す処理を入れたという。
Anthropicも,十分に試験をしないまま機能を完了とする傾向と,後の作業役が進捗を見て全体の完了を宣言する傾向を報告している。
同社は,機能一覧を最初はすべて「未達」の状態で作り,作業役には達成の記録欄だけを書き換えさせ,利用者と同じようにブラウザを操作して確かめさせた。
法律事務所での置換(本記事の提案)として,書面案や調査結果の「完了」を,AIの完了報告ではなく,出典と頁の照合表,未確認事項の記載などの確認項目で判断する方法が考えられる。

2 指示ファイルは目次にする

OpenAIは,一つの大きな指示ファイル(AGENTS.md)に情報を集める方式を試し,予測できる形で失敗したと報告している。
記事が挙げる理由は,①大きな指示がタスクやコードに割くべき文脈を圧迫する,②すべてが重要になると何も重要でなくなる,③分厚い手引きはすぐ古くなる,④一つの塊は機械的な検査になじまない,の四つである。
OpenAIは,約100行の短い指示ファイルを目次とし,詳細は構造化した資料の置き場に分ける方式へ移った。
専用の検査と定期的に動く整備役が,古い記述を探して修正案を出すという。
指示ファイルが長くなっている事務所では,入口の指示を短くして詳細を別の資料へ分ける整理が考えられる(本記事の提案)。

3 同じ失敗の繰り返しを検知する

LangChainは,エージェントが一度決めた方針に固執し,同じ壊れた方法に小さな変更を加えることを,一部の記録では10回以上繰り返したと報告している。
同社は,ファイルごとの編集回数を数え,一定回数を超えると方針の見直しを促す文を足す処理を入れた。
もっとも,モデルが自分は正しいと考えれば,同じ道を進み続けることがあるとも述べている。
この「同じ修正の繰返し」は,メールの送信や公開など,外部に作用する操作の成否が不明なときの自動再試行とは別の問題である。
後者は,二重送信や二重公開につながるため,自動で再試行しないことが重要になる。

4 作業する役と評価する役を分ける

Anthropicは,エージェントに自分の成果を評価させると,人間から見て出来が平凡でも自信をもって称賛しがちだと報告している。
同社は,作業する役と評価する役を分けることが有効だとする。
ただし,評価役も言語モデルであり,モデルが作った成果に寛大になりやすいため,分けるだけで寛大さが消えるわけではないとしている。
評価役を懐疑的に調整する方が,作業役に自己批判をさせるより扱いやすいというのが同社の整理である。
同社の比較例では,単独構成は20分・9ドル,三役構成は6時間・200ドルであり,費用は20倍を超えた。
同社は,成果の質の差も同じ記事で報告しているが,この例は一つの依頼と一つのモデルでの比較である。
法律事務所では,起案と査読を別の役にする場合の時間と費用を,自分の試験で記録する必要がある(本記事の提案)。

5 作業状態を会話の外に残す

Anthropicの記事は,各セッションが前の記憶なしに始まることを前提に,進捗ファイルとバージョン管理の履歴を使い,新しいセッションが状態をすばやく把握できるようにした。
OpenAIも,複雑な作業の計画を進捗と意思決定の記録とともにリポジトリへ置き,エージェントが外部の文脈に頼らずに動けるようにしたと報告している。
事務所では,確認済みの事項,未確認の事項,権限及び次の一手を,会話履歴だけでなく,事務所が管理する台帳に移す運用が考えられる(本記事の提案)。

第4 発表された数字の読み方

①LangChainの52.8%から66.5%は,一つのベンチマーク,一つのモデル(gpt-5.2-codex)及び同社の調整に基づく数字である。
同じ記事は,Claude Opus 4.6を以前の版のハーネスで試すと59.6%だったが,同じ改善の手順を回していないため,単純には比べられないという趣旨を述べている。
また,推論の量を最大にして走らせると,時間切れのため53.9%にとどまり,一段下げた設定では63.6%だったと報告している。
「推論を最大にすればよい」という結論にはならない。
②OpenAIの約1,500件,約10分の1という数字は,同社自身の報告と推定であり,記事自体がそのまま他の環境に一般化できないと述べている。
③Anthropicの20分・9ドルと6時間・200ドルは,一つの依頼,一つのモデル(Claude Opus 4.5)での比較である。
④SNSなどで「自分の作業で試したら成功率が上がった」という趣旨の数字を見たときは,モデルの版,課題の内容,採点の方法及び失敗の数え方が書かれ,第三者が再現できるかを確かめる。
見出しに挙げられたモデルの名前と,引用された数字の測定に使われたモデルが同じとは限らない。
たとえば,LangChainの数字はgpt-5.2-codexでの測定である。

第5 法律事務所で確認する十の事項(本記事の整理)

公表資料に共通する設計を,法律事務所のAIエージェント運用に置き換えた確認事項を,次のとおり整理する。
これは本記事の提案であり,法令が定める手順ではない。
①AIが作業を始める前に,「完了」の定義を文書で決めているか。
②完了の判断を,AI自身の報告ではなく,確認項目の結果で行っているか。
③起案する役と査読する役を分けているか。分けた場合の時間と費用を記録しているか。
④指示ファイルが長くなりすぎていないか。入口から順に詳細へ進めるか。
⑤確認済みの事項,未確認の事項及び次の一手を,会話ではなく事務所が管理する場所に残しているか。
⑥同じ失敗を繰り返したときに,回数,時間又は費用の上限で止まるか。
⑦外部送信や公開など,成否不明の操作を自動で再試行しないか。
⑧AIに許す操作,人の承認が要る操作及び禁止する操作を,口頭の指示ではなく設定で分けているか。
⑨行動の記録を,AI自身が書き換えられない場所に残しているか。
⑩モデルを替えたときに,同じ例で再試験し,指示や確認の仕組みも見直すか。

弁護士職務基本規程19条と事務職員の生成AI利用の関係は,弁護士職務基本規程19条と事務職員の生成AI利用で整理している。

第6 関連記事

①法律事務所のAIエージェント業務設計は,目的,コンテキスト,権限及び完了条件の分け方を扱う。
②法律事務所がAIエージェントに専用PCを与えるときの安全設計は,全権委任,承認疲れ及び最小権限を扱う。
③AIエージェントの承認モードはどこまで止めるかは,人の承認を挟む範囲の考え方を扱う。
④法律事務所のAIエージェントが停止したときの再開手順は,成否不明の操作を自動で再試行しない理由を扱う。
⑤複数のAIエージェントでWordPressを安全に更新する方法は,単一書込者と読戻し検証を扱う。
⑥AIエージェントの要約・メモリを権限と取り違えないためには,引継ぎと状態の記録を扱う。
⑦AIエージェントの導入・保守を外注するときの契約は,検収と権限設定を扱う。
⑧AIエージェントは内製か外注かは,手順書と合格条件を同じ条件で試す方法を扱う。
⑨Claude Code・Codexのスキルが増えすぎたときの整理方法は,段階的な読込みを扱う。
⑩法律事務所の生成AIをどう評価・改善するかは,トレースと回帰試験を扱う。
⑪弁護士法72条と士業AIのルールはどう変わるかは,AI・デジタル改革推進会議(第1回)の論点全体を扱う。

第7 出典

①OpenAI「Harness engineering: leveraging Codex in an agent-first world」(2026年2月11日,Ryan Lopopolo)。日本語版を令和8年11月19日に通読して確認した。https://openai.com/index/harness-engineering/
②LangChain「Improving Deep Agents with harness engineering」(2026年2月17日,Vivek Trivedy。製品提供者による自社の報告)。https://www.langchain.com/blog/improving-deep-agents-with-harness-engineering
③Anthropic「Effective harnesses for long-running agents」(2025年11月26日)。https://www.anthropic.com/research/effective-harnesses-for-long-running-agents
④Anthropic「Harness design for long-running application development」(2026年3月24日)。https://www.anthropic.com/research/harness-design-long-running-apps
⑤デジタル庁「AI・デジタル改革推進会議(第1回)」資料4「AI・デジタル改革推進会議における論点(案)」(令和8年10月22日)。論点4(1)(PDF9頁,紙面8頁)及びPDF2頁。https://www.digital.go.jp/councils/ai_digital/1f3aa34a-786d-4b56-99a4-469f8f933f1c