これは、パソコンの中のファイルを直接さわるタイプのAI——私が使っているClaude Code——の話です。チャット版だけを使っている方は、「へえ、そういう世界もあるのか」と読んでいただければ十分です。
AIに作業を任せると、ファイルの編集も、コマンドの実行も、自分でやってくれます。
この回は、1分のアニメにもしています。先に見ると、話の形がつかめます。
（「コマンド」という言葉を一つ。コマンドとは、パソコンに文字で出す命令のことです。「このフォルダを消して」を、ボタンではなく、文字で書いたものだと思ってください。）
便利です。ただ、便利さの裏には、こういう事故のリスクがありました。
- パスワードのような大事な文字列を保存したファイルを、AIがうっかり読んで、画面に出してしまう
- フォルダごと全部消すような操作を、勢いで実行してしまう
一つ目のファイルは、最初は他人事に感じるかもしれません。でも、AIと外部のサービスをつなぐ「合鍵」のような文字列（これをAPIキーと呼びます）を保存したファイルなどは、使っていくうちに自然に増えていきます。
これを防ぐために、私が入れたのが「保護設定」です。仕組みの前に、いちばん大事な考え方を先に書きます。
お願いと、鍵のちがい
AIへの指示書に「削除の前は、必ず確認してね」と書く。これはお願いです。口約束です。
だいたいは守られます。でも、保証はありません。
保護設定は、鍵です。AIの気持ちとは関係なく、システムが必ず止めます。お願いは忘れられることがあるけれど、鍵は約束を忘れません。
この設定は、自分では書きません
先に、いちばんの安心材料を書きます。
この保護設定の実体は、母艦のフォルダに置く、1枚の設定ファイルです。そして——このファイルは、自分では書きません。
AIに、日本語でこう頼むだけです。「保護設定を入れて。パスワードのファイルを読むことと、フォルダごとの削除は禁止。1つのファイルを消すときは毎回確認して」。すると、AIがそのファイルを書いてくれます。所要は20〜30分ほど。私も、中身の文字を自分で打ったわけではありません。
3つの振り分け
保護設定は、すべての操作を3つに振り分けます。
- 禁止……何があっても通さない
- 確認……実行の前に、必ず人間に「やっていいですか」と聞く
- 許可……何も聞かずに通す（普段の作業を軽くするため）
大事なのは順番です。禁止がいちばん強い。 許可に入れてあっても、禁止に触れたら通りません。安全の側に倒れるように作られています。
もう一枚、センサーを重ねる
私は、これに加えて、もう一つの仕組みも入れました。
たとえるなら、3つの振り分けは「マンションの入館ルール表」です。誰を通すか、通さないかが、あらかじめ決めてあります。もう一つの仕組みは「センサー付きの自動ドア」です。実行の直前に、命令の中身をその場で調べて、危ない言葉が隠れていたら閉じます。
なぜ二枚目が要るのか。ルール表は、命令の”先頭”を見て振り分けます。ところが、「Aをして、それからBをして」とつなげた長い命令の、後ろ半分に危険が隠れていることがあります。そこを拾うのが、センサーの役目です。二重の鍵になります。
掛けたら、試す
鍵は、掛けただけでは安心できませんでした。本当に止まるのかを、試して初めて安心できます。
私は、AIにわざと危ない操作をさせてみました。空のテスト用フォルダを作って「これをフォルダごと消して」と頼む。パスワードのファイルを作らせようとする。——どちらも、ちゃんと止まりました。ふだんのファイルの読み書きは、いつもどおり通りました。三つとも思ったとおりになって、はじめて「効いている」と分かりました。
つまずいたところ
- 設定したのに効かない……設定は、AIを起動したときに読み込まれます。いったん閉じて、開き直すと効きました。
- 教材どおりにやっても動かない……多くの教材はMac（マック）を前提に書かれていて、Windowsのパソコンには、その教材が使う部品がありませんでした。AIに「Windowsで動く形に書き直して」と頼んで解決しました。
- 確認が多くて煩わしい……確認そのものを緩めるのではなく、煩わしいその操作だけを、許可（3つの振り分けの「許可」）に一つずつ足していきました。
やってみて
一つだけ確かめておきたいことがありました。「自動で動かしているときも、鍵は効くのか」。
効きました。禁止とセンサーはシステムの鍵なので、無人で動かしていても必ず止まります。確認だけは人の返事が要るので、無人のときは——勝手に実行される方向ではなく——止まって待つ側に倒れます。
お願い（指示書の言葉）と、鍵（システムの設定）。この二重にしておくと、自動化を進めても、安全の底は抜けませんでした。
