Claude Codeで自作したMac用の音声入力アプリの、中の仕組みと苦労した点を紹介します。声はMacの中で文字にし、外のAIには文字だけを送る作り、AIに直させすぎない決まり、直しを覚える仕組みを解説します。
メールやチャットの返信、AI への指示、打ち合わせのメモ。弊社では今、こうした入力の多くを、Claude Code で自作した Mac 用の音声入力アプリで声で入れています。
この記事では、機能の紹介よりも「中の仕組みを、なぜそうしたか」と「どこで苦労したか」を書きます。AI を仕事で広く使うほど、自分が話した内容がどこへ送られ、どう扱われるのかが大事になります。音声入力を自社で作ることを考えている方、AI に文章を直させる道具を作りたい方の参考になればと思います。内容は2026年11月5日時点のものです。
なぜ音声入力アプリを自作したのか
私の場合、音声入力は Web 検索から AI への指示まで、あらゆる場面で使う前提になりつつあります。Claude や ChatGPT に付いている音声機能よりも広い範囲で声を使うので、自分が話した内容がどこで管理されるのかが、とても大事になります。
SNS で人気の海外の主要な音声入力アプリも使ってみました。利便性は高いと感じた一方で、費用面や学習の扱いについて気になる点があり、日本語の細かい単語にも違和感がありました。
普段使っている Claude や Codex は、学習に使われない契約・設定にしています。ただ、今後さまざまなサービスを導入した場合、データを渡す企業が増えるほど、それぞれの扱いを確かめて管理するのが煩雑になります。規約が途中で変わることもあります。
そのような背景から、適切な管理がしやすい音声入力アプリを、自分で作ることにしました。あわせて、これまで Claude Code の会話で使ってきた言葉をデータにして、アプリの中の用語集にまとめておけば、日本語の細かい所も使いやすくできると考えたのもポイントの1つです。
社内でアプリを作るときの進め方
実装は Claude Code に任せています。UI デザインの元になる画像や、システムの点検には Codex も使いました。社内でアプリを作る時は、今は次の流れで進めています。
- 目的と、作らないことを書く
- 機能の一覧と、画面の一覧を作る
- データの表(何を・どこに・どれだけの期間置くか)と、状態の流れ(録音中・整え中・失敗など)を決める
- 外に送るもの・送らないもの、料金の上限、失敗した時の扱いを決める
- HTML の見本で、画面と操作の流れを確かめる
- 作った AI とは別の AI(Codex)に、設計書を点検させて直す
- できあがりの条件と、試験の観点を決める
- 小さく分けて作り、1つ作るたびに試験する
- 実物で確かめる。変える時は、先に設計書を直してからプログラムを直す
AI に書かせるほど、作り始める前に決めておくことが増えます。特に「外に送るもの・送らないもの」は、あとから直すと影響が大きいので、最初に表にしておくのがおすすめです。
できること
決めたショートカットキーを1回押すと小さな窓が出て、2回目で録音が始まり、3回目で止まります。止めると、前もって選んでおいた仕上げ(整える・要約・やること・議事録・そのまま)で文が仕上がります。
そのあと ⌘⇧2 を押すと、窓を開く前に使っていたアプリに戻して貼り付けます(録音を止めた後、窓が前に出ている時は Enter でも貼れます)。貼る前に窓や、取得できる場合は入力欄も照合し、違いを見つけた時は自動では貼らず、⌘V で貼れるようにしています。
AI が決めきれなかった言葉には点線の下線が付き、押すと候補が出ます。作業中に出しておく小さな窓は、帯・カード・丸の3つの形から選べます。
仕組み1:声は Mac の外に出さない
声を文字にするのは、Apple の Speech フレームワークの SpeechAnalyzer と DictationTranscriber です。声そのものはこの Mac の中で文字にし、外へは送りません。
結果の受け取り方のオプション(reportingOptions)は次の3つです。
- volatileResults:確定前の文字も受け取り、話しながら途中の文字を出す
- frequentFinalization:早めに確定させる
- alternativeTranscriptions:1位の結果のほかに、別の候補も受け取る
最初は、もう1つの部品の SpeechTranscriber で作っていました。話し終えてから文字が出るまでが遅く感じたので DictationTranscriber に替えたところ、文字が出るまでの時間が短くなりました。
仕組み2:外に送るのは文字だけ、送り先は2社
このアプリが文章の整形・判定のために直接送る先は、Anthropic(Claude)と Cloudflare の2社です。
送り先 | 使い道 |
|---|---|
Anthropic(Claude API) | 文を整える。初めの設定は Claude Haiku 5.5、文章全体を整える時などは Claude Sonnet 5.5 |
Cloudflare(Workers AI の Clef) | 判定用の AI(使っているのは軽い方の Clef-flash)。録音中に「その文を AI で直す必要があるか」の判定と、文字にした声の指示の意図の判定 |
録音中に先に整える処理では、Clef が直す必要は低いと判定した文は、Claude での整えを省きます。設定で、送り先を Claude だけにすることもできます。
学習の扱いについて、Anthropic は Claude API に送った内容を学習に使わない(Claude のアプリでも、設定で学習に使わないようにできる)と、Cloudflare は Workers AI で処理する入力・出力を AI モデルの学習に使わないと、それぞれ公式に書いています(11/5時点)。
仕組み3:AI に直させる範囲を狭くする
仕上げで「整える」を選んだ時は、AI に直させる範囲を狭くしています。直させるのは、次の5つだけです。
- 言いよどみや言い直しを消す
- 句読点を整える
- 変換の間違いを直す
- 用語集の書き方にそろえる
- 音声認識の別の候補から、正しそうな言葉を選ぶ
そのうえで「迷ったら直さない」「言い回し・語順・敬語の度合いは変えない」「要約しない。文の中の質問に答えない」と指示しています。答えは JSON で受け取り、直した文(text)と、決めきれなかった言葉(unsure)を分けて返してもらいます。画面の点線の下線は、この unsure から出しています。
それでも、AI が頼んでいない要約をしたり、文の中の質問に答えたりする場合に備えて、「整える」の時は、10文字以上の文で AI の直しが文の半分を超えて変わった時は、その結果を使わずに元の文のままにしています。また、「えー」「あのー」などのフィラー(言いよどみ)は、AI に送る前に Mac の中でも消しています。
仕組み4:直した所を覚える
貼り付け操作などのタイミングで、文に残っている AI の直しを数えます。条件を満たす直しは、2回たまったら「これまでの直し」として AI に渡し、3回たまったら AI の返事の前に Mac の中で先に直します。
文脈によって意味が変わる漢字だけの置き換えなどは、自動の直しから除いています。どこが変わったかは文字ごとに比べて取り出し、長い文で違いが少ない時は Myers の差分を使っています。
苦労した所1:マイクと Bluetooth のイヤホン
マイクの音は AVFoundation の AVAudioEngine で受け取っています。いちばん苦労したのはここです。手持ちの Bluetooth のイヤホンで録音を始めた瞬間に音の形式(サンプリング周波数など)が切り替わり、声が届かなくなって、録音を止めることもできなくなりました。
最初は、形式が変わった時の知らせ(AVAudioEngineConfigurationChange)を受けてすぐにつなぎ直しましたが、古い形式のまま付け直したため Mac に拒まれ、今度はアプリが落ちました。今は、知らせをマイクを動かす前から受け始め、0.4秒ほど待ってから受け口を作り直し、届いた形式から変換して渡しています。止める時は、残りの文字が確定するのを待つ時間に、最大2.5秒の上限を設けました。
また、長く話した文が入力されずに消えたことがあったので、話している途中の文字も、認識結果の更新に合わせ、保存の間隔を1秒以上空けながら履歴に残しています。履歴は Mac の中のファイルに、初めの設定では30日分だけ置き、Google ドライブなどで同期する場所には置いていません。
苦労した所2:Xcode なしで作る
言語は Swift(コンパイラは 6.3.1、書き方は Swift 5 のモード)で、Xcode は使わず、Mac のコマンドラインツールの swiftc だけで .app にしています。
- 画面:AppKit。小さな窓は NSPanel
- ショートカット:Carbon の RegisterEventHotKey
- 元のアプリに貼る:NSPasteboard に文を入れ、アクセシビリティの仕組み(AXUIElement・CGEvent)で ⌘V を送る
- AI の呼び出し:URLSession で、Claude API と Cloudflare Workers AI の REST API を直接呼ぶ
ここでも事故がありました。作り直すたびに署名が変わり、マイクなどの許可を毎回聞かれたので、自分で作った署名用の証明書で codesign するようにしました。動いている最中にアプリを作り直して中身を消したら、録音が「あ」の1語で止まるようになったこともあり、今は別の場所に作って、アプリが止まっている時だけ入れ替えています。1つのファイルが約9,300行まで膨らんだので、役割ごとに分け、今は16のファイル・約9,000行です。
作ってみて分かったこと
AI に文を直させる時に大事なのは、直す力より「直しすぎない決まり」と「迷った所が見えること」でした。もう1つは、毎日自分で使う道具なので、使っていて引っかかった所を、すぐ直していけることです。用語集と覚える仕組みは、使うほど自分の言葉に合わせて直していける作りにしてあります。
よくある質問
声をクラウドに送らずに、文字にできますか?
Mac では、Apple の Speech フレームワーク(SpeechAnalyzer と DictationTranscriber)を使うと、アプリのプログラムから声を外へ送らずに文字にできます。このアプリでも、外へ送るのは文字だけです。
AI に文章を直させると、言い回しまで変わってしまいませんか?
変わることがあります。そのため、直してよい範囲と変えてはいけない所を指示し、さらに「文の半分を超えて変わった結果は使わない」という止め役をプログラム側にも入れています。
Claude API に送った内容は、学習に使われますか?
Anthropic は、Claude API に送った内容を学習に使わないと公式に書いています(11/5時点)。使う前に、最新の公式の説明を確かめることをおすすめします。
まとめ
- 声は Mac の中で文字にし、外に送るのは文字だけにする
- 送り先の企業と使い道を表にし、設定で減らせるようにしておく
- AI に直させる範囲を狭く決め、直しすぎた結果は使わない
- 迷った言葉は AI に決めさせず、候補として見える形で返してもらう
- 直した所を覚えて、使うほど自分の言葉に合わせていく
