Claude Codeで自作したMac用の音声入力アプリの、中の仕組みと苦労した点を紹介します。声はMacの中で文字にし、外のAIには文字だけを送る作り、AIに直させすぎない決まり、直しを覚える仕組みを解説します。

メールやチャットの返信、AI への指示、打ち合わせのメモ。弊社では今、こうした入力の多くを、Claude Code で自作した Mac 用の音声入力アプリで声で入れています。

この記事では、機能の紹介よりも「中の仕組みを、なぜそうしたか」と「どこで苦労したか」を書きます。AI を仕事で広く使うほど、自分が話した内容がどこへ送られ、どう扱われるのかが大事になります。音声入力を自社で作ることを考えている方、AI に文章を直させる道具を作りたい方の参考になればと思います。内容は2026年11月5日時点のものです。

なぜ音声入力アプリを自作したのか

私の場合、音声入力は Web 検索から AI への指示まで、あらゆる場面で使う前提になりつつあります。Claude や ChatGPT に付いている音声機能よりも広い範囲で声を使うので、自分が話した内容がどこで管理されるのかが、とても大事になります。

SNS で人気の海外の主要な音声入力アプリも使ってみました。利便性は高いと感じた一方で、費用面や学習の扱いについて気になる点があり、日本語の細かい単語にも違和感がありました。

普段使っている Claude や Codex は、学習に使われない契約・設定にしています。ただ、今後さまざまなサービスを導入した場合、データを渡す企業が増えるほど、それぞれの扱いを確かめて管理するのが煩雑になります。規約が途中で変わることもあります。

そのような背景から、適切な管理がしやすい音声入力アプリを、自分で作ることにしました。あわせて、これまで Claude Code の会話で使ってきた言葉をデータにして、アプリの中の用語集にまとめておけば、日本語の細かい所も使いやすくできると考えたのもポイントの1つです。

社内でアプリを作るときの進め方

実装は Claude Code に任せています。UI デザインの元になる画像や、システムの点検には Codex も使いました。社内でアプリを作る時は、今は次の流れで進めています。

  1. 目的と、作らないことを書く
  2. 機能の一覧と、画面の一覧を作る
  3. データの表(何を・どこに・どれだけの期間置くか)と、状態の流れ(録音中・整え中・失敗など)を決める
  4. 外に送るもの・送らないもの、料金の上限、失敗した時の扱いを決める
  5. HTML の見本で、画面と操作の流れを確かめる
  6. 作った AI とは別の AI(Codex)に、設計書を点検させて直す
  7. できあがりの条件と、試験の観点を決める
  8. 小さく分けて作り、1つ作るたびに試験する
  9. 実物で確かめる。変える時は、先に設計書を直してからプログラムを直す

AI に書かせるほど、作り始める前に決めておくことが増えます。特に「外に送るもの・送らないもの」は、あとから直すと影響が大きいので、最初に表にしておくのがおすすめです。

できること

音声入力アプリの画面と主な機能。ショートカットで録音、言い間違いをAIが修正、元の文との見比べ、1クリックで元に戻す、要約・やること・議事録への変換、1日のAI料金の上限、デスクトップの常時表示、小さな窓

決めたショートカットキーを1回押すと小さな窓が出て、2回目で録音が始まり、3回目で止まります。止めると、前もって選んでおいた仕上げ(整える・要約・やること・議事録・そのまま)で文が仕上がります。

そのあと ⌘⇧2 を押すと、窓を開く前に使っていたアプリに戻して貼り付けます(録音を止めた後、窓が前に出ている時は Enter でも貼れます)。貼る前に窓や、取得できる場合は入力欄も照合し、違いを見つけた時は自動では貼らず、⌘V で貼れるようにしています。

AI が決めきれなかった言葉には点線の下線が付き、押すと候補が出ます。作業中に出しておく小さな窓は、帯・カード・丸の3つの形から選べます。

仕組み1:声は Mac の外に出さない

声を文字にするのは、Apple の Speech フレームワークの SpeechAnalyzer と DictationTranscriber です。声そのものはこの Mac の中で文字にし、外へは送りません。

結果の受け取り方のオプション(reportingOptions)は次の3つです。

  • volatileResults:確定前の文字も受け取り、話しながら途中の文字を出す
  • frequentFinalization:早めに確定させる
  • alternativeTranscriptions:1位の結果のほかに、別の候補も受け取る

最初は、もう1つの部品の SpeechTranscriber で作っていました。話し終えてから文字が出るまでが遅く感じたので DictationTranscriber に替えたところ、文字が出るまでの時間が短くなりました。

仕組み2:外に送るのは文字だけ、送り先は2社

声はMacの中で文字にし、文字だけをAnthropicとCloudflareの2社に送る流れ

このアプリが文章の整形・判定のために直接送る先は、Anthropic(Claude)と Cloudflare の2社です。

送り先

使い道

Anthropic(Claude API)

文を整える。初めの設定は Claude Haiku 5.5、文章全体を整える時などは Claude Sonnet 5.5

Cloudflare(Workers AI の Clef)

判定用の AI(使っているのは軽い方の Clef-flash)。録音中に「その文を AI で直す必要があるか」の判定と、文字にした声の指示の意図の判定

録音中に先に整える処理では、Clef が直す必要は低いと判定した文は、Claude での整えを省きます。設定で、送り先を Claude だけにすることもできます。

学習の扱いについて、Anthropic は Claude API に送った内容を学習に使わない(Claude のアプリでも、設定で学習に使わないようにできる)と、Cloudflare は Workers AI で処理する入力・出力を AI モデルの学習に使わないと、それぞれ公式に書いています(11/5時点)。

仕組み3:AI に直させる範囲を狭くする

仕上げで「整える」を選んだ時は、AI に直させる範囲を狭くしています。直させるのは、次の5つだけです。

  • 言いよどみや言い直しを消す
  • 句読点を整える
  • 変換の間違いを直す
  • 用語集の書き方にそろえる
  • 音声認識の別の候補から、正しそうな言葉を選ぶ

そのうえで「迷ったら直さない」「言い回し・語順・敬語の度合いは変えない」「要約しない。文の中の質問に答えない」と指示しています。答えは JSON で受け取り、直した文(text)と、決めきれなかった言葉(unsure)を分けて返してもらいます。画面の点線の下線は、この unsure から出しています。

それでも、AI が頼んでいない要約をしたり、文の中の質問に答えたりする場合に備えて、「整える」の時は、10文字以上の文で AI の直しが文の半分を超えて変わった時は、その結果を使わずに元の文のままにしています。また、「えー」「あのー」などのフィラー(言いよどみ)は、AI に送る前に Mac の中でも消しています。

仕組み4:直した所を覚える

AIの直しを数え、2回でAIに参考として渡し、3回でMacの中で先に直す流れ

貼り付け操作などのタイミングで、文に残っている AI の直しを数えます。条件を満たす直しは、2回たまったら「これまでの直し」として AI に渡し、3回たまったら AI の返事の前に Mac の中で先に直します。

文脈によって意味が変わる漢字だけの置き換えなどは、自動の直しから除いています。どこが変わったかは文字ごとに比べて取り出し、長い文で違いが少ない時は Myers の差分を使っています。

苦労した所1:マイクと Bluetooth のイヤホン

マイクの音は AVFoundation の AVAudioEngine で受け取っています。いちばん苦労したのはここです。手持ちの Bluetooth のイヤホンで録音を始めた瞬間に音の形式(サンプリング周波数など)が切り替わり、声が届かなくなって、録音を止めることもできなくなりました。

最初は、形式が変わった時の知らせ(AVAudioEngineConfigurationChange)を受けてすぐにつなぎ直しましたが、古い形式のまま付け直したため Mac に拒まれ、今度はアプリが落ちました。今は、知らせをマイクを動かす前から受け始め、0.4秒ほど待ってから受け口を作り直し、届いた形式から変換して渡しています。止める時は、残りの文字が確定するのを待つ時間に、最大2.5秒の上限を設けました。

また、長く話した文が入力されずに消えたことがあったので、話している途中の文字も、認識結果の更新に合わせ、保存の間隔を1秒以上空けながら履歴に残しています。履歴は Mac の中のファイルに、初めの設定では30日分だけ置き、Google ドライブなどで同期する場所には置いていません。

苦労した所2:Xcode なしで作る

言語は Swift(コンパイラは 6.3.1、書き方は Swift 5 のモード)で、Xcode は使わず、Mac のコマンドラインツールの swiftc だけで .app にしています。

  • 画面:AppKit。小さな窓は NSPanel
  • ショートカット:Carbon の RegisterEventHotKey
  • 元のアプリに貼る:NSPasteboard に文を入れ、アクセシビリティの仕組み(AXUIElement・CGEvent)で ⌘V を送る
  • AI の呼び出し:URLSession で、Claude API と Cloudflare Workers AI の REST API を直接呼ぶ

ここでも事故がありました。作り直すたびに署名が変わり、マイクなどの許可を毎回聞かれたので、自分で作った署名用の証明書で codesign するようにしました。動いている最中にアプリを作り直して中身を消したら、録音が「あ」の1語で止まるようになったこともあり、今は別の場所に作って、アプリが止まっている時だけ入れ替えています。1つのファイルが約9,300行まで膨らんだので、役割ごとに分け、今は16のファイル・約9,000行です。

作ってみて分かったこと

AI に文を直させる時に大事なのは、直す力より「直しすぎない決まり」と「迷った所が見えること」でした。もう1つは、毎日自分で使う道具なので、使っていて引っかかった所を、すぐ直していけることです。用語集と覚える仕組みは、使うほど自分の言葉に合わせて直していける作りにしてあります。

よくある質問

声をクラウドに送らずに、文字にできますか?

Mac では、Apple の Speech フレームワーク(SpeechAnalyzer と DictationTranscriber)を使うと、アプリのプログラムから声を外へ送らずに文字にできます。このアプリでも、外へ送るのは文字だけです。

AI に文章を直させると、言い回しまで変わってしまいませんか?

変わることがあります。そのため、直してよい範囲と変えてはいけない所を指示し、さらに「文の半分を超えて変わった結果は使わない」という止め役をプログラム側にも入れています。

Claude API に送った内容は、学習に使われますか?

Anthropic は、Claude API に送った内容を学習に使わないと公式に書いています(11/5時点)。使う前に、最新の公式の説明を確かめることをおすすめします。

まとめ

  • 声は Mac の中で文字にし、外に送るのは文字だけにする
  • 送り先の企業と使い道を表にし、設定で減らせるようにしておく
  • AI に直させる範囲を狭く決め、直しすぎた結果は使わない
  • 迷った言葉は AI に決めさせず、候補として見える形で返してもらう
  • 直した所を覚えて、使うほど自分の言葉に合わせていく

参考資料

この記事を書いた人

株式会社curve 代表取締役 野澤 孝理

株式会社curve 代表取締役

野澤 孝理

2011年からインターネット広告業界に携わり、マーケティング経験は13年以上になります。Google広告・Yahoo!広告を中心に、累計300社以上のマーケティングを支援してきました。

現在は、デジタルマーケティングを軸に、Claude CodeやCodexを活用したWebサイトの制作、AIツールの導入、業務システムの構築まで、AIを活用したマーケティングと社内でAIツールの開発・内製化を支援しています。
特に非エンジニアのAI活用の支援に力を入れており、AIメディア「AIテックベース」も運営しています。

2026年10月には、株式会社curveがAnthropicのスタートアップ支援プログラム「Claude for Startups」に採択されました。

略歴

2011年
GMOインターネット株式会社に入社
2013年
株式会社エクスコアに創業メンバーとして参画
2025年
株式会社curveを創業

会社紹介

株式会社curve

株式会社curveは、デジタルマーケティング事業(Google広告・Yahoo!広告・SNS広告の運用、SNS運用、SEO対策・MEO対策・AIO対策)、クリエイティブ事業(AIホームページ制作・YouTube動画制作)、AI導入支援事業(AI法人研修・AI顧問)により、顧客獲得から、対応・運用の仕組みまで一貫して支援します。AIテックベースは、株式会社curveが運営しています。

所在地
東京都渋谷区渋谷1丁目1番3号 3F
創業
2025年10月
会社概要を見る(curve.co.jp)
この内容を自社で相談する →