YouTubeの動画編集を、Claude Codeで自動化しました。
撮った動画を渡して「動画編集して」と言うだけで、ジェットカット、言い直しのカット、テロップ、BGM、名前の表示、ロゴまで入った動画が仕上がります。
結論から言えば、毎週2〜3時間かかっていた動画編集が、ほぼ「頼んで待つだけ」になりました。
この仕組みは、Claude Codeと2日間やり取りしながら作ったものです。最初の一言は「Claude Codeで動画編集できる？」でした。
今日は、そこから完成までの流れを、後で自分が見返すためのメモも兼ねてまとめておきます。同じことをやってみたい方の参考になればうれしいです。
動画でも話しているので、耳で聞きたい方はこちらからどうぞ。この動画自体も、今回作った仕組みで編集しています。
そもそも、なぜ動画編集を自動化したかった？
これまでは、Final Cut Proで編集していました。
言い間違えたところを切る。黙っている間を詰める。文字起こしをしながらテロップを1行ずつ打つ。BGMを入れて音量を調整する。
これで1本あたり、短くても1時間、長いと2〜3時間かかっていました。
最近は毎週土曜日に編集しているので、週末の時間がまるごと編集に消えていくわけです。
夜と週末しか時間が取れない複業の身としては、ここが一番の壁でした。撮るのはすぐなのに、編集が終わらないから公開できない。そういう動画が何本もありました。
流れ1: まず「Claude Codeで動画編集できる？」と聞いてみた
9月26日の夕方、Claude Codeにこう聞きました。
Claude Codeで動画編集できる？テロップ入れたりとか、カットとか。
返ってきた答えは「できます。ただし編集ソフトのように画面を見ながら操作するのではなく、コマンド(ffmpeg)で処理する形です」というものでした。
ffmpegは、動画を切ったり、つないだり、文字や画像を重ねたりできる無料のツールです。画面はなく、コマンドで動かします。
調べてもらうと、僕のMacにはffmpegがすでに入っていました。テロップを焼き込む機能も使える状態です。
足りなかったのは、文字起こしのツールだけでした。
流れ2: 文字起こしに「mlx-whisper」を入れた
文字起こしには「Whisper」を使う、という提案でした。
Whisperは、ChatGPTを作っているOpenAIが公開している音声認識のモデルです。そのWhisperを、Appleの機械学習の仕組み「MLX」でMacで速く動くようにしたのが「mlx-whisper」です。
正直、Whisperは有料のAPIで使うものだと思っていたので、まずこう聞きました。
mlx-whisperは無料？
答えは「無料です」。オープンソース(MITライセンス)で、Mac本体で処理するので、APIの利用料もかからず、音声を外に送ることもない、とのこと。条件はApple Silicon(M1以降)のMacであることです。
というわけで、「じゃあ入れて」と頼みました。
Claude Codeがやってくれたのは次のとおりです。
- Homebrewで
pipx(Pythonのツールを独立した環境に入れる道具)をインストール pipxでmlx-whisperをインストールmlx_whisperコマンドが起動することを確認
brew install pipxpipx install mlx-whisperpipx ensurepathmacOSに最初から入っているPythonは古いので、Homebrew経由で入れる、という判断もClaude Codeがしてくれました。依頼から完了まで3分ほどです。
モデル(whisper-large-v3-turbo、約1.6GB)は、初めて文字起こしをしたときに自動でダウンロードされます。
流れ3: まず1本、テロップを入れて試してみた
SDカードに入っていた約95秒の4K動画で、試しにテロップ入りの動画を作ってもらいました。
- 文字起こし: 約4分半(初回のモデルのダウンロード約2分を含む)
- テロップの焼き込み: 約40秒(4Kを1080pに縮小)
精度は想像以上でした。ただ、完璧ではありません。
- 「最近流行りの」が「最近入りの」、「手を動かして」が「手を浮かして」になっていた
- 動画が終わった後の無音部分に、話していない「ご視聴ありがとうございました」が入っていた
2つ目は、Whisperが無音部分で存在しない言葉を出してしまう、よくある誤りなんだそうです。こういうところをClaudeが文脈から見つけて直してくれるのが大きい。
流れ4: 「動画を編集して」で動くスキルにした
テロップが入ることが分かったので、次は一連の手順を「スキル」にしてもらいました。
スキルは、Claude Codeに覚えさせておける手順書のようなものです。決まった言葉で呼ぶと、その手順どおりに動いてくれます。
依頼したのはこんな内容です。
このテロップを入れて動画を作る工程をスキル化したい。 まず、動画の無音部分のジェットカット。次にイントロ直後に中間用の画像を挿入。動画のラストにも10秒ほどこの画像を追加。その上でテロップ化。 「動画を編集して」で起動するスキルとして。
ここで1つ、つまずきがありました。
最初は、音の大きさで無音部分を判定してカットしていたのですが、カットがほとんど効かなかったんです。僕の部屋はエアコンの音などが入っていて、無音の基準が合わなかったようです。
そこでClaude Codeが方式を変えました。Whisperの文字起こしには、1単語ごとに「何秒から何秒まで話しているか」の情報が付いています。この時刻を使って、話していない区間を切るようにしたんです。
これで、生活音があってもかなり正確に詰められるようになりました。
流れ5: 使いながら、スキルを直していった
スキルは一度作って終わりではなく、使いながら直していきました。依頼した順に並べるとこんな感じです。
- ロゴを入れる位置と長さ: 最初は名乗った直後に3秒入っていたのを、「それでは行ってみましょう」の直後に1秒、に変更
- 言い直しのカット: 同じことを2回言っているところを、Claudeが文字起こしから見つけて、前の失敗した方を消す
- 保存先: 作業ファイルと完成動画を、プロジェクト内の決まったフォルダにまとめる
- BGM: 全編に流し、話している間は声より20dB小さく、黙っている間は少し大きく。最初と最後はフェードイン・フェードアウト。曲が終わったらリピート
- 名前テロップとエンドカード: 冒頭に名前・肩書き・XとThreadsのアカウントを左下に出し、最後の10秒に「チャンネル登録・フォローお願いします!」のカードを出す。デザインは2案作ってもらってA案を選んだ
実際の動画で使うと、直したいところが出てきます。それをその場で伝えると、スキルの手順書とスクリプトの両方に反映してくれる。
「ロゴは1秒で」と言えば、次からはずっと1秒です。同じことを2回言わなくていいのが、スキルにしておく一番の良さだと思います。
流れ6: 実際の動画で使ってみた
9月26日には、VLOG #125(エックスサーバーの話)の動画をこのスキルで編集しました。
- 元の動画6分42秒から、言い直しと無音部分を合わせて約37秒をカット
ここで分かったのは、Claudeにも直せない誤認識があるということです。
「コア機能」が「お加計機能」になっていたり、「wp2shell」という脆弱性の名前が「WP2シェル」になっていたり。技術用語や固有名詞は、文脈から正解を推測できないことがあります。
こういうところは推測で書き換えずに、「ここは確認が必要です」と聞いてくるようにスキルに書いておきました。僕が正しい言葉を伝えると、その字幕だけ直して書き出し直してくれます。
そして9月27日には、今回のVLOG #126を編集しました。
- 元の動画: 9分15秒(4K)
- 言い直しと無音部分を合わせて約88秒をカット
- 完成: 7分58秒(ロゴ1秒とラスト10秒を含む)
- 「動画編集して」と頼んでから完成動画が届くまで: 約13分
この13分の間、僕は何もしていません。仕上がった動画を見て、気になるテロップがあれば「ここ直して」と言うだけです。
いくらかかっている？
- ffmpeg: 無料
- mlx-whisper: 無料
- Claude: 月20ドルのプラン
かかっているのは、Claudeのプラン代だけです。1回の編集で使うのは、5時間ごとの利用枠の数パーセントくらいでした。
一連の編集がここまでできるようになったので、Final Cut Proも使わなくなりました。
やってみて分かったこと
Claudeは「監督」、手を動かすのは無料ツール
Claudeが動画を直接編集しているわけではありません。
実際に手を動かすのはffmpegとmlx-whisper。Claudeは、文字起こしを読んで「ここは言い直しているから切ろう」「この字幕は間違えているから直そう」と判断して、ffmpegに指示を出す。
この役割分担にしたから、無料のツールだけで済んでいます。
万能ではない
もちろん、全部が自動でうまくいくわけではありません。
- Claudeは音を聞けないので、BGMの聞こえ方は自分の耳で確認する
- 滑舌が悪かったところや専門用語は、字幕を自分で直すことがある
それでも、ゼロから編集ソフトで作業していた頃とは比べものになりません。
大事なのは「自分の手順」を書き出すこと
今回のスキルの中身は、僕がFinal Cut Proでやっていた編集手順そのものです。
AIに全部やらせるのではなく、自分がいつもやっている手順を書き出して、Claudeに覚えさせる。これが一番のポイントなんだと思います。
まとめ
というわけで、Claude Codeで動画編集スキルを作った流れをまとめました。
- 「Claude Codeで動画編集できる？」と聞いた
- 文字起こしのmlx-whisperを入れてもらった(ffmpegは入っていた)
- 1本試して、テロップが入ることを確認した
- 手順をスキルにしてもらった(無音の判定は文字起こしの時刻で)
- 使いながら、ロゴ・言い直し・BGM・名前テロップを足していった
- 9分の4K動画が、約13分で仕上がるようになった
時間は有限です。撮ったらすぐ出せる。この差は、続けるうえでかなり大きいと思っています。
動画編集に限らず、「毎回同じ手順でやっている作業」は、同じやり方で自動化できるかもしれません。自分の仕事でもやってみたい、という方は、ぜひ一度ご相談ください。
コメントを残す