AIを使った翻訳の精度を劇的にあげる魔法の言葉

ようやくパラリンピックの編集がひと段落しました。
朝一にパリから編集素材が届いて、その日のうちに納品。そんなタイトなスケジュールの中でさらに大変だったのが字幕の作成作業。

英語が第１言語ではない選手のインタビューをこれまた英語が第１言語ではない僕が限られた時間の中で字幕を付けるために、AIが大活躍しました。

今日は、僕がプロの映像制作現場でAIをどのように活用したのかについてご紹介します。

「踊りと関係ないじゃん」「私、機械はニガテなので…」などと思われるかもしれません。

でも、考えて見るとバレエのトレンドがどこで起きているかといえば、ヨーロッパやロシアなどの外国ですよね。AIを翻訳で使えば、海外のバレエ最新情報を知ることができます。

翻訳した内容で理解できないところがあれば、まるで翻訳者と対話しているような感じで何度も質問ができ、時には振付上のさまざまな解釈について会話ができます。

AIを使ってこのような体験をするにはちょっとしたコツが必要なので、その点も踏まえて紹介しようと思います。

ちょっとマニアックな内容かもしれませんが、知っていて絶対に損はしません。

翻訳にAIを使うメリット

通常、映像制作の現場では、字幕を作るために、以下のプロセスを踏みます。

・撮影した映像から会話内容を英文文字起こし

・英文文字起こしから日本語に翻訳

・映像にあわせて日本語の字幕を挿入

今回は英文文字起こしと翻訳の、２つのプロセスをAIにお願いしました。これまではプロの業者にお願いしていた作業ですが、今回は外注している時間がありません。

また、英語が母国語ではない話者の場合、正しくない英語の使い方もあるので、前後の文脈を理解することが重要になってきます。

Chat GPTをはじめとする会話型のAIは、この前後の文脈を理解することで自然な文章を作成する能力に優れています。AIを使った翻訳のメリットをざっくりまとめるとこんな感じです。

時間短縮
文字起こしから翻訳まで、すぐに回答が出る。
内容をしっかり理解してくれる
普通の翻訳アプリと違って、映像の内容にあわせて翻訳してくれる。
不完全な英語も類推してくれる
完璧ではない英語や、うまく聞き取れずに正しく文字起こしされなかった箇所も、前後の会話から意味を推測してくれます。
あとから修正ができる
翻訳が不自然な箇所は、あとから修正ができます。

今回利用した文字起こしはotterとnottaというAIサービス。どちらも音声データもしくは動画データを読み込ませるだけで文字起こしを作成してくれる。otterは複数の話者を自動で判別でき、nottaは英語以外にもフランス語やロシア語など42言語の文字起こしに対応している。翻訳にはChat GPTを使用したけど、Claudeもオススメ。

AI翻訳の精度を上げる魔法の言葉

さて、ここからが本題。AIの翻訳精度を劇的に上げる魔法の言葉、それは…

事前情報を与えること

英文文字起こしをコピペする前に、これから行う作業がどんなものかをAIに覚えさせるのです。

例えば、こんな風に説明します：

これから英語の文字起こしデータを元に日本語への翻訳を手伝ってください。今作っているコンテンツはA社がクライアントの映像で、日本からA社専属のレポーターがパリを訪れ、パラリンピック関連の情報を配信します。今回は、パリ市庁舎前にある車いすパークの紹介です。障害者向けの乗り物や、パラリンピックに参加する車いすモータークロスの選手を紹介しています。

ここで押さえておきたいポイントは３つ。

何をするのか
誰が出てくるのか
何を紹介しているのか

これらを先に教えてあげると、AIの理解力がグンと上がるんです。

事前情報の有無で翻訳精度を比べてみた

上で書いた事前情報をChat GPTに読み込ませた上で英文文字起こしをコピペしたのですが、一部、うまく翻訳できなかった箇所があありました。

そんなときは、上手くいかなかった箇所の会話で誰が、どのような状況で話しているかを伝えると更に翻訳の精度は高まります。

まず、うまく翻訳できなかった箇所は、車いすモータークロスの選手が車いすの安全ベルトに触れながら話をしているシーンで、以下のような会話です：

One of the practicalities that was dropped in the chair.

事前情報を与えずに訳すと：

「椅子の実用性の一つが失われましたね。」

となりました。何のことだか意味不明です。
そこで、以下の事前情報を追加して翻訳してみます。

「この会話は、車いすモータークロスの選手が安全ベルトについて話す際のものです。」

事前情報を与えて修正された翻訳がこちら：

「これは車椅子に組み込まれた実用的な機能の一つです。」

「One of the practicalities」は最初の翻訳だと「椅子の実用性」と訳しましたが、事前情報を与えると「車いすの実用的な機能の一つ」と直され、「dropped in」は「落とす」「失う」ではなく「組み込む」と訳してくれました。

まとめ

英語が母国語ではない海外映像は、録音環境が悪くて聴き取りにくかったり、おかしな英語だったりすることがあります。フランス人やロシア人のバレエの先生のインタビューや、ダンステクニックの解説動画なんかも、そうかもしれません。とくにバレエはフランス語と英語が混じるので、一度の翻訳で一言語しか翻訳できないアプリだとうまく翻訳できないかもしれません。

そんな時は、AIに事前情報をちょっと教えてあげるだけで、ぐっと自然な翻訳になります。

今回ご紹介した内容は、バレエのみならずいろいろなシチュエーションで使えるテクニックだと思いますので、AIをまだ利用したことのない人は、翻訳で使ってみるのも良いかもしれません。

みなさんも、ぜひ試してみてください。

最後までお読みいただき、有難うございます！

ブログは毎週火曜・金曜日、音声配信の「ライムライトのつぶやき」は
水曜・土曜日の朝7時に更新しています。

Xをフォロー、もしくはfacebookで「いいね」を押して頂けると、

ブログを更新したタイミングでX（旧Twitter）からお知らせします。

皆さんからのご意見・ご感想もお待ちしています。