A futuristic hologram depiction of technology superimposed over a person typing on a keyboard

ライオンブリッジ、MT トラッカーで GPT-4 機械翻訳の結果を共有

本格的な翻訳に向けた MT 製品の中で最も有望視されている「GPT-4 大規模言語モデル」の翻訳パフォーマンスをライオンブリッジの MT トラッカーで追跡

最終更新日: 10 月 24, 2023 10:24PM

機械翻訳の比較評価に大規模言語モデル、特に GPT-4 を含めることの重要性

本記事の執筆時点において、GPT ファミリーの中で最も新しく、実用性の高い大規模言語モデル (LLM) と言われる GPT-4 は、これまでの GPT モデルと比べて、より機械翻訳タスクに適した製品と評されています。

この生成系 AI (GenAI)/LLM モデルの現時点における機械翻訳 (MT) のパフォーマンスはどの程度なのでしょうか。
主要なニューラル MT エンジンと比較すると、その結果はどうなのでしょうか。

MT エンジンのパフォーマンス分析を長年行ってきた当社の評価ツール「ライオンブリッジ機械翻訳トラッカー」を活用することで、上記の答えを得られるほか、長期にわたる LLM の進歩を確認できます。

ニューラル MT パラダイムから LLM MT パラダイムへの移行が高まる中、ライオンブリッジでは MT トラッカーに GPT-4 を追加することで、特定のドメインと言語ペアに対する GPT-4 の機械翻訳のパフォーマンスを測定できるようになりました。また、このトラッカーでは他の 2 つの LLM と 5 つの主要ニューラル MT (NMT) エンジンの結果も測定できます。

ライオンブリッジ機械翻訳トラッカーで評価対象としている AI エンジン:
大規模言語モデル (LLM)	主要ニューラル MT エンジン
GPT-4	Google NMT
GPT-3.5	Bing NMT
GPT-Davinci	Amazon
	DeepL
	Yandex

大規模言語モデルとニューラル MT エンジンの翻訳パフォーマンスの違いについて

現在のところ、ニューラル MT エンジンのパフォーマンスが LLM よりも若干高い状況です。現在のコスト上の検討事項や、パフォーマンスと拡張性の問題により、LLM はまだニューラル MT エンジンの代わりにはなりませんが、特定の方法でこのテクノロジーを活用することで、翻訳ワークフローの強化やコストの削減につなげることができます。

当社では、2023 年 5 月にある特定の例において、GPT-4 モデルがニューラル MT エンジンをしのぐパフォーマンスを発揮したことを報告しました。これは今後起こりうることの予兆であり、LLM の有用性はテクノロジーの成熟に伴って発展の一途をたどることが予測されます。

GenAI/LLM モデルのテストを実施するにつれ、その特異性、制約、機会が明らかになってきています。当社独自の研究における最新の GPT-4 機械翻訳データは、MT トラッカーとその解説記事から入手できます。

詳細については、2023 年 10 月のエキスパートからのコメントをお読みください。

GPT-4 に関連する特筆すべき特性。
MT テクノロジー使用時の望ましくない問題を緩和する方法。
現在の GPT-4 と他のエンジンとの翻訳パフォーマンスの比較。

コメントを読む

「LLM MT パラダイムに移行するにあたり、翻訳結果における不確定要素を容認する必要はありそうですが、何らかのメカニズムやベストプラクティスを活用して、そのばらつきをいくらか制御できるようにすることも可能だと考えられます」

— ライオンブリッジ、イノベーション担当バイスプレジデント、ラファモラル

ライオンブリッジ MT トラッカーの活用方法について

当社のトラッカー評価ツールでは各エンジンのパフォーマンスに関する重要なデータを得られるため、グローバル企業のお客様は GenAI/LLM テクノロジーの進歩に常に対応し、その力を活用できるようになります。

ただし、自社のニーズを満たすことのできる効果的な MT ソリューションを開発するのは容易ではありません。最もメリットの大きい「ベストオブブリード」型 (最も効果的なエンジンの組み合わせ) のアプローチでは、コンテンツの独自要素に対するエンジンの対応能力に基づいて、複数のエンジンが活用される複雑なシナリオが想定されるためです。さらに LLM を取り入れることで、全体がより複雑になる場合もあります。