Machine Translation Quality Metrics

Yamagata Europe のMT 品質メトリックス
２種類のカスタマイズ品質測定システム
2013年11月27日
第23回JTF翻訳祭
トラック3 セッション4 (16:30～18:00)
Tomoko Kaji ‐ Heidi Van Hiel
MT／ツール開発チームマネージャ
heidi.van.hiel@yamagata‐europe.com

Yamagata Europeのご紹介

Yamagata Corporationの支社
ヨーロッパでは2箇所:
• ベルギー
• スロバキア
完全なドキュメンテーションサイクル:
• 制作 & レイアウト
• 翻訳
• 品質管理
• 印刷 & 納品
www.yamagata‐europe.com

2

Yamagata Europeのご紹介

品質に重点:
• 欧州のアプローチ、日本の品質管理
• QA Distiller開発
• SnellSpell開発
ＭＴの導入:
• 2009年
• Systran Enterprise Server/Moses/KantanMT
• 2つの使い道：生産性向上と新規事業

3

MT 品質メトリックス

• 出発点:
• 全MTプロジェクトに共通の品質メトリックスは
あるのか？
• 異なる品質要件
‐顧客
‐プロジェクトタイプ
‐エンドユーザー

• メトリックス
•
•
•
•

既存のメトリックス：BLEU、TER、NISTなど
顧客にとっての重要性
ポストエディターにとっての重要性
ROI 上の重要性


4

MT 品質メトリックス

MT プロジェクトプラン：
• ステップ 1
翻訳品質の定義:
• 「ヒューマン・クオリティ」 VS「分りやすさ(理解可能) 」

• ステップ 2
顧客が求める品質レベルの設定 / 改善詳細:
• スタートする閾値 (許容される最低品質レベル)
• 最終レベルの閾値 (理想的かつ現実的な品質レベル)

• ステップ 3
値向上サイクルの定義:
• 品質コントロール (メカニズム / メトリックス)
• ポストエディターとの密な協力
• 顧客からのフィードバック・メカニズム

5

メトリックスシステムのカスタマイズ@ YEU

2つのプロジェクト:
• プロジェクト：サービスマニュアル翻訳

• プロジェクト


：オンライン多言語チャット

6


プロジェクト : サービスマニュアル翻訳
• 品質要件：ヒューマン・クオリティ
• 人によるポストエディットを実施
• 適用メトリックス：
• FTRレート
= First Time Right segment rate
（最初から正しいセグメントの%）
= 完璧なMT アウトプット
= ポストエディターのチェックで修正不要
• PE スコア
= Post‐Editing score
= PEセグメント内での修正の数 (%)（WERに類似）
= PE作業率を表示: PE スコアが高い = PE作業率が高い

7


• 実運用の基本メトリックス：
• FTRレート： 20% (最小値)
• PE スコア：35% (最大値)

8


• FTRレート向上のサイクル
• PE 前後を比較：
‐ PE 修正による用語集のアップデート
‐ 自動ポストエディット機能
EN: To save the file, press the button [SAVE].
MT: ファイルを保存するには、ボタン[SAVE]を押してください。
PE : ファイルを保存するには、 [SAVE]ボタンを押してください。

• ポストエディターに品質アンケート：
文法、スタイル、用語ミスについてのフィードバック
プロジェクト毎にFTRデータを保存・エンジンアップデート
• 上限: 約 55% (言語により異なる)

9


• PEスコア
• FTRレートが上限到達時、PE スコアにフォーカスシ
フト
• PE スコアが高い
= PE 作業率が高い
= PEの代わりに最初から翻訳し直す

• PE スコア改善のサイクル
• 用語集のファインチューニング
• PEの自動化
• 下限: +/‐ 10%

10


• FTRレートとPEスコアの進化：
サービスマニュアル翻訳プロジェクト
FTR and PE score evolution (German; 6 months)
60

50

40
FTR

30

PE score

20

10

0
Jan


Feb

Mar

Apr

June

July

11


プロジェクト : オンラインチャット
• 品質要件: 理解可能な翻訳
•
•
•
•

用語が重要
文法、スタイル面の重要度は低い
即時納品
人的作業の介入不可 (=no PE)

• 実運用のメトリックス：
• お客様の判断による(平均85％)

※プロジェクト①との条件の違い
• 参考翻訳なし
• FTRレートとPE スコアの関連なし(不可)

12


シンプルなスコア定義:
• 人による評価
• 4‐レベル評価:
4. 完璧に理解可能
即理解でき、文法的にも正しい
例: JA: お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained about broken door handle.

3. 充分理解可能
文法にミスがあるが、少し考えれば理解可能
例: JA:お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained door handle broken.


13


2. かろうじて理解可能
全体の意味が不明、理解する為の努力が必要
EN: Customer complained door handle corrupt.

1. 理解不可能
意味をなさず、明らかに良くない
EN: Handle customer complained door corrupt.


14


• スコア向上のサイクル
• ヒューマン翻訳ボタン
• 顧客フィードバック・メカニズム
• 顧客の求めるサービスレベルに応じた、頻度の
高いエンジンのアップデート
Online chat: evaluation for Russian
90
80
70
60

Quality1

50

Quality2

40

Quality3

30

Quality4

20
10
0
Nov. 2011


Nov. 2012

Nov. 2013

15


ご清聴ありがとうございました!


16

Machine Translation Quality Metrics

Recomendados

Recomendados

Más contenido relacionado

Último

Último (9)

Destacado

Destacado (20)

Machine Translation Quality Metrics