シンプルMTスコア

機械翻訳の自動評価をGUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアです。

特徴

  • 従来のソフトウェアはコマンド操作が必要でしたが、不慣れな人でもGUIによる操作で自動評価を試せます。
  • BLEUとGLEU(Google-BLEU)のスコアを計算できます。
  • Windows版とMac版があります。Windows版はWindows 10、Mac版はmacOS 10.12で動作を試しています。
  • 無償でご利用いただけます(動作の完全性は保証はしません)。

使い方

【1】
まず以下のリンクからソフトウェアをダウンロードしてください。リンク先ページの右上にある下矢印ボタン([↓])をクリックするとダウンロードできます。

【2】
Windows版の場合、zipを解凍し「SimpleMTScore.exe」をダブルクリックすると起動します。
Mac版の場合、zipを解凍し「SimpleMTScore.app」をダブルクリックすると起動します。

【3】
起動後、まず「参照訳を入力:」の下に、お手本となる訳を入力します。通常は人の訳です。
複数のセンテンスがある場合、改行で区切ります。同様に「評価訳を入力:」の下に機械翻訳の出力を入れます。
参照訳と評価訳のセンテンスは数を同じにし、各センテンスが対応するようにしておいてください。

【4】
続いて「実行」を押すと、BLEUスコアとGLEUスコアが表示されます。



参考情報

  • スコア計算にNLTK、日本語分かち書きにJanomeを利用しています(いずれもApache 2.0ライセンス)。
  • BLEUスコアは0〜1の間の値になります。計算方法の詳細はウェブ検索などで確認してください。
  • GLEU(Google-BLEU)スコアについてはNLTKの説明をご覧ください。