シンプルMTスコア

機械翻訳の自動評価をGUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアです。

特徴

  • 従来のソフトウェアはコマンド操作が必要でしたが、不慣れな人でもGUIによる操作で自動評価を試せます。
  • BLEUとGLEU(Google-BLEU)のスコアを計算できます。
  • Windows版とMac版があります。Windows版はWindows 10、Mac版はmacOS 10.12で動作を試しています。
  • 無償でご利用いただけます。ただしサポートや動作の完全性の保証はしません。

使い方

【1】

まず以下のリンクからソフトウェアをダウンロードしてください。Dropboxのページに移動するので、右上にある「ダウンロード」→「直接ダウンロード」ボタンをクリックします。

  • Windows版:SimpleMTScore_1-2-0_windows.zip(zipで約30MB、解凍後に約80MB)
    • ※ ソフトウェアでウイルスが誤検出されるせいか、Windows版のダウンロードが不可になっています(2019-04-08現在)
  • Mac版:SimpleMTScore_1-2-0_mac.zip(zipで約40MB、解凍後に約100MB)

【2】

Windows版の場合、zipを解凍し「SimpleMTScore.exe」をダブルクリックすると起動します。

Mac版の場合、zipを解凍し「SimpleMTScore.app」をダブルクリックすると起動します。

【3】

起動後、まず「参照訳を入力:」の下に、お手本となる訳を入力します。通常は人の訳です。

複数のセンテンスがある場合、改行で区切ります。同様に「評価訳を入力:」の下に機械翻訳の出力を入れます。

参照訳と評価訳のセンテンスは数を同じにし、各センテンスが対応するようにしておいてください。

【4】

続いて「実行」を押すと、BLEUスコアとGLEUスコアが表示されます。

参考情報

  • スコア計算にNLTK、日本語分かち書きにJanomeを利用しています(いずれもApache 2.0ライセンス)。
  • BLEUスコアは0〜1の間の値になります。計算方法の詳細はウェブ検索などで確認してください。
  • GLEU(Google-BLEU)スコアについてはNLTKの説明をご覧ください。