日本語測定（カタカナ変換）
日本語の文を、モデルにカタカナの読みへ直させます。正解を持った問題なので、答え合わせは機械がやります。結果は「何%合っていたか」と、どの文字を間違えたかの朱書きで出ます。サイドメニューの「日本語測定」にある2つの画面を使います。
何を測るのか
「吾輩は猫である。名前はまだ無い。」のような1行の文を5つ渡し、それぞれの読みをカタカナで書かせます。漢字の読み、送り仮名、助詞の扱いがそのまま答えに出るので、そのモデルが日本語をどこまで読めているかが分かります。
作品管理の「同じ条件で比べる」は、できた絵を人の目で見比べるためのものです。こちらは答え合わせができる比較で、結果は数字で出ます。
| カタカナ変換 | 測る画面。左で条件を選び、「測る」を押すと右に結果が出ます。 |
|---|---|
| カタカナ変換履歴 | これまでの測定。同じ条件の測定をまとめて比べたり、画像で保存したり、消したりする画面です。 |
測る
1回の測定で使うモデルは1つです。複数のモデルを比べたいときは、同じ条件のままモデルだけを変えて、1つずつ測ってください。同じ条件の測定は履歴で自動的にまとまります。
| モデル | 測るモデル。 |
|---|---|
| コンテキスト長 | 8,192〜65,536から選びます。既定は32,768です。思考するモデルは考えた分だけここを使うので、小さすぎると答えを書き切る前に打ち切られます。 |
| 思考の深さ | 未指定のときはOllamaの既定のままで、多くのモデルは思考します。思考をなしにすると速くなりますが、測る条件が変わるので別の比較になります。 |
| 題材の送り方 | まとめて1回（既定）は5つの文を1回のリクエストで送ります。速い代わりに、返事が壊れると5つとも測れません。1題材ずつは文ごとに送るので、前の文の読み方が次の文に引きずられませんが、そのぶん時間がかかります。 |
| 送るプロンプトを確認 | モデルへ実際に送る文面を、送る前に見られます。 |
結果の読み方
1つの文ごとに、原文、モデルの答え、その文の一致率が並びます。いちばん上にはモデル名と、5つの文を通した一致率が出ます。
間違いは答案の添削と同じ朱書きで示します。
| 赤＋下線、上に小さな字 | 読み違い。上の小さな字が正しい読みです。 |
|---|---|
| 赤＋取り消し線 | 余計な文字。正解には無い文字を書いています。 |
| 赤の「∧」、上に小さな字 | 書き漏らし。その位置に、上の小さな字が抜けています。 |
間違いのある文は、右端の%も赤になります。縦に%だけを追えば、どの文で落としたかが分かります。返事が読めなかった文は、印を付けずにモデルの出力をそのまま薄く出し、%は「—」になります。
一致率の数え方
文字がどれだけ合っているかで数えます。
一致率 = 一致した文字数 ÷ max(正解の文字数, 答えの文字数)
- 空白と記号は数えません。語の区切り方が違っても点は下がりません（
デ アルとデアルは同じです）。 - ひらがなで書いた答えは、カタカナとして照合します。
- 読み方が2通りある語（明日＝アシタ／アス など）は、どちらで書いても正解です。
- 5つの文を通した一致率は、文ごとの%の平均ではなく、5つの文の文字数を合計して数えます。長い文ほど重みが大きくなります。
一致率は保存していません。開くたびに、残してあるモデルの出力から数え直します。
履歴と「棚」
カタカナ変換履歴では、思考の深さ、コンテキスト長、題材の送り方が同じ測定が1つの枠にまとまります。この枠を「棚」と呼んでいます。条件が1つでも違えば別の棚です。同じモデルを同じ条件で測り直したときは、いちばん新しい1回だけが棚に出ます。
モデル名を押すと、その測定の結果が下に開きます。開いた結果の下にある「この測定を削除」で消せます。
モデルを選んで比べる
棚に2つ以上のモデルがあると、比べるボタンが出ます。
| Nモデルを比べる | 棚のモデルを全部並べます。 |
|---|---|
| 選んで比べる | モデルのボタンにチェックが付くようになります。比べたいものを2つ以上選んで「選んだN件を比べる」を押すと、そのモデルだけの比較が開きます。 |
比較の上には「書き出す順」が出ます。最初は5つの文を通した一致率の高い順です。↑ ↓ で入れ替えると、画面の答えの並びも、保存する画像の並びもその順になります。選んだモデルと並びはURLに残るので、開き直しても同じ比較が出ます。
選べるのは1つの棚の中だけです。条件が違う測定どうしは、同じ比較に入れられません。
比較では、モデルごとの答えが色の帯と枠でひとまとまりになります。帯には順位、モデル名、5つの文を通した一致率が入り、その下の枠の右端がその文の一致率です。順位は5つの文を通した一致率で数えるので、並びを入れ替えても変わりません。色は並び順で決まり、画面と保存する画像で同じモデルが同じ色になります。
画像で保存する
ブログやSNSへ貼れる画像（PNG）で保存できます。幅は1,000pxで、2倍の細かさで描くので、noteの本文幅（約620px）に縮んでも読めます。画像だけが流れても何の測定か分かるよう、見出し、送ったプロンプトの要点、測った条件と日付が入ります。
| 1つの測定 | 「この結果をPNG保存」で、5つの文を全部入れた1枚。 |
|---|---|
| 2モデルの比較 | 「1対1を1枚で保存（全題材）」で、2つのモデルのスコアと5つの文の答えを1枚に。どちらの答えかは色で見分けられます。 |
| 3モデル以上の比較 | 「モデル順位のサマリーを保存」で、順位と一致率の棒グラフの1枚。 |
| 文ごと（比較のとき） | 各文の右にある「この文を画像で保存」で、その文と全モデルの答えの1枚。ブログに要る文だけを順に貼れます。 |
比較の画像に入る日付は、載っているモデルを測った日の幅です。あとから測り足したモデルがあっても、それぞれいつ測ったかがずれません。