プロジェクトを推薦このガイドは、自分の論文の説明の明瞭さを点検するための手順です。Jev Paper Judge は PDF の文章を抽出し、節と段落に分け、提示の分かりやすさと必要な説明の有無を評価します。研究結果の正しさ、引用先の内容、採否は判定しません。
再現できる小さな課題
- 公開してよい自分の草稿を 2 部保存します。A は元の版、B は「限界」の段落だけを削除した版です。それ以外の本文、見出し、PDF 出力設定は変えません。機密原稿は送信しないでください。
- 両方の PDF で本文を選択・コピーでき、序論、方法、結果、結論の見出しを確認します。画像のみのスキャン PDF は OCR されません。
- プロジェクトの README に従ってローカル環境と自分の TypeSafe API キーを用意し、同じバージョンのツールで 2 版を評価します。下記のコマンドはリポジトリ内で実行します。
- 2 件の JSON レポートで、抽出された節、限界に関する項目、不確実と表示された箇所を比べます。想定した段落以外の抽出が変わった場合や見出し検出に失敗した場合は、比較を無効とします。
- 実際に直す前に、著者または分野の読者が原文と引用文献を開いて確認します。スコアの上昇や低下だけで結論を決めないでください。
pnpm judge original.pdf --json original.json
pnpm judge without-limitations.pdf --json without-limitations.json何をもって有用とするか
| 確認点 | 採用する条件 | 人が確認すること |
|---|---|---|
| 抽出 | 本文と節の順番が両版で読める | 表、数式、見出し、付録の欠落 |
| 限界の指摘 | 変更した段落に関係する指摘を追える | 実際の論文に妥当な指摘か |
| 不確実さ | 自信の低い指摘を別に扱える | 修正の前に原文を読み直す |
| 真偽と引用 | 自動判定の対象外と明記する | 主張、数値、引用元を別に照合する |
適用範囲と安全策
これは編集上の対照実験であり、精度測定ではありません。PDF 抽出と見出し検出はヒューリスティックです。プロジェクトの評価基準や閾値を変えた場合は、元の参照表も作り直す必要があります。PDF から取り出した内容は評価のため TypeSafe に送られます。共同研究者の未公開原稿や機密資料は、送信する権限と取り扱い条件を確認するまで使わないでください。
Pydantic AI + Jev Examples は別の用途です。エージェントが入力を受ける前やツールを実行する前に型付きの判断を挟む例であり、論文の真偽を検証する仕組みではありません。自動編集や公開を行う場合も、判断と実行を分け、人による確認を残します。