生成AIで通過チェックはできる？
自分が過去に投稿していたものを生成AIに読み込ませ、感想＆通過チェックを行いました。知人も試したそうで、かなり情報交換をしましたが、おおよそ意見は一致していました。
おもに使ったのはGemini、Chatgptです。総括するとこんな感じ。
感想：わりと読めているなという印象。ただ、たまにまったく読めていないこともある。
通過チェック：あまりあてにならない（高めに出る）。が、自作のレベル評価としては有用。
詳細をまとめてみようと思います。
感想・指摘など
どんな感想が返ってくるか
まずは小説をアップし、『感想をお願い』というプロンプトでやってみました。
充分に的確な感想が返ってきます。ものすごく優しく、褒め上手。基本的には高い評価をしてきます。
褒めるべきポイントは的確だと感じました。自分の作品だと客観性の問題であてにならないのでは？と思われるかもしれませんが、友人の分を見せてもらった（聞いた）かぎり、『自分でもそこを褒める（褒めた）』という感想が返ってきていました。
なお、自分は全体と伏線を褒められることが多かったです。「前半でXがこういう行動を見せていたので、後半の心情の変化がうまくはまっていた」など。
知人の一人はかなりの実力者（いわゆるハイワナビ）なのですが、こちらは構成に触れた感想もあり（私も同様の感想を持っていましたし、知人は作品の構造と完成度のレベルが高い人です）、かなり読み込めているなという印象です。
なお、一次落ち作品でもとても褒めてくれます。自信を持ちたい人にはお勧めです。
感想よりも指摘がほしい場合
プロンプトを変更します。
『厳しめに評価してください』
『小説新人賞の選者になって、落とすつもりで指摘してください』
『小説の編集者のつもりで、よりよい作品になるように改善点を教えてください』
厳しめにというだけでも、指摘を多めに入れるようになります。
たとえば、「テーマAとBでどちらがサブテーマになっているのかわからない。とくにBのテーマを入れたために、逆に主人公キャラクターの統一感が薄れている」のような指摘がありました。いわれてみれば納得の指摘だったので、本当に読めているんだなと感動しました。
また、同じ作品を別の方法（別のタイミング、別のプロンプト、別のスレッド）でアップした場合、指摘が異なることがあります。複数回やって多角的な評価を見るのもありかもしれません。
指摘を自分なりに消化したあとで、会話で改善策を詰めていくことも有用です。AIに頼りきりにするより、自分なりの意見、アイディアを出しながら詰めていったほうがよいように思いました。
おかしな指摘が返ることはある？
おかしな指摘が返ることも時々あります（読めていないのか、こちらの書き方が悪いのかわからない）。すべてを鵜呑みにしないようにしましょう。
たとえば「Yがどうして主人公に嘘をついたのかわからない」という指摘があったのですが、後半で理由を述べています。『後半で理由を述べているが、その部分が理解できなかったのか？』と訊ねると、「ほんとですね。たしかに書かれていますし、嘘をついた理由が理解できました」のような返答があったりしました。
指摘に対して納得できない場合、AIと対話して詰めていくことが可能です。
たとえば先ほどの「Yがどうして主人公に嘘をついたのかわからない」について詰めていくとします。なお、AIの返答は長いので、かなり要約しています。
私：後半で理由を述べているが、その部分が理解できなかった？
AI：ほんとですね。たしかに書かれていますし、嘘をついた理由が理解できました。
私：嘘をついた理由に納得できなかった？
AI：理由自体は理解できます。ですが、嘘をついたこと自体が読者の混乱を招いていると思います。
私：嘘をつかないと物語が成り立たない。
AI：唐突な嘘になっている気がします。理由がわかるまでの過程で嘘だとわかるようにすべきでは？
私：でも、Yの「これこれ」という行動で、途中で嘘って察せるのでは？
AI：仰る通りです。ただ、それを読み取れない読者もいると思われます。
けっこうおもしろいです。さらに会話した結果、この件については「修正する必要のない指摘」だと思いました。
通過できるかチェック
通過の可否はあまりあてにならない
というのも、高めに出ます。
一次落ち作品でも「一次通過は確実、最終まで残ってもおかしくありません」と返ってきたものがあるくらいです。
ただ、作品によっては「一次通過する可能性はあります」という返答もあったので、ある程度のレベル分けはしているようです。
自分はもう投稿をやめているので過去作での判断になりますが、一次通過したものはすべて「一次は通過、最終の可能性あり」で出ていました（落ちたものでも同じ評価が出ることさえある）。
いまも投稿を続けている友人の話でも、「最終に残る可能性が十分にあります」と評価された作品が普通に一次落ちの作品だったとか。
あてになるかというと、ならないかなという感じです。
ただ、以下の方法はわりと使えるのではないかと思います。
おすすめの方法
一次通過しますか？とたずねるのではなく、割合で出すようにプロンプトをいれてみましょう。たとえばこんな感じ。
『一次通過、二次通過、最終選考、受賞の可能性をパーセントで出してください』
同じ返答でも、パーセントで出してもらうと明らかに差があることが多いです。
「一次通過、二次通過の可能性があります」と評価されても、パーセントでは「一次通過10-20%、二次通過1-3%」というシビアな数値がでることも。一次落ちも納得できました。
私が過去にいい線までいった作品だと、「一次通過90%、二次通過60%、最終選考10%」でした。実際に二次までいっています。まったくあてにならないこともないなと思いました。
ちなみに、どちらも一般文芸です。
パーセントで見た場合は、少なくとも自分の過去作との差を計れます。また、過去作をアップしたうえで、『どちらの作品がよいか判断して』と頼むと、作品の上下を判断してくれます。理由もなかなかしっかり書いてくれるのですごいです。
人に頼むメリットは？
生成AIのメリットとデメリット
生成AIがここまでしっかり評価をしてくれるので、人に頼むよりもよいのではないかと思う方もいるかもしれません。
個人的な感想ですが、メリットとデメリットをまとめておこうと思います。
AIのデメリット
整合性
生成AIはかなりレベルの高い評価を返してきます。たら、細かいミスや指摘はそれほどしてくれません。この「ミス」は誤字や表記ゆれではなく、たとえば「前の場面で外に出たのに、次の場面でまだ部屋にいる」といった整合性です。
わかりやすく整合性の取れていない部分をスルーすることも多いです。プロンプトを工夫すれば指摘するようになるかもしれませんが、長編だととくに難しい印象です。
読みやすさのレベル
自分が書いたもので、複数の知人から「人間関係が複雑すぎて物語に入れなかった」と指摘された作品があります。AIはとくに複雑には思わなかったようです。登場人物が多めの作品でもAIはさらっと読めてしまうようで、「読みやすさ」の指摘が人と異なる可能性があります。
人は文章の読みやすさだけでなく、登場人物の数、出し方、特徴のつけ方を総合的に判断して、「読みやすかった」「読みにくかった」を判断しています。たとえば登場人物が多くても、キャラが立っていれば「読みやすかった」と判断します。そのあたりの感度はやはり人のほうが選考委員に近いのではないかと思っています。
その時々、聞き方で指摘がコロコロ変わる（ことがある）
同じ作品でも、評価が変わることがあります。
1度目はAにこだわっていたのに、2度目はBにこだわって指摘してきたりします。どちらも納得できる＆改善できるのであればいいのですが、うまく両立しないケースもありました。
自分で判断して改善に持っていければいいのですが、逆に迷ってドツボにはまる可能性もあると思います。
※シークレットモードにして（学習に使わない設定）、履歴も都度消しているせいかもしれません。普通モードではこんなことはないかもしれないです。
【追記】この記事を書いたあともいろいろ遊んでいたのですが、geminiで、当初は1次通過率90%と出た作品を、べつのスレッドで厳しめに評価してお願いしたら、1次通過率が0%になりました。さすがに何を信じていいのかわからない笑 評価内容もまったく違うので、目が点に。プロンプトでここまでかわるのかと驚きました。
新規性のチェック
新規性についての判断は甘い気がします。
また、「〇〇の部分で新規性あり」と評価してくれていたのに、どうして二次落ちしたのかとたずねると、「新規性が薄いと、二次、最終は難しいです」といってきたりします。
人でも判断が難しいですが、AIはすぐ「〇〇のとらえ方が新しくていいです」などといってくるので注意が必要かもしれません。
スレッドによっては『評価できません』といってくる。
評価をお願いしたら、「私はAIなので小説を読むことはできず、評価できません」のような返答がきました。なんどお願いしてもだめだったので、新しいスレッドでもう一度お願いしたら評価してくれました。
同一スレッドに複数の作品を入れると、作品が混ざることがある
作品を比較してもらうために、何作が一緒にアップしたとします。一作ごとに評価をくれるんですが、最後に、『複数を比較して評価し、講評してください』などのプロンプトを入れると、複数作品が混じり合って意味不明の講評をしてくることがある。
AIのメリット
・読むのが早い
・すぐ感想が出てくる
・対話がすぐにできる
・好みで判断しない（逆にこれがデメリットになる可能性もある）
・改善点を大量に出してくれる
・遠慮せずいろいろ聞けるし、頼める
まとめ
AIすごいなという感想しかないです。
ただ、まだまだ人に読んでもらって感想を聞くのはものすごく有用だと思います。
AIの評価がプロンプトやAIのご機嫌によってけっこう左右されている気がするんですよね。上にも書いたように、同じ作品を複数回挙げると、評価がころころ変わることがあります。
