【制作の舞台裏 第4回】良い・悪いをAIに採点させる方法

自分で作ったものは、良いのか悪いのか、だんだん分からなくなる。3時間見続けた絵は、おかしくても見慣れてしまう。

そこで私たちは、AIに”採点役”をやらせた。作るAIとは別に、点検だけをするAIを立てる。これは映像に限らず、提案書でもチラシでも使える方法である。

「これ、良いですか？」と聞いてはいけない

最初にやった失敗が、これだった。作らせたAIに、そのまま「この絵、良いと思う？」と聞く。

返ってくるのは、ほぼ必ず肯定である。「はい、よく描けています。構図も自然です」。作った本人に採点させているのだから当然だ。人間でも同じことが起きる。

さらに悪いのは、会話の続きで聞いていることだ。AIは直前までのやり取りを踏まえて答える。「さっきまで一緒に作ってきたもの」を否定しにくい状態が、会話の中に積み上がっている。

点検役は「別の担当者」として立てる

私たちが採った方法は単純である。

作る役割と点検する役割を分ける。点検役には、作る過程を見せない。

具体的には、点検専用の指示書を持った別の役割を立てた。この役割は原作と指示書を読み、成果物が原作の設定と食い違っていないかだけを見る。どういう苦労をして作ったかは知らない。だから遠慮なく指摘する。

実際に、この点検役が拾ったものの例を挙げる。

• 原作では夜の場面なのに、指示書に「昼の光」と書かれていた
• 前のカットで着ていた上着が、次のカットの指示から抜けていた
• 同じ場面の説明が、章によって食い違っていた

いずれも、作りながらでは気づけない類のものだ。

採点は「点数」ではなく「基準」で頼む

もう1つ分かったのは、「10点満点で何点？」と聞いても意味がないことだった。AIは7点や8点をつけてくるが、その数字に根拠がない。翌日同じものを見せると違う点数が出る。

効いたのは、確認すべき項目を先に決めて、1つずつ○×で答えさせるやり方である。「服装は前のカットと同じか」「時間帯は原作と一致しているか」——判断が分かれない粒度まで落とすと、答えが安定する。