4,872
AI가 아이디어를 여러 개 만들고 다른 AI가 점수를 매기면, 좋은 아이디어를 자동으로 고를 수 있을까요? Ai2의 Old Ideas, Novel Problems는 이때 사용하는 novelty judge, 즉 연구 아이디어의 새로움을 판단하는 LLM 자체를 검증한 연구입니다.[19]
이 글은 연구 보조 에이전트와 LLM-as-a-Judge 평가를 만드는 개발자를 위한 해설입니다. 새로운 모델 순위보다 평가 데이터·질문·집계 방식이 판정을 어떻게 바꾸는지에 집중합니다.
💡 📅 표시 날짜는 2026년 10월 28일이며 선정 기준은 그날 09:00 KST 이전 공개입니다. 실제 자료 확인은 10월 29일 KST에 했습니다. 시의성의 근거는 10월 27일 UTC의 Ai2 공식 해설 공개이며, 논문은 10월 1일 첫 공개·10월 26일 v3입니다. 연구 전체가 28일 처음 등장했다고 주장하지 않습니다.[19][27]
💡 💡 핵심: 평가자가 내린 점수도 검증할 출력입니다. 사람이 쓴 자료에서 통과한 judge가 AI 생성물에서도 같은 기준을 유지하는지, 합리적인 다른 질문에서도 결론이 버티는지 확인해야 합니다.[19]
novelty judge는 아이디어 하나가 기존 연구에 비해 새로운지 판단하거나, 두 아이디어 중 어느 쪽이 더 새로운지 비교합니다.[19] 논문은 전자를 pointwise, 후자를 pairwise 평가로 구분합니다.[35][36]
연구는 새로움만 다룹니다. 영향력 등 다른 기준까지 종합해 아이디어의 전체 가치를 판정한 시험은 아닙니다.[35] 따라서 “새롭다”를 “구현 가능하다”나 “우리 제품에 유용하다”로 바꾸어 읽으면 안 됩니다.
설계 의견: 업무용 평가에서도 사실성, 유용성, 중복 여부를 하나의 점수로 합치기 전에 각각의 판정 기준을 정하는 편이 좋겠습니다. 아래 실무 제안은 연구 결과를 제품 평가에 적용해 보자는 의견이지, 그 제품에서 효과를 측정했다는 뜻은 아닙니다.
이 연구의 대상은 아이디어를 생성하는 모델만이 아닙니다. 모델, prompt, reasoning budget, 검색, 입력 형식, 판정 집계를 조합한 평가 절차가 대상입니다.[19][35]
공식 실험은 고정한 기준 설정에서 한 번에 한 설계 요소를 바꿉니다.[35] 결과 점수가 달라졌을 때 생성기가 나아진 것인지, 평가자가 다른 기준을 쓰기 시작한 것인지 나눠 볼 수 있도록 하는 접근입니다.
연구진은 ICLR 2026의 리뷰에서 기여의 새로움을 칭찬하거나 문제 삼는 문구를 추출했습니다.[19][35] 논문 채택은 품질의 여러 요소를 섞은 결과이므로, 채택 여부만 새로움의 대리 지표로 쓰지 않았습니다.[19]
Human-Only에는 높은 새로움의 근거를 가진 아이디어 154개와 낮은 새로움의 근거를 가진 아이디어 145개가 들어갑니다.[36] 높은 쪽은 해당 연구 분야의 상위 평가 논문이면서 리뷰의 새로움 평가가 긍정적이고 반대 신호가 없는 자료로 선별합니다.[19][35]
이것도 모든 연구자의 객관적 합의나 미래의 과학적 가치 자체는 아닙니다. 특정 학회 리뷰에서 정한 조건으로 만든 평가 기준이라는 범위를 유지해야 합니다.
두 번째 설정은 같은 인간 아이디어 154개와 Claude Sonnet 4.5가 생성한 아이디어 154개를 비교합니다.[19][36] 생성기는 분야와 새 아이디어를 내라는 지시만 받으며, 문헌 검색·도구·반복 개선·피드백은 사용하지 않습니다.[19]
핵심 제약은 생성된 아이디어를 낮은 새로움으로 가정했다는 점입니다. 연구진도 이를 개별 아이디어마다 확인한 정답이 아닌 weak label이라고 명시합니다.[19][35]
전문가가 30쌍을 확인한 보완 검사가 있지만 어려운 사례에 치우친 sanity check입니다. 전체 라벨을 검증한 대표 표본으로 취급하지 않습니다.[19][35]
💡 ⚠️ 이 설정으로 “AI가 만드는 아이디어는 모두 새롭지 않다”고 결론 내릴 수 없습니다. 검색과 실험을 갖춘 모든 연구 에이전트를 평가한 것도 아닙니다.[35]
Ai2는 GPT-5.4가 동일한 Human+Generated 쌍을 평가할 때, 두 prompt에서 정확도가 **93.5%와 40.9%**로 달라졌다고 보고합니다.[19] 이 수치는 연구진의 해당 시험 결과이며 최신 모델 전체의 성능이나 일반적인 과학 능력 점수가 아닙니다.
두 질문의 차이를 요약하면 다음과 같습니다.[19][35]
이는 같은 뜻의 문장을 조금 다듬은 실험이 아닙니다. 첫 prompt에는 리뷰어 판단이라는 추가 정보가 있으며 논문도 두 prompt는 동등하지 않다고 명시합니다.[35] 제3자 해설인 Mundo IA도 단순한 문체 수정이 아니라 정보 차이가 있다는 점을 지적합니다.[30]
따라서 여기서 배울 것은 “단어 몇 개만 바꾸면 모델 지능이 무너진다”가 아닙니다. 실무자가 선택할 법한 두 평가 절차가 같은 입력에 다른 판정을 내릴 수 있다는 점입니다.[35]
정확도는 기준 라벨에 얼마나 맞는지를 묻습니다. 반면 같은 아이디어 쌍에 대한 판정이 설정에 따라 바뀌는지는 정답 라벨을 확정하지 않아도 관찰할 수 있습니다.[35]
약한 라벨이 있다면 정확도의 해석에는 주의가 필요합니다. 그렇다고 동일 입력에 대한 상반된 판정이 사라지는 것은 아닙니다.[35] 반대로 판정이 안정적이라는 이유만으로 옳다고 할 수도 없습니다.
설계 의견: 평가 report에 점수 하나 대신 라벨의 출처, 설정별 판정 변화, 판단 보류를 함께 남기세요. “높은 점수”와 “잘 검증된 평가 절차”를 구분하는 데 목적이 있습니다.
다음은 연구 보조 서비스의 설계 제안입니다. 실제 고객 도입이나 이 작성자의 API 실행 결과가 아닙니다.
사람이 쓴 초록만 평가하지 말고, 서비스가 실제로 만들 AI 아이디어도 분리해 넣습니다. Ai2도 human-authored 자료의 검증 결과를 AI 생성물에 그대로 옮기지 말고 실제 평가 대상에 맞추어 시험하라고 제안합니다.[19]
팀의 기술 조사 에이전트라면 기존 해결법을 반복한 제안, 구체적으로 다른 메커니즘을 제시한 제안, 정보가 부족해 판정할 수 없는 제안을 구분해 볼 수 있겠습니다. 이는 이 글의 예시이며 공개 benchmark에 그런 업무 라벨이 들어 있다는 뜻은 아닙니다.
같은 기준을 표현만 바꾼 시험과, 리뷰·관련 문헌처럼 정보를 더 준 시험은 별도 실험으로 기록하세요. 모델 ID, prompt 원문, 생성물의 출처, 검색 자료, 집계 방식을 함께 고정하는 것이 이 글의 권고입니다.
공식 실험에서도 prompt, reasoning, 검색, 아이디어 표현, 집계, 생성기 변경을 구분합니다.[19] 모델을 바꿀 때에는 이전 모델에 맞춘 prompt의 효과가 그대로 옮겨진다고 가정하지 않습니다.[19][35]
공식 기준 설정은 pointwise에서 세 번의 호출을 다수결로 합칩니다.[35] pairwise는 A/B와 B/A 순서마다 세 번씩, 총 여섯 호출로 위치 편향을 줄이며 동일 득표는 tie로 남깁니다.[35][38]
따라서 “샘플 세 개”라는 설정만 보고 사례당 비용도 세 호출이라고 계산하면 안 됩니다. 논문은 tie를 오답으로 보는 strict-accuracy와 절반 점수로 보는 soft-accuracy도 구분합니다.[35]
공식 example config의 num_instances 기본값은 5입니다.[38] 설정이 동작하는지 확인하는 작은 실행과 전체 평가를 혼동하지 않아야 합니다. 이 글에서는 어느 쪽도 API로 실행하지 않았습니다.
편집 의견: 검토할 아이디어가 적거나 결정의 영향이 크다면, 자동 탈락 점수를 만들기보다 관련 원문과 차이를 정리하게 한 뒤 사람이 검토하는 방식부터 시작하는 편이 단순합니다. 연구진도 novelty judge를 중요한 판단이나 사람의 peer review 대체재로 쓰는 데 주의를 요구합니다.[35]
반대로 대량의 생성물을 지속적으로 비교한다면 고정한 prompted judge를 baseline으로 두고, 실제 입력 분포에서 평가자 자체의 정확도와 민감도를 측정할 이유가 있습니다. 이 경우에도 점수는 선별 보조 신호로 다루는 것이 이 글의 제안입니다.
Ai2는 해당 Human+Generated 시험에서 단순한 Claude Opus 4.6 prompt와 낮은 reasoning·세 번 다수결의 조합이 두 전용 평가기보다 높은 macro-F1과 낮은 총 평가 비용을 보였다고 보고합니다.[19] 비교 대상은 Idea Novelty Checker와 AI Scientist의 novelty 평가 절차입니다.[19][35]
단순 judge와 전용 평가기는 검색 방식뿐 아니라 판정 호출·집계 조건도 다릅니다.[19][35] 따라서 이를 “RAG는 쓸모없다”거나 특정 모델이 언제나 싸고 정확하다는 인과적 결론으로 확대하지 않습니다.
운영 판단 제안: 검색 색인, 외부 API, 반복 탐색을 추가할 때에는 같은 업무 자료와 비용 한도에서 개선되는지 먼저 비교하세요. 더 복잡한 구조 자체를 엄밀함의 증거로 삼지 않는 것이 핵심입니다.
검토한 repository commit은 9b2e69f3dfb46f30ffaa38414e581ad38322bf2b, 논문은 arXiv v3입니다. cutoff 이전 문서로 고정했으며 main의 나중 변경을 당시 기능으로 옮기지 않았습니다.
공식 문서는 코드 Apache 2.0, 데이터 ODC-BY 1.0을 구분합니다. 리뷰 발췌의 CC BY 4.0 attribution과 모델 생성물에 적용될 수 있는 제공자 약관도 별도로 안내합니다.[36][37]
또한 공개 자료는 judge 평가용 작은 test set이며 학습·fine-tuning에 쓰지 말라고 명시합니다.[37] 공개됐다는 이유만으로 학습 데이터로 재사용하지 않는 것이 좋습니다.
공개 데이터에는 전체 prompt/response 로그, reasoning trace, 검색 transcript가 포함되지 않습니다.[37] 코드와 데이터를 읽은 것만으로 논문의 모든 실행 흔적을 독립 검증했다고 말할 수 없습니다.
이번 글은 공식 해설·논문·고정 commit의 기술 문서와 제3자 해석을 대조한 문서 기반 해설입니다. 다른 조직의 독립 재현이나 실제 운영 성과는 확인하지 못했습니다. 공식 repository의 issue 목록이 비어 있어도 결함이 없다는 뜻으로 해석하지 않습니다.
연구는 한 학회 자료를 중심으로 일부 모델과 평가 설정을 시험했고, 설계 요소 전체의 조합을 전수 검증하지 않았습니다.[35] 이 결과를 한국어 고객지원 평가나 모든 최신 judge 모델의 정확도 수치로 옮겨 쓸 수 없습니다.
전문가 30쌍의 오류/대조군 세부 구성은 paper와 README의 설명이 달라 이번 글에서는 그 비율을 사용하지 않았습니다.[35][36] 공통으로 확인되는 것은 작은 표본의 보완 검사가 전체 라벨 검증을 대신하지 않는다는 범위입니다.
💡 🔎 검증 노트: 직접 설치·유료 API 호출·모델 평가·benchmark 재현은 하지 않았습니다. 실제 수행한 작업은 공개 원문 수집, 날짜·commit·주장 대조, 로컬 인용 및 문서 구조 검사입니다. 제안 시나리오는 실행 사례와 구분했습니다.
아이디어를 많이 만드는 능력과 좋은 아이디어를 가려내는 능력은 별개입니다. 자동 평가를 도입할 때 먼저 물어야 할 것은 **“이 답변은 몇 점인가?”보다 “이 평가자는 무엇으로 검증했는가?”**입니다.
[19] https://huggingface.co/blog/allenai/novelty-bench
[27] https://arxiv.org/abs/2610.02022
[30] https://www.mundoia.com.ar/ia-evaluar-originalidad-cientifica