계산 방법

한 줄 요약

“이 모델, 벤치마크 점수만 좋은 거 아니야?”를 데이터 근거 80%와 커뮤니티 평판 20%로 매깁니다. 점수가 높을수록 벤치맥싱 의심이 큽니다. 방문자 투표는 점수에 넣지 않고 따로 보여 줍니다.

• 🏆벤치맥싱 끝판왕80점 이상
• 🛠️벤치 장인60점 이상
• 😐평범한 편40점 이상
• 💄살짝 화장20점 이상
• 😇정직한 모델0점 이상

데이터 근거 (80%)

• 실제 작업(GDPval-AA, AutomationBench-AA, GDP.pdf, FrontierSWE) 실력으로 보면 공개 벤치마크(Humanity's Last Exam, GPQA Diamond, SciCode, Terminal-Bench 2.1, Terminal-Bench 4.0)가 몇 점쯤 나와야 하는지 예측하고, 실제 점수가 가장 많이 튄 벤치마크를 봅니다.
• 개발사가 발표한 점수가 같은 시험을 제3자가 다시 돌린 점수보다 유난히 높은지도 봅니다.

커뮤니티 평판 (20%)

Hacker News 등에서 실제로 써 본 사람들의 후기를 모아, 벤치마크·홍보·체급에 비해 “기대만 못하다”는 의견의 비율을 냅니다. 거절, 안전장치, 가격, 속도처럼 실력과 무관한 불만은 세지 않고, “benchmaxxed”라는 직접 지적은 두 번 셉니다. 의견이 적은 모델은 전체 평균 쪽으로 당깁니다.

방문자 투표 (점수와 별개)

리더보드에서 받는 👍 훌륭한 모델 / 👎 벤치맥싱! 투표입니다. 차트 막대에 마우스를 올리면 모델별 결과가 크게 보이고, 그 자리에서 바로 투표할 수도 있어요. 비율은 👍·👎만으로 계산하고 🤷 몰라요는 표 수만 보여 줍니다. 브라우저마다 모델당 한 표(다시 누르면 변경)이고, 같은 네트워크에서는 모델당 3표까지만 받습니다. 점수는 바꾸지 않아요.

점수 펴기

두 신호를 같은 잣대로 맞춘 뒤 80:20로 섞고, 모델끼리 차이가 잘 보이도록 평균 50을 중심으로 넓게 폅니다. 점수는 “다른 모델과 비교해 얼마나 의심스러운가”로 읽으면 됩니다.