왜 세 서비스가 다른 걸 재는가 — heymingky 방법론 비교

heymingky 에서 운영하는 세 서비스 — 오늘의 ETF, 오늘야구, 밍슈의 분석노트 — 는 만드는 원칙이 같다. 미래를 미리 보지 않는다, 비용을 뺀다, 진 것도 남긴다, 사람 손 없이 자동으로 갱신한다. 하지만 "검증"이라는 말이 뜻하는 것은 셋이 다 다르다. 무엇을 맞다·틀리다로 재는지 정리해봤다.

오늘의 ETF — 과거로 미리 돌려본다

국내·해외 ETF 889종을 규칙 16개로 1,242회 백테스트한다. 검증의 기준은 "이 규칙이 과거에 지수를 이겼는가"이고, 무엇을 이겼다고 칠지는 결과를 보기 전에 정해 뒀다. 실제 결과는 414개 조합 중 409개가 합격 기준에서 떨어졌다(기준선은 지수를 사서 그대로 두는 것). 2026-10-12 17:59 생성 실험의 결과다. 최종 판정을 통과한 전략·시장 묶음은 없었습니다. 검증 방법과 원자료는 공개돼 있다. 이 서비스는 그 결과를 숨기지 않고 첫 화면에 그대로 적는다. 백테스트 서비스 대부분이 "이 전략을 썼으면 이만큼 벌었다"는 쪽만 보여주는 것과 다른 지점이다.

여기서 검증은 정해진 구간의 과거를 시험하는 것이다. 같은 데이터·규칙·구간이면 결과도 같지만, 새 시세가 쌓이거나 규칙과 검증 구간을 바꾸면 판정이 달라질 수 있다. 그래서 원자료의 생성 시각을 함께 본다. 매일 나오는 "오늘 그 규칙이 뭘 고르는가"와 그 규칙의 과거 성적은 서로 다른 결과다.

오늘야구 — 미래를 찍고 다음 날 채점한다

오늘야구는 반대다. 시세처럼 이미 정해진 과거가 아니라, 아직 안 끝난 경기를 선발투수 기록·불펜 평균자책·최근 흐름으로 예측한다. 그리고 다음 날 결과가 나오면 맞았는지 채점해 누적치를 공개한다. 지금까지 665경기를 채점했다.

이 방식의 기준선은 "홈팀을 무조건 찍으면 나오는 승률"이다. KBO는 홈팀 승률이 대략 50% 근방에서 움직이므로, 예측 서비스가 이 숫자를 못 넘기면 아무 의미가 없다. 오늘야구는 지금 적중률이 이 기준선과 얼마나 떨어져 있는지를 기록 페이지에 그대로 남긴다. 채점은 매일 새로 쌓인다 — ETF 백테스트와 달리, 내일 경기가 끝나면 표본이 하나 더 늘고 적중률은 다시 움직인다.

밍슈의 분석노트 — 맞고 틀림이 아니라 숫자를 옮기지 않는 것

청약·무순위(줍줍) 공고를 정리하는 이 서비스는 애초에 "맞혔다/틀렸다"를 잴 대상이 없다. 청약 결과는 예측하는 게 아니라 공고문에 있는 숫자 (분양가·대출 조건)를 그대로 가져와 실제 부담 금액·안전마진을 계산해 보여주는 쪽이다. 여기서 검증은 "계산이 공고문과 일치하는가"이지 "미래를 맞혔는가"가 아니다. 그래서 세 서비스 중 유일하게 승률이나 수익률 같은 채점 지표가 없다.

셋을 나란히 놓으면

세 서비스를 하나씩 보면 각자 자기 분야 이야기만 하는 걸로 보인다. 나란히 놓아야 보이는 게 있다 — "검증"이라는 단어를 편하게 쓰는 서비스가 많지만, 실제로는 이 세 가지 중 무엇을 뜻하는지에 따라 완전히 다른 얘기가 된다는 것. heymingky 가 만드는 것마다 방법 페이지를 따로 두고 한계를 적어 두는 이유이기도 하다.

---

*이 글의 서비스 수치는 각 서비스가 공개하는 데이터(오늘의 ETF 검증 결과, 오늘야구 채점 기록)에서 사이트를 만들 때마다 다시 읽어 넣는다. 실험이 다시 돌거나 경기가 쌓이면 숫자도 따라 바뀐다.*