추천 랭킹의 다양성과 신기성 평가

1. 개요 - 30초 핵심

음악 앱이 내가 좋아하는 가수의 비슷한 곡 열 개를 정확히 추천했다. 틀린 곡은 하나도 없다. 그런데 한 달 뒤에도 같은 가수, 같은 분위기, 같은 시대의 곡만 나온다. 이 추천은 정확하지만 좁다.

추천 품질에는 여러 축이 있다. 정확도는 내 취향과 맞는지, 다양성은 목록 안 항목들이 서로 다른지, 신기성은 내게 덜 익숙한지, 뜻밖의 발견은 예상 밖이면서 실제로 가치 있는지를 묻는다. 카탈로그 범위는 시스템 전체가 얼마나 많은 항목을 한 번이라도 보여 주는지 본다.

새 후보를 시험하는 과정은 추천 랭킹의 탐색과 활용 균형, 기존 상위 항목의 고착은 추천 랭킹의 위치 편향과 자기 강화, 인기와 자료량은 평판 점수의 표본 크기와 최근성 가중, 적은 반응의 불확실성은 평판 점수의 신뢰구간과 베이지안 보정, 이용자의 기존 취향 선택은 미디어의 선별 효과와 보강 효과, 적합도 중심 순위는 검색 엔진의 작동 원리로 이어진다.

시험장에서는 맞나-다른가-낯선가-쓸모 있나 네 질문을 적는다. 한 질문의 답을 다른 질문의 답으로 바꾸는 선지가 가장 흔한 함정이다.

2. 주제 적합 예시

2.1. 라면 다섯 종류의 급식 추천

급식 앱이 매운 라면, 치즈 라면, 해물 라면, 크림 라면, 비빔 라면을 추천한다. 제목은 다섯 개이고 맛도 조금씩 다르다. 그래도 식사 범주로 보면 전부 면류다. 항목 수는 많지만 범주 다양성은 낮다.

밥·면·샐러드·국·간식을 한 칸씩 넣으면 같은 다섯 칸이라도 폭이 넓어진다. 다만 샐러드를 전혀 먹지 못하는 학생에게 무조건 샐러드를 넣으면 다양성은 높아도 개인 효용은 낮을 수 있다. 다양성은 관련성을 대신하지 않는다.

2.2. 정확도 92점과 다양성 20점

A 추천기의 정확도는 92점, 목록 다양성은 20점이다. B는 정확도 89점, 다양성 65점이다. 시험 직전 오답 복습처럼 틀리지 않는 것이 가장 중요한 상황에서는 A가 유리할 수 있다. 새로운 독서 주제를 찾는 상황에서는 B의 가치가 커진다.

‘어느 모델이 더 좋은가’라는 질문은 목표가 없으면 답할 수 없다. 정확도 90점 이상을 최소 조건으로 둔 뒤 다양성을 최대화하거나, 두 값에 가중치를 부여하는 식으로 평가 규칙을 밝혀야 한다.

2.3. 강의 네 편과 여행 영상 한 편

수능 문법 강의 네 편에 해외 여행 영상 한 편을 섞었다. 항목 간 차이를 재는 다양성 수치는 커질 수 있다. 그러나 수험생의 현재 목적과 무관하다면 좋은 추천이 아니다.

뜻밖의 발견은 단순한 놀라움이 아니다. 문법을 공부하던 학생에게 언어의 역사와 연결된 흥미로운 다큐를 제시해 공부 방향을 넓혀 주는 것처럼 예상 밖이면서 관련 있고 가치 있어야 한다.

3. 기출형 적용

3.1. 출발점: 2023학년도 9월 모의평가

검색 엔진 지문은 웹 페이지의 중요도와 검색어 적합도, 기타 항목을 합산해 화면 순서를 정한다고 설명한다. 사용자가 찾는 내용과 맞는 결과를 위에 두는 정확도·관련성 중심 구조다.

여기에 다양성을 넣으려면 상위 열 개가 같은 사이트·같은 관점·같은 형식으로 몰려 있는지 추가로 봐야 한다. 그러나 실제 지문은 다양성 재정렬을 설명하지 않는다. ‘검색 엔진은 반드시 다양한 관점을 섞는다’는 결론은 지문 밖이다.

3.2. 인접 연결: 2021학년도 수능

장소의 획일화 비평문은 인기 있는 장소를 따라 하면 고유한 특성이 사라지고 경험의 다양성과 장소 선택의 폭이 줄어든다고 설명한다. 전국의 골목이 같은 간판과 같은 사진 구도로 바뀌는 장면은 추천 목록이 인기 형식만 반복할 때와 닮았다.

다만 장소와 추천 알고리즘은 동일 대상이 아니다. 연결점은 인기 형식의 반복-고유성 감소-경험 범위 축소라는 구조다. 개념을 옮길 때 대상의 차이를 지우지 않는다.

3.3. 보기형 함정

갑 목록은 역사 강의 다섯 편, 을 목록은 역사·철학·경제·과학·예술 강의 한 편씩이다. 을의 범주 다양성은 높다. 하지만 사용자가 ‘조선 후기 세금 제도’를 찾는 상황이라면 갑이 더 관련 있을 수 있다.

‘을이 다양하므로 더 정확하다’도, ‘갑이 정확하므로 더 좋은 경험을 준다’도 자동 결론이 아니다. 평가 축과 목적을 먼저 표시한다.

4. 상세

4.1. 정확도 너머라는 말

정확도는 추천 항목이 실제 관심과 얼마나 맞는지를 잰다. 클릭 예측, 상위 순위의 적중, 별점 오차처럼 여러 계산 방식이 있다. 중요한 지표지만 목록의 반복성과 경험 폭을 직접 말해 주지는 않는다.

그래서 다양성·신기성·뜻밖의 발견·범위를 ‘정확도 너머’ 지표라고 부른다. 정확도를 버린다는 뜻이 아니라 추천 품질의 빠진 면을 보충한다는 뜻이다.

4.2. 목록 내부 다양성

한 목록 안 항목들 사이의 차이를 잰다. 장르, 주제, 제작자, 시대, 문체를 특징으로 놓고 두 항목 사이 거리를 계산한 뒤 평균을 낼 수 있다.

거리의 정의가 달라지면 값도 달라진다. 역사와 철학을 다른 과목으로 볼지, 인문학이라는 큰 범주로 묶을지에 따라 같은 목록의 다양성이 달라진다. 수치가 객관적으로 보여도 분류 기준을 확인한다.

4.3. 개인 간 다양성과 카탈로그 범위

각 이용자에게 다양한 목록을 주더라도 모든 이용자에게 똑같은 열 개만 보여 줄 수 있다. 개인 목록은 다양하지만 시스템 전체가 노출한 항목의 범위는 좁다.

반대로 개인마다 한 장르만 추천해도 서로 다른 이용자에게 다른 장르를 보여 주면 전체 범위는 넓을 수 있다. 개인 수준과 집단 수준을 바꾸어 쓰지 않는다.

4.4. 신기성

신기성은 이용자에게 얼마나 낯선지를 본다. 이미 열 번 본 영상은 관련성이 높아도 신기성이 낮다. 한 번도 본 적 없는 신작은 신기성이 높을 수 있다.

인기가 낮은 항목에 높은 신기성 값을 주는 계산도 있지만 개인 경험과 완전히 같지는 않다. 남들이 잘 모르는 인디 음악을 매일 듣는 학생에게 그 음악은 인기만 낮고 개인적으로는 익숙하다.

4.5. 뜻밖의 발견

뜻밖의 발견에는 예상 밖과 유용함이 함께 필요하다. 수능 경제 지문을 읽던 학생에게 게임 광고가 뜨면 예상 밖이지만 학습 가치는 없다. 경제 지문의 기회비용과 연결되는 영화 장면은 뜻밖이면서 이해를 넓힐 수 있다.

따라서 무작위성만 높인 목록을 뜻밖의 발견이 높다고 부르면 안 된다.

4.6. 재정렬

추천기는 먼저 관련성 점수로 후보를 만든 뒤 서로 너무 비슷한 항목을 일부 뒤로 보내고 다른 범주의 유망 항목을 올릴 수 있다. 이를 다양성 재정렬로 볼 수 있다.

관련성 점수와 항목 간 차이를 어떤 비율로 섞는지에 따라 결과가 달라진다. 다양성 가중치가 너무 크면 무관한 항목이 올라오고 너무 작으면 기존 목록과 달라지지 않는다.

4.7. 최소 조건과 가중합

한 방법은 정확도 90점 이상처럼 최소 조건을 둔 뒤 그 안에서 다양성을 높이는 것이다. 다른 방법은 정확도·다양성·신기성에 가중치를 주어 하나의 점수를 만드는 것이다.

가중합은 편리하지만 왜 그 비율을 골랐는지 숨길 수 있다. 서비스 목적과 이용자 집단이 바뀌면 가중치도 재검토해야 한다.

4.8. 다양성과 탐색

탐색은 아직 잘 모르는 항목을 노출해 정보를 얻는 행동이고 다양성은 결과 목록의 차이를 말한다. 다양한 목록이 탐색 기회를 늘릴 수 있지만 둘은 같은 개념이 아니다.

이미 충분히 알려진 여러 장르를 섞으면 다양하지만 새로운 정보 획득은 적을 수 있다. 신작 하나를 시험하면 탐색이지만 목록 전체는 여전히 한 장르일 수 있다.

4.9. 이용자 경험의 시간축

오늘 한 번의 목록은 적합하지만 한 달 동안 같은 형식이 반복되면 피로가 쌓일 수 있다. 반대로 처음에는 낯선 추천이 시간이 지나 새로운 취향이 될 수 있다.

짧은 클릭률과 장기 만족·이탈·취향 확장을 나누어 본다. 단기 반응이 높다고 장기 경험도 자동으로 좋지는 않다.

4.10. 공급 다양성

추천은 이미 있는 콘텐츠를 고르는 데서 끝나지 않는다. 제작자는 무엇이 노출되는지 보고 인기 형식을 따라 새 콘텐츠를 만든다. 같은 형식만 보상되면 목록뿐 아니라 공급 자체가 비슷해질 수 있다.

재정렬로 오늘 목록을 넓히는 것과 제작자가 내일 다른 콘텐츠를 만들 동기를 주는 것은 다른 단계다.

4.11. 시험장 네 칸

표를 네 칸으로 그린다. 관련성-항목 간 차이-개인에게 낯섦-예상 밖의 유용함이다. 전체 이용자 수준이 나오면 카탈로그 범위를 별도 칸에 추가한다.

선지가 ‘다르다’를 ‘좋다’로, ‘낯설다’를 ‘쓸모 있다’로, ‘개인 목록’을 ‘시스템 전체’로 바꾸는지 확인한다.

5. 헷갈리기 쉬운 것들

5.1. 1. 항목이 많으면 다양하다

같은 장르의 변형이 많을 수 있다. 항목 간 차이를 본다.

5.2. 2. 인기 없는 항목은 누구에게나 신기하다

개인 경험에 따라 이미 익숙할 수 있다.

5.3. 3. 예상 밖이면 뜻밖의 발견이다

관련성과 실제 가치가 함께 있어야 한다.

5.4. 4. 다양성은 정확도를 반드시 크게 떨어뜨린다

후보와 재정렬 방식에 따라 교환 크기가 달라진다.

5.5. 5. 개인 목록이 다양하면 전체 범위도 넓다

모든 이용자에게 같은 열 개를 보여 줄 수도 있다.

5.6. 6. 오늘 목록만 넓히면 공급도 다양해진다

제작자 인센티브와 장기 생산을 따로 본다.

6. 확인 문제

온라인 서점이 익숙한 문제집 네 권과 처음 본 독서 시간 관리 책 한 권을 추천했고, 학생은 그 책을 저장했다. 이것만으로 목록 다양성과 카탈로그 범위까지 높다고 판단할 수 있는가?

정답: 판단할 수 없다. 처음 본 책은 학생 이력에 비추어 새롭고, 저장 행동은 뜻밖의 발견이 유용했을 가능성을 보탠다. 하지만 목록 내부 차이와 전체 카탈로그의 노출 범위는 별도 자료로 확인해야 한다.

7. 관련 개념

• 추천 랭킹의 탐색과 활용 균형: 낯선 후보를 시험하는 과정
• 추천 랭킹의 위치 편향과 자기 강화: 인기 항목의 반복 고착
• 평판 점수의 표본 크기와 최근성 가중: 인기·신작의 자료량 차이
• 평판 점수의 신뢰구간과 베이지안 보정: 신작 반응의 불확실성
• 미디어의 선별 효과와 보강 효과: 기존 취향의 반복 선택
• 검색 엔진의 작동 원리: 적합도 중심 순위의 출발점