새 기법으로 텍스트 모델 정확도 최대 6.7%포인트 개선

한 줄 요약

텍스트를 여러 차례 다듬는 언어 모델에서는 정확도와 계산 비용이 모델 자체나 출력 길이뿐 아니라 과제의 성격에도 좌우된다.

Research Papers

T2Quant: 같은 정밀도 예산으로 정확도 개선

T2Quant는 수치 정밀도를 낮춰 작동하는 텍스트 생성 모델의 정확도를 개선하는 기법이다. 논문은모델 3개와벤치마크 6개를 대상으로, 같은 정밀도 예산에서 기존 기법보다 평균 정확도가 최대6.7%포인트 높아지는 결과를 보고한다. ¹확산 언어 모델 (Diffusion Language Models, DLMs)은 텍스트를 반복적으로 정리하는잡음 제거 과정을 거쳐 글을 생성한다.양자화는 내부 수치를 표현하는 비트 수를 줄이는 방식으로, 소수점 아래 자릿수를 줄여 반올림하는 것과 비슷하다. 논문은 이러한 수치 정보 손실에 대한 민감도가 과제와 생성 단계에 따라 달라진다는 점을 확인한다. ¹혼합 정밀도 양자화는 민감한 계산에는 더 세밀한 수치 표현을, 덜 민감한 계산에는 더 낮은 정밀도를 배정한다. T2Quant는 정답이 표시된 데이터나 과제별 채점 기준 없이 얻는 민감도 신호로, 잡음 제거 단계마다 중간 계산값의 정밀도를 배분한다. 보고된 개선은 고정된 예산 안에서 배분을 조정한 결과이므로, 같은 과제와 같은 예산에서의 정확도가 핵심 비교 기준이다. ¹

확산 언어 모델: 과제와 언어에 따라 달라지는 계산량

두 번째 연구는 길이가 같은 답변을 생성하더라도 글쓰기 과제에 따라 필요한 계산량이 크게 달라진다는 점을 보여준다. 확산 모델 2개와 과제 10개를 분석한 결과, 입력을 복사하거나 조금 수정하는 작업은 자유로운 글쓰기보다 계산 비용이 낮다.DiffusionGemma에서는 이야기 쓰기에 필요한 토큰당 모델 실행 횟수가 문법 교정보다3배 이상 많으며, 토큰은 텍스트를 나누는 작은 단위를 뜻한다. ²

이 차이의 상당 부분은 출력이 입력에 비해 얼마나 새로운지, 그리고 사용한 단어가 해당 과제에서 얼마나 드문지로 설명된다. 하나의 응답 안에서도 같은 경향이 나타나며, 앞선 추론을 반복하는 최종 답변은 계산 비용이 낮고 새로운 내용을 추가하는 답변은 비용이 높다. 더 많은 토큰으로 나뉘는 언어는 토큰당 모델 실행 횟수도 많아, 토큰 수가 늘어나는 데 따른 비용에 계산 부담이 추가된다. ²

같은 수학 문제에서는 오답이 정답보다 토큰당 모델 실행 횟수가 많다. 더 빠르게 생성된 답변 후보에 높은 가중치를 주는 방식은 보고된 실험에서 추가 계산 비용 없이 다수결보다 답변 선택 점수를 최대 4.2점 높인다. 따라서 생성 속도는 이 연구에서 유용한 판단 신호이지만, 개별 답변의 정답 여부를 보장하지는 않는다. ²

왜 중요한가

두 연구는 하나의 정확도나 속도 수치에 가려질 수 있는 질문을 분리한다. 모델이 어느 계산에서 수치 정밀도를 필요로 하는지, 특정 글쓰기 과제가 얼마나 많은 계산을 요구하는지가 각각의 질문이다. 한 연구는 고정된 정밀도 예산을 재배분하고, 다른 연구는 출력 길이만으로 계산 비용을 설명할 수 없는 이유를 보여준다. 핵심 용어는 수치를 덜 세밀하게 표현하는 양자화, 그리고 텍스트 조각 하나를 만드는 데 필요한 계산량인토큰당 모델 실행 횟수이며, 둘을 연결하는 기준은 같은 과제에서의 비교다. ^{1 2}