Artificial Analysis

소개

주요 기능

• 우선순위 설정(지능·속도·비용) → 개인화된 모델 추천 제공
• Intelligence Index 열람 → 10개 공개·AA 평가를 합산한 단일 점수로 모델 순위화
• Speed 지표 확인 → 실제 출력 토큰 수(tps)로 처리량 비교
• Price 차트 검토 → 공급사별 1M 토큰당 USD 비용 비교로 예산 수립
• AA-AgentPerf 사용 → 실제 하드웨어에서의 에이전트 워크로드 성능 결과 확인

이런 상황에 추천

• ML 엔지니어가 고객지원 에이전트를 도입하면서 품질과 낮은 지연을 동시에 만족할 공급자를 선정할 때
• 제품 매니저가 코딩 어시스턴트 기능용 모델 후보를 좁히며 1M 토큰당 비용을 동시에 비교할 때
• CTO가 내부 추론 도구용으로 오픈 소스 가중치와 독점 모델 중 어느 쪽을 선택할지 평가할 때

이렇게 써보세요

1. 1
   문헌 검토용 모델 후보 추리기

   회원가입 후 지표에서 '지능' 우선순위를 높게 설정 → Intelligence Index에서 언어 이해 관련 상위 모델을 확인 → 순위표와 메모를 내 논문 방법론 또는 부록에 첨부.

2. 2
   에이전트 실험에 맞는 모델 선택

   처리 속도와 지능을 동시에 고려하도록 우선순위 설정 → AA-AgentPerf에서 실제 하드웨어 기반 에이전트 워크로드 결과 비교 → 실험 설계를 위해 성능이 다른 3개 후보를 선정하고 차이점 기록.

3. 3
   연구비 예산 추정

   Price 차트에서 예상 토큰 사용량을 입력하여 비용 비교 → 속도 지표와 결합해 실제 실행 비용을 산출 → 월 예상 비용을 문서화해 연구비 신청서 예산 항목에 근거로 제시.

4. 4
   학생용 코딩 어시스턴트 모델 선정

   지능과 비용을 우선으로 설정해 코드 지원에 적합한 모델 검색 → 대화형 지연을 줄이기 위해 토큰 효율성과 처리 속도 확인 → 교실 배포를 위해 두 개 모델을 후보로 좁히고 장단점 정리.

5. 5
   논문에 나온 에이전트 벤치마크 재현

   AA-AgentPerf에서 유사 워크로드와 사용된 하드웨어 정보를 확인 → 벤치마크에 사용된 모델·하드웨어를 맞추고 측정된 tokens-per-second로 실행 시간 추정 → 출판된 결과와 AA 측정치 차이를 재현 노트에 기록.

장단점

시작하는 법

1. 1 브라우저에서 Artificial Analysis에 접속합니다
2. 2 Intelligence Index와 AA-AgentPerf 페이지를 열어 모델과 에이전트를 비교합니다
3. 3 지능/속도/비용 슬라이더를 조정해 몇 분 내에 개인화 추천을 받습니다