EN 문의하기

홈 서비스 LLM·에이전트 평가

한국어 LLM·에이전트 평가

마루데이터는 글로벌 AI 개발사와 AI 데이터·평가 플랫폼의 한국어 LLM 답변과 AI 에이전트 궤적을 평가합니다. 판정마다 근거가 된 기준을 밝혀 고객사가 바로 확인할 수 있습니다.

문의하기 예시 보기

받으시는 것

  • 01

    근거를 붙인 점수와 순위

    답변마다 기준별 점수나 순위를 매기고, 판정을 정한 기준과 문제가 된 표현을 짧게 적습니다.

  • 02

    에이전트 단계별 라벨

    실행마다 통과·실패를 판정하고, 문제가 된 단계마다 단계 번호와 오류 유형을 적습니다. 완료를 막은 첫 단계는 따로 표시합니다.

  • 03

    검증기를 갖춘 평가 과제

    과제 지시문·기대 결과·검증기를 함께 만들고, 검증기는 올바른 풀이와 그럴듯한 오답에 돌려 본 뒤 넘깁니다.

  • 04

    배치 메모와 이슈 목록

    배치에서 반복된 오류 유형과 작업 중 찾은 불명확한 가이드라인, 깨진 과제, 서로 모순되는 루브릭 항목을 정리합니다.

진행 방식

  1. 1

    메일로 범위 확인

    대상 모델·에이전트, 작업 종류, 대략의 분량, 기존 가이드라인을 보내 주시면 질문과 샘플 진행안을 정리해 회신합니다.

  2. 2

    샘플로 기준 맞추기

    적은 샘플을 먼저 판정하고 고객사와 함께 검토합니다. 의견이 갈린 항목은 글로 된 기준으로 정리합니다.

  3. 3

    같은 기준, 배치 끝까지

    모든 항목을 같은 기준으로 판정합니다. 불명확한 가이드라인과 깨진 과제는 추측하지 않고 질문으로 알립니다.

  4. 4

    제출 전 배치 감사

    직접 만든 도구로 배치 전체의 형식, 단계, 인용, 수치를 점검한 뒤 제출합니다.

  5. 5

    납품과 질의 대응

    결과는 고객사 형식에 맞춰 이슈 목록과 함께 드립니다. 판정에 대한 질문에는 근거를 들어 답합니다.

무엇을 보는지

LLM 답변

  • 사실·수치·이름이 원문과 맞는지
  • 원문이 뒷받침하지 않는 주장이 없는지
  • 분량·형식·개수·언어 지시를 모두 지켰는지
  • 실제로 물은 질문에 답했는지
  • 답변 길이가 아니라 루브릭으로 순위를 정했는지

한국어 표현

  • 한 답변 안에서 존댓말과 반말이 섞이는 오류
  • 높임 대상에 맞지 않는 높임법
  • 영어를 그대로 옮긴 듯한 번역투
  • 조사·띄어쓰기·맞춤법 오류
  • 350만을 35만으로 쓰는 식의 수 단위 오류
  • 날짜 순서나 오전·오후를 뒤바꾼 오류

에이전트 단계

  • 단계마다 알맞은 도구나 동작을 골랐는지
  • 날짜·시간·이름·금액 인자가 요청과 맞는지
  • 앞 단계 결과를 바르게 읽고 다음 단계로 갔는지
  • 요청하지 않은 동작을 하지 않았는지
  • 요청이 모호하면 실행 전에 먼저 묻는지
  • 최종 답변이 실제로 일어난 일과 맞는지

과제·검증기

  • 과제마다 확인 가능한 결과가 하나로 정해졌는지
  • 주어진 도구와 파일만으로 풀 수 있는지
  • 지시문에 정답이 드러나지 않는지
  • 올바른 풀이를 검증기가 모두 통과시키는지
  • 그럴듯한 오답을 검증기가 걸러 내는지

예시

이 페이지를 위해 만든 합성 데이터입니다.

예시

원문과 대조한 레시피 요약

가상 예시: 사용자가 레시피를 붙여 넣고 세 단계 요약을 요청했고, 답변을 레시피 원문과 대조해 채점합니다.

  1. 원문 일부

    양념장: 간장 2큰술, 설탕 1큰술, 물 100ml를 섞는다.

  2. 프롬프트

    초보자도 따라 할 수 있게 세 단계로 정리해 주세요.

  3. 모델 답변

    1. 간장 2작은술, 설탕 1큰술, 물 100ml를 섞어 양념장을 만들어요.

  4. 정확성

    미흡. 원문은 간장 2큰술인데 답변은 2작은술입니다.

  5. 지시 이행

    충족. 요청대로 세 단계로 정리했습니다.

  6. 말투 일관성

    충족. 세 단계 모두 같은 해요체입니다.

판정정확성 미흡

2큰술이 2작은술로 바뀌어, 그대로 따라 하면 간장이 3분의 1만 들어갑니다. 문장이 자연스럽고 형식을 지켰더라도 원문의 분량을 바꾸면 정확성 기준을 통과하지 못합니다.

예시

도구 호출의 잘못된 시간 인자

가상 예시: 날씨를 조회하고 알람을 맞출 수 있는 휴대폰 비서 에이전트의 실행 기록을 단계별로 채점합니다.

  1. 요청

    내일 서울에 비 오면 아침 7시에 우산 챙기라고 알람 맞춰 줘.

  2. 1단계 · 도구 호출

    get_weather(city="Seoul", date="tomorrow") → "rain, 90% chance"

  3. 2단계 · 도구 호출

    set_alarm(time="19:00", label="우산 챙기기")

  4. 최종 답변

    내일 아침 7시에 우산 알람을 맞춰 두었어요.

  5. 단계별 확인

    1단계 통과. 2단계 실패: 19:00은 저녁 7시인데 사용자는 아침 7시를 요청했습니다. 최종 답변은 맞춘 적 없는 시간을 맞췄다고 알립니다.

판정2단계에서 실패

알람이 19:00으로 맞춰져 도구 호출 정확성 기준에서 실패입니다. 최종 답변이 아침 7시라고 알려 오류를 가리기 때문에, 답변만 보지 않고 호출마다 요청과 대조합니다.

다루는 데이터와 형식

  • 단일·멀티턴 대화
  • 채점·순위용 복수 답변
  • 원문 문서가 딸린 답변
  • 에이전트 궤적과 도구 호출 로그
  • 모바일·데스크톱 화면 캡처
  • 코드 변경분(diff)과 터미널 출력
  • JSON·JSONL·CSV·스프레드시트
  • 고객사 라벨링 도구 안의 과제

자주 묻는 질문

저희 라벨링 도구와 루브릭으로 작업할 수 있나요?

네. 보통 고객사 도구 안에서 작업하고 루브릭은 적힌 그대로 적용합니다. 한국어에 적용하기 모호한 기준은 샘플 단계에서 먼저 질문드리고, 임의로 해석하지 않습니다.

어떤 에이전트를 평가할 수 있나요?

모바일·코딩·컴퓨터 사용 에이전트를 평가합니다. 단계마다 행동이나 도구 호출, 그 인자와 돌아온 결과를 보고, 최종 답변이 실제로 일어난 일과 맞는지 확인합니다.

배치 전체에서 판정을 어떻게 일관되게 유지하나요?

판정 기준은 한 번 정하면 글로 남기고 모든 항목에 똑같이 적용합니다. 납품 전에는 직접 만든 도구로 배치 전체의 형식 오류와 어긋난 단계를 점검합니다.

채점 말고 평가 과제도 새로 만들 수 있나요?

네. 확인 가능한 결과가 하나로 정해진 과제를 쓰고 과제마다 검증기를 만듭니다. 올바른 풀이와 그럴듯한 오답에 검증기를 돌려, 맞는 풀이를 떨어뜨리거나 틀린 풀이를 통과시키지 않는지 확인합니다.

판정 근거를 영어로 받을 수 있나요?

네. 근거는 영어나 한국어, 또는 두 언어로 함께 씁니다. 문제가 된 한국어 표현은 쓰인 그대로 인용하고 영어 뜻풀이를 붙입니다.

다른 서비스

RLHF·사후학습 데이터 레드티밍·안전성 평가 현지화 QA 직접 만든 검수 도구

문의

프로젝트를 알려 주세요

영어나 한국어로 보내 주세요. 아래 네 가지가 있으면 좋습니다.

  1. 1대상 모델·에이전트·제품
  2. 2작업 종류
  3. 3대략의 분량과 일정
  4. 4기존 가이드라인 유무
contact@marudata.io

주소를 누르면 메일 앱에 초안이 열립니다. 이후 범위와 일정을 함께 정합니다.