EN 문의하기

홈 직접 만든 검수 도구

직접 만든 도구로 작업을 점검합니다

검사 스크립트는 프로젝트마다 맞춰 만듭니다. 배치를 제출하기 전에 파일을 읽고 가이드라인에 어긋날 수 있는 항목을 표시하면, 사람이 확인하고 고칠지 정합니다.

문의하기 예시 보기

검사 일곱 가지

  • 01

    궤적 파싱

    에이전트 실행 기록을 읽어 단계마다 행동, 도구 호출, 결과로 나눕니다. 끝까지 읽히지 않는 기록은 따로 표시하고, 검토용 단계 목록을 만듭니다.

  • 02

    단계 대조

    파싱한 단계, 에이전트의 최종 답변, 저희 평가를 함께 읽습니다. 도구 호출이 실패했는데 '완료'로 평가한 경우처럼 서로 어긋나는 곳을 표시하고 관련 단계를 보고합니다.

  • 03

    인용·수치 대조

    평가 근거 글과 그 원문을 함께 읽습니다. 원문에 글자 그대로 없는 인용과 다시 세어 맞지 않는 수치를 표시하고, 어긋난 곳을 하나씩 목록으로 냅니다.

  • 04

    형식 검사

    XLSX, TSV, JSON 같은 납품 파일과 시트 내보내기를 읽습니다. 비어 있는 필수 필드, 허용 목록에 없는 라벨, 순위와 어긋나는 점수, 길이 초과를 표시하고 해당 행과 필드를 알려 줍니다.

  • 05

    무음·음질 측정

    오디오 파일과 구간 시간을 함께 읽어 무음과 음량을 잽니다. 긴 무음과 발화와 맞지 않는 구간 경계를 표시하고, 다시 들을 시각과 음량 수치를 적습니다.

  • 06

    화자 일치 확인

    같은 화자로 라벨이 붙은 녹음끼리 목소리를 비교합니다. 다른 사람일 수 있는 파일과 다른 목소리가 섞인 녹음을 표시하고, 다시 들을 목록을 냅니다.

  • 07

    제출 전 배치 감사

    제출 전에 배치 전체를 읽고 해당하는 검사를 돌립니다. 통과하지 못한 항목을 표시하고, 준비된 항목과 보류한 항목, 보류 사유를 보고서 하나로 정리합니다.

프로젝트에서 쓰는 자리

  1. 1

    작업을 마친 뒤

    프로젝트 가이드라인에 따라 라벨링, 평가, 작성을 마칩니다. 그다음 도구가 완성된 파일을 읽습니다.

  2. 2

    제출 전 점검

    배치를 내보내기 전에 궤적, 텍스트·데이터, 음성 가운데 해당하는 검사를 돌립니다.

  3. 3

    표시와 보고서

    표시마다 항목, 정확한 위치, 어긋난 규칙이 적힙니다. 표시는 판정이 아니라 사람이 확인할 질문입니다.

  4. 4

    수정과 재검사

    사람이 표시를 하나씩 보고 필요하면 고칩니다. 배치를 제출하기 전에 같은 검사를 다시 돌립니다.

보는 항목

에이전트 궤적

  • 단계를 행동, 도구 호출, 결과로 분리
  • 최종 답변의 주장과 도구 결과 대조
  • 평가와 인용한 단계 번호를 기록과 대조
  • 잘리거나 단계가 빠진 기록

텍스트·데이터

  • 인용문이 원문에 글자 그대로 있는지 확인
  • 수치와 개수를 다시 계산
  • 필수 필드가 채워졌는지, 라벨이 허용 목록에 있는지
  • 점수와 순위가 서로 맞는지
  • 납품 시트와 작업 파일을 셀 단위로 대조

음성·오디오

  • 구간 안과 경계 주변의 무음 측정
  • 구간 경계와 발화 시작·끝 비교
  • 길이가 0이거나 너무 짧은 구간
  • 화자 라벨과 실제 화자 비교
  • 음량, 잡음, 클리핑 측정

예시

이 페이지를 위해 만든 합성 데이터입니다.

예시

에이전트 단계와 대조한 초안 평가

일정 관리 에이전트의 합성 실행 기록을 세 단계로 줄였고, 단계 대조가 초안 평가를 각 단계의 도구 결과와 맞대어 봅니다.

  1. 입력 · 1단계 · 요청

    목요일 오후 3시로 회의실 잡아 줘.

  2. 입력 · 2단계 · 도구 호출

    book_room("Thu 15:00") → {"status": "error", "reason": "room_taken"}

  3. 입력 · 3단계 · 최종 답변

    목요일 오후 3시로 회의실을 잡았습니다.

  4. 입력 · 초안 평가

    {"item": "05", "completed": true, "issues": []}

  5. 찾은 문제

    초안은 문제없이 완료로 평가했지만, 2단계는 오류를 돌려받았고 3단계는 그대로 예약을 마쳤다고 답했습니다.

  6. 보고서

    $ python audit.py example_batch/ ! reconcile item 05 rated completed, but step 2 returned error → item 05 held for recheck

  7. 검수자 판단

    기록을 다시 확인했습니다. 2단계와 3단계를 근거로 적고 평가를 미완료로 고쳤습니다.

판정평가 수정

에이전트는 실패한 예약을 완료했다고 답했고, 초안 평가는 그 답을 그대로 받아들였습니다. 검사가 평가와 단계 결과의 차이를 찾았고, 검수자가 제출 전에 평가를 고쳤습니다.

예시

발화보다 먼저 시작한 구간

두 사람이 대화하는 합성 클립을 저희가 시간 구간으로 나눈 예시이며, 무음 측정이 구간마다 실제 발화가 시작하는 지점을 잽니다.

  1. 입력 · 오디오

    9.0초 클립, 화자 두 명, 시간 구간 세 개

  2. 입력 · 구간 02

    start 3.20 s · end 5.90 s · B"네, 목요일 오후 세 시 괜찮습니다."

  3. 찾은 문제

    발화는 3.62초에 시작하므로 구간 앞 0.42초가 무음입니다.

  4. 보고서

    $ python audit.py example_batch/ ! audio item 07 seg 02 0.42 s of silence before speech starts → item 07 held for recheck

  5. 검수자 판단

    직접 들어 보고 동의했습니다. 시작을 3.62초로 옮겼고 재검사를 통과했습니다.

판정경계 수정

이 예시의 가이드라인은 구간을 무음이 아니라 발화로 시작하게 합니다. 검사는 어긋난 길이를 쟀고, 사람이 들어 본 뒤 경계를 옮겼습니다.

읽는 파일

  • JSON, JSONL
  • CSV, TSV
  • 스프레드시트(XLSX)
  • 에이전트 실행 로그, HTML 내보내기
  • 오디오 파일
  • 시간·화자 라벨이 있는 전사문
  • 마크다운, 일반 텍스트

자주 묻는 질문

도구가 사람의 검수를 대신하나요?

아닙니다. 도구는 파일을 점검해 다시 볼 항목을 표시합니다. 표시된 항목은 사람이 원본과 대조해 보고, 고칠지 말지 정합니다.

저희 가이드라인에 맞춰 검사를 바꿀 수 있나요?

네. 필수 필드, 허용 라벨, 길이 제한, 시간 허용 오차 같은 규칙은 고객 가이드라인에서 가져옵니다. 프로젝트마다 맞춰 두고, 가이드라인이 바뀌면 함께 고칩니다.

검사와 관련해 무엇을 받게 되나요?

프로젝트에서 합의한 납품물을 받으십니다. 필요하시면 배치에 어떤 검사를 돌렸는지 설명해 드립니다.

왜 이런 항목은 스크립트로 확인하나요?

필드, 인용, 개수, 시간은 정해진 규칙을 따르므로 스크립트가 모든 항목을 같은 방식으로 확인합니다. 그만큼 검수자는 어조, 정확성, 안전처럼 판단이 필요한 부분에 집중할 수 있습니다.

다른 서비스

LLM·에이전트 평가 RLHF·사후학습 데이터 레드티밍·안전성 평가 현지화 QA

문의

프로젝트를 알려 주세요

영어나 한국어로 보내 주세요. 아래 네 가지가 있으면 좋습니다.

  1. 1대상 모델·에이전트·제품
  2. 2작업 종류
  3. 3대략의 분량과 일정
  4. 4기존 가이드라인 유무
contact@marudata.io

주소를 누르면 메일 앱에 초안이 열립니다. 이후 범위와 일정을 함께 정합니다.