EN 문의하기

홈 서비스 RLHF·사후학습 데이터

한국어 RLHF·사후학습 데이터

글로벌 AI 개발사와 AI 데이터 플랫폼이 쓰는 한국어 사후학습 데이터를 만들고 검수합니다. 프롬프트, 모범 답변, 선호 순위와 재작성, 도구 호출 대화, 제약 조건이 붙은 지시 데이터를 다룹니다.

문의하기 예시 보기

받으시는 것

  • 01

    원하시는 형식의 데이터

    프롬프트, 답변, 순위, 재작성, 대화 데이터를 지정하신 필드명대로 JSONL, CSV, 스프레드시트에 담아 드리거나, 쓰시는 도구에 바로 입력합니다.

  • 02

    판단마다 남기는 이유

    순위, 평점, 재작성마다 어떤 기준으로 판단했는지 짧은 메모를 영어나 한국어로 남깁니다.

  • 03

    한국어 판정 목록

    높임 수준, 띄어쓰기, 숫자 표기, 외래어 표기처럼 한 번 정한 판정을 목록으로 남기고 배치 전체에 똑같이 적용합니다.

  • 04

    이슈 보고서

    작업 중 발견한 불명확한 가이드라인, 수행할 수 없는 과제, 충돌하는 기준을 해당 항목과 처리 방식까지 붙여 정리해 드립니다.

진행 방식

  1. 1

    요청 보내기

    대상 모델이나 제품, 데이터 종류, 대략의 분량과 일정을 메일로 알려 주세요. 가이드라인이 있으면 함께 보내 주세요.

  2. 2

    범위·형식 합의

    가이드라인을 읽고 불명확한 부분은 질문으로 정리해 드립니다. 그다음 범위, 파일 형식, 일정을 함께 정합니다.

  3. 3

    시범 배치

    작은 샘플을 먼저 드립니다. 검토 의견을 받아 판정 기준을 맞춘 뒤 본 작업에 들어갑니다.

  4. 4

    작성과 검수

    전체 데이터를 같은 기준으로 만들고 검수한 뒤, 직접 만든 도구로 형식과 필드를 점검합니다.

  5. 5

    납품과 메모

    데이터, 판단별 메모, 이슈 보고서를 함께 드립니다. 돌려보내신 항목은 합의한 범위 안에서 고쳐 드립니다.

무엇을 보는지

프롬프트·과제

  • 번역문 같지 않은, 실제 사용자가 쓸 법한 문장
  • 답변만 보고 지켰는지 확인할 수 있는 제약 조건
  • 서로 충돌하지 않는 제약 조건
  • 모델의 실제 약점을 드러내는 적대적 과제
  • 실제 개인정보나 베낀 글 없음

모범 답변·재작성

  • 프롬프트의 지시와 제약 조건을 빠짐없이 지킴
  • 사실, 숫자, 날짜는 출처와 대조
  • 묻는 말에 먼저 답하고 군더더기 없음
  • 불필요한 거절도, 위험한 내용도 없음
  • 도구 호출: 맞는 도구, 올바른 인자, 지어내지 않은 결과
  • 재작성은 맞는 부분을 살리고 틀린 부분만 고침

선호 순위

  • 문체보다 사실 오류, 지시 위반, 안전 문제를 먼저 봄
  • 길이만으로 순위를 정하지 않음
  • 차이가 사소하거나 서로 상쇄될 때만 동순위
  • 순위를 가른 기준을 이유에 적음
  • 같은 문제에는 배치 끝까지 같은 판정

한국어 문장

  • 처음부터 끝까지 같은 높임 수준
  • 읽는 사람에 맞는 말투(합니다체, 해요체, 반말)
  • '~에 대한' 남용, '~되어지다' 같은 번역투 없음
  • 앞말 받침에 맞는 조사(을/를, 이/가)
  • 표준 띄어쓰기와 외래어 표기
  • 한국식 날짜·시간·숫자 표기

예시

이 페이지를 위해 만든 합성 데이터입니다.

예시

요약 답변 두 개 비교와 재작성

사용자가 회의록을 세 줄로 요약해 달라고 했고, 모델 답변 두 개의 순위를 매깁니다.

  1. 프롬프트

    회의록을 세 줄로 요약해 주세요.- 출시일: 인증 서류 보완 때문에 11월 20일로 연기- 디자인 시안: 금요일까지 수정- 가격: 다음 회의에서 결정- 다음 회의: 11월 3일 오전 10시

  2. 답변 A

    1. 인증 서류 보완 때문에 출시일이 11월 20일로 연기되었습니다.2. 디자인 시안에 대한 수정 작업이 금요일까지 진행될 예정입니다.3. 가격은 11월 3일 오전 10시 회의에서 결정될 예정입니다.

  3. 답변 B

    1. 출시일이 11월 20일로 연기되었습니다.2. 연기 이유는 인증 서류 보완입니다.3. 디자인 시안은 금요일까지 수정합니다.4. 가격은 11월 3일 오전 10시 회의에서 정합니다.5. 일정이 빠듯하니 디자인팀과 미리 상의해 두시면 좋겠습니다.

  4. A 재작성

    1. 인증 서류 보완 때문에 출시일이 11월 20일로 연기되었습니다.2. 디자인 시안은 금요일까지 수정합니다.3. 가격은 11월 3일 오전 10시 회의에서 정합니다.

판정A 선택 후 재작성

B는 자연스럽지만 다섯 줄로 늘어났고 묻지 않은 조언까지 넣어, 문체보다 앞서는 지시 이행에서 밀립니다. A는 세 줄 안에 사실을 모두 담아 골랐고, 재작성에서는 2·3행의 번역투와 딱딱한 표현만 고쳤습니다.

예시

제약 조건을 하나씩 확인한 모범 답변

확인할 수 있는 제약 조건 세 개를 넣어 여행 프롬프트를 쓰고, 초안 답변을 조건마다 확인했습니다.

  1. 프롬프트

    부모님과 갈 제주도 2박 3일 일정을 짜 주세요. 부모님이 보실 거라 알파벳은 쓰지 말고, 하루에 두 곳까지만 넣어 주세요. 끝에 저한테 질문은 하나만 해 주세요.

  2. 초안 답변

    1일차: 동문시장, 사라봉2일차: 성산일출봉, 광치기 해변, 섭지코지3일차: 협재 해변, 한림공원숙소는 BnB가 좋을까요?

  3. 제약 조건 확인

    하루 두 곳까지: 실패, 2일차에 세 곳알파벳 쓰지 않기: 실패, 'BnB'끝에 질문 하나: 통과

  4. 모범 답변

    1일차: 동문시장, 사라봉2일차: 성산일출봉, 섭지코지3일차: 협재 해변, 한림공원숙소는 민박과 호텔 중 어디가 좋으세요?

판정제약 조건 두 개 위반

제약 조건은 답변 글만 보고 하나씩 확인합니다. 2일차에 세 곳이 들어갔고 'BnB'를 알파벳으로 썼기 때문에, 모범 답변에서는 일정은 그대로 두고 이 두 군데만 고쳤습니다.

다루는 데이터와 형식

  • 단일·멀티턴 대화
  • 프롬프트와 모범 답변 쌍
  • 쌍대 비교·순위형 선호 데이터
  • 원래 답변과 짝지은 재작성
  • JSON 스키마를 쓰는 도구 호출 대화
  • 풀이가 있는 수학 문답
  • JSONL·JSON·CSV·스프레드시트
  • 쓰시는 주석 도구·플랫폼

자주 묻는 질문

데이터를 직접 쓰나요, 검수만 하나요?

둘 다 합니다. 프롬프트, 모범 답변, 재작성, 도구 호출 대화를 직접 쓰고, 다른 작성자나 모델이 만든 데이터도 같은 점검 항목으로 검수합니다.

저희 가이드라인을 따르나요, 자체 기준을 쓰나요?

보내 주신 가이드라인이 우선입니다. 이 페이지의 점검 항목은 가이드라인에 없는 부분을 채우는 기본값입니다. 가이드라인이 없으면 높임 수준, 숫자 표기 같은 한국어 규칙을 짧게 제안하고, 승인을 받은 뒤 시작합니다.

도구 호출 대화를 저희 도구 스키마로 만들 수 있나요?

네. 도구 정의를 보내 주시면 올바른 인자로 그 도구를 호출하는 대화를 씁니다. 한 턴에 여러 번 호출하거나 앞 결과를 받아 다시 호출하는 경우도 다루고, 납품 전에 모든 호출을 스키마와 대조합니다.

지금 모델이 틀리는 프롬프트도 만들 수 있나요?

네. 여러 개를 겹친 제약 조건, '이번 주 토요일' 같은 날짜 표현, 말투 전환을 이용해 적대적 과제를 씁니다. 대상 모델을 시험할 수 있으면, 실제로 틀린 과제만 결과물로 넘깁니다.

수학이나 화학 같은 전문 분야도 검수하나요?

네. 수학 문답은 풀이와 정답을 검수하고, 화학 데이터는 식별자와 구조식을 문헌과 대조합니다.

다른 서비스

LLM·에이전트 평가 레드티밍·안전성 평가 현지화 QA 직접 만든 검수 도구

문의

프로젝트를 알려 주세요

영어나 한국어로 보내 주세요. 아래 네 가지가 있으면 좋습니다.

  1. 1대상 모델·에이전트·제품
  2. 2작업 종류
  3. 3대략의 분량과 일정
  4. 4기존 가이드라인 유무
contact@marudata.io

주소를 누르면 메일 앱에 초안이 열립니다. 이후 범위와 일정을 함께 정합니다.