마루데이터 · Maru Data LLM과 AI 에이전트를 위한 한국어 평가와 사후 학습 데이터.

1. 1.1평가

   한국어 LLM·AI 에이전트 평가

   한국어로 된 모델 답변과 에이전트 실행 기록을 루브릭에 따라 검토합니다. 내용이 맞는지, 지시를 따랐는지, 한국어가 자연스러운지를 보고, 에이전트는 최종 답변만이 아니라 단계마다 판정합니다.

2. 1.2데이터

   한국어 RLHF·사후 학습 데이터

   파인튜닝과 RLHF에 쓸 한국어 프롬프트, 참조 답변, 선호도 순위, 재작성 데이터를 프로젝트 가이드라인에 맞춰 만들고, 배치 전체에서 기준이 흔들리지 않게 관리합니다.

3. 1.3안전성

   한국어 레드티밍·안전성 평가

   한국어로 LLM을 적대적으로 테스트합니다. 프롬프트 인젝션은 물론, 한국어 특유의 표현이나 은어, 한글과 영문을 섞어 쓰는 방식을 노리는 공격도 다룹니다. 찾아낸 문제는 그 문제를 일으킨 프롬프트와 함께 보고합니다.

4. 1.4QA

   현지화 QA

   한국어 UI 문구, 문서, 모델 출력을 검수합니다. 정확성, 용어, 어조와 함께 높임법, 날짜, 숫자 표기 같은 한국어 관례에 맞는지 확인합니다.

5. 1.5도구

   평가 파이프라인용 파이썬 도구

   에이전트 실행 기록을 파싱하고, 단계를 대조하고, 제출 전에 배치를 점검하는 파이썬 도구를 만듭니다.

배치의 첫 항목부터 마지막 항목까지 같은 판정이 이어져야 점수가 의미를 갖습니다.

1. 2.1

   배치 전체에 같은 판정

   기준을 맞추는 일도 작업의 일부입니다. 애매한 사례를 한 번 정하면, 배치 안의 비슷한 항목에 모두 같은 판정을 적용합니다.

2. 2.2

   반복되는 문제는 보고합니다

   불분명한 가이드라인, 오류가 있는 과제, 앞뒤가 맞지 않는 루브릭처럼 같은 문제가 계속 나오면, 근본에서 고칠 수 있도록 프로젝트에 구조적인 문제로 보고합니다.

3. 2.3

   자체 도구로 점검합니다

   에이전트 작업은 직접 만든 파이썬 도구를 거칩니다. 실행 기록을 단계별로 파싱하고, 단계를 대조한 뒤, 제출 전에 배치 전체를 점검합니다.

2024년부터 한국어 평가 일을 해 왔고, 2026년에 마루데이터로 사업자를 등록했습니다.

상호

마루데이터 (Maru Data)

사업자 형태

개인사업자 (대한민국)

대표

임홍민

등록일

2026-10-13

소재지

인천광역시

독립 활동

2024년부터

이메일

contact@marudata.io

웹사이트

marudata.io

인천 · 한국 표준시(KST)