배경 프레임워크 소개 10대 평가 기준 파일별 체크포인트 5단계 프로세스 약식 검수 DQ Score 역할별 가이드 FAQ 용어 사전 자료실

KODIA · 디자인데이터 품질연구소 공식 프레임워크

디자인 AI의 학습 품질,
전문가 기준으로
진단합니다

KODIA 프레임워크는 디자인 데이터를 단순한 파일이 아니라 디자인 AI의 학습 품질을 결정하는 핵심 학습 자원으로 보고, 학습 가능성·재사용성·라벨 신뢰성·편향 위험·실사용 적합성까지 함께 진단하는 Human-in-the-Loop 기반 품질 평가 체계입니다.

프레임워크 살펴보기 자료 다운로드

휴리스틱 평가 기준

DQ 평가 차원

단계 프로세스

파일 유형별 체크

K-01 ~ K-10 · 휴리스틱 평가 기준

K-01

정합성

K-02

대표성

K-03

일관성

K-04

표현 충실도

K-05

주석 신뢰성

···

K-06 ~ K-10

배경 및 필요성

기술 검수만으로는 충분하지 않습니다

기존 기술적 데이터 검수

—

정확성·완전성·유일성·일관성·적시성 등 형식적·구조적 기준 중심

—

JSON/XML 포맷 및 구조 자동 검증

—

태그·레이블 정합성 자동 확인

—

좌표값·수치 범위 오류 탐지

—

중복·누락 데이터 자동 탐지

자동화 검수가 놓치는 품질 문제

형식상 오류가 없어도 시각적 맥락이 부자연스러운 경우
브랜드 의도와 맞지 않는 감성 표현
특정 스타일에 편향되어 AI가 왜곡 학습할 위험
라벨은 있으나 재현 불가능한 주석 품질
검색·필터링·재사용을 막는 메타데이터 부재

KODIA 디자인데이터 품질진단

학습 가능성 — AI가 유효한 디자인 패턴을 학습할 수 있는가

재사용성 — 다른 해상도·포맷·채널로 변환해도 의미가 유지되는가

라벨 신뢰성 — 사람이 봐도 재현 가능하게 주석이 정의됐는가

편향 위험 — 색·레이아웃·문화권·성별 표현이 치우치지 않는가

실사용 전환성 — 실제 서비스나 브랜드 산출물로 무리 없이 쓰이는가

구분기존 기술적 검수KODIA 품질진단

검수 방식자동화 시스템전문가 직접 판단

판단 기준코드·수치·규칙 기반사전 합의된 10가지 원칙 기반

잡을 수 있는 것포맷 오류, 누락, 중복감성 불일치, 맥락 부적합, 편향

결론기술적 정확성 확보디자인 품질·감성 가치 확보

프레임워크 소개

KODIA 프레임워크

디자인 데이터의 미적 완성도만이 아니라 학습 가능성, 재사용성, 구조화 가능성, 라벨 신뢰성, 편향 위험, 실사용 적합성까지 함께 진단하는 Human-in-the-Loop 기반 평가 체계입니다.

KODIA / 디자인데이터 품질진단

한국디자인산업연합회(KODIA) 주관의 공식 진단 체계

Heuristic-based expert

사전 합의된 10가지 원칙에 근거한 전문가 판단

Expert Design Data

AI 학습용 디자인·브랜드·UX·콘텐츠 데이터 특화

Design Data Quality Assessment

학습 가능성·실사용성 중심의 정성·정량 통합 진단

기존 한계일반 데이터 품질 평가의 한계

정확성·완전성 등 형식적 기준으로만 판단합니다. 시각적 맥락, 브랜드 의도, 스타일 편향, 라벨 재현성 같은 디자인 데이터 고유 요소를 검증하지 못합니다.

KODIA 접근학습 효율과 재사용성에 중점

예쁜가보다 "학습 가능한 구조로 잘 정리됐는가"를 핵심으로 봅니다. 파일 품질뿐 아니라 메타데이터와 라벨 품질이 AI 학습 결과를 크게 좌우합니다.

기반 문서2024 AI 학습용 데이터 품질관리 가이드라인 v3.1

한국형으로 개발된 인공지능 학습용 데이터 품질관리 가이드라인 v3.1과 디자인 분야 품질 평가 지표 관련 연구를 기반으로 설계되었습니다.

10대 휴리스틱 평가 기준

모든 평가의 판단 기준

4개 평가 차원 아래 10개 세부 기준. 리커트 5점 척도(1 매우부정 ~ 5 매우긍정)로 평가합니다.

K-01

정합성

의미·정합성

텍스트, 이미지, 2D, 3D 등 구성 요소들이 동일한 디자인 의도와 메시지를 향하는지 평가합니다. 멀티모달 데이터 간 의미 일치 판단에 핵심적입니다.

평가 질문: 텍스트, 이미지, 2D, 3D가 같은 콘셉트와 메시지를 향하는가?

전체 유형멀티모달

K-02

대표성

학습 적합성

AI 학습 데이터 품질에서 핵심 항목입니다. 특정 스타일만 과도하게 많지 않고 학습 목적에 맞는 다양성을 갖추었는지 평가합니다.

평가 질문: 특정 스타일만 과도하게 많지 않고, 학습 목적에 맞는 다양성을 갖는가?

배치 단위

K-03

일관성

의미·정합성

브랜드·서비스·카테고리 단위 품질 유지에 필요합니다. 같은 브랜드나 카테고리에서 스타일 규칙이 흔들리지 않는지 확인합니다.

평가 질문: 같은 브랜드/서비스/카테고리에서 스타일 규칙이 흔들리지 않는가?

배치 단위브랜드

K-04

표현 충실도

데이터 무결성

이미지·2D·3D·영상 데이터 품질 판단에 적합합니다. 디자인 의도가 저해상도·왜곡·누락 없이 잘 담겼는지 평가합니다.

평가 질문: 디자인 의도가 저해상도, 왜곡, 누락 없이 잘 담겼는가?

이미지2D3D영상

K-05

주석 신뢰성

의미·정합성

라벨·태그·설명 데이터의 핵심 기준입니다. 사람이 봐도 재현 가능하게 정의됐는지 평가합니다. 라벨이 있어도 재현 불가능하면 무의미합니다.

평가 질문: 라벨, 태그, 설명이 사람이 봐도 재현 가능하게 정의됐는가?

텍스트이미지전체

K-06

구조화 가능성

데이터 무결성

검색·필터링·재사용·학습 파이프라인에 필요합니다. 나중에 검색, 필터링, 재사용하기 쉬운 메타데이터가 붙어 있는지 확인합니다.

평가 질문: 나중에 검색, 필터링, 재사용하기 쉬운 메타데이터가 붙어 있는가?

메타데이터파이프라인

K-07

중복·변형 관리

데이터 무결성

과적합 방지에 중요한 항목입니다. 거의 같은 샘플이 과도하게 반복되면 AI가 특정 패턴에 과적합될 위험이 높아집니다.

평가 질문: 거의 같은 샘플이 과도하게 반복되지 않는가?

배치 단위과적합

K-08

편향 위험

학습 적합성

AI 데이터 품질에서 필수 점검 항목입니다. 특정 색·레이아웃·문화권·성별 표현이 과도하게 치우치지 않는지 평가합니다.

평가 질문: 특정 색, 레이아웃, 문화권, 성별 표현이 과도하게 치우치지 않는가?

전체 유형글로벌

K-09

확장성

학습 적합성

멀티채널·멀티포맷 활용성 판단에 유효합니다. 다른 해상도·포맷·채널로 변환해도 의미가 유지되는지 확인합니다.

평가 질문: 다른 해상도, 다른 포맷, 다른 채널로 변환해도 의미가 유지되는가?

멀티채널멀티포맷

K-10

실사용 적합성

실사용 전환성

실제 디자인 산출물 전환 가능성 판단에 필요합니다. 실제 서비스 화면이나 브랜드 산출물로 옮겼을 때 무리 없이 쓰이는지 평가합니다.

평가 질문: 실제 서비스 화면이나 브랜드 산출물로 옮겼을 때 무리 없이 쓰이는가?

서비스 전환브랜드

파일별 체크포인트

데이터 유형별 실무 점검 항목

핵심은 예쁜가보다 학습 가능한 구조로 잘 정리됐는가입니다. AI 학습용이라면 파일 자체의 품질뿐 아니라 메타데이터와 라벨 품질이 결과를 크게 좌우합니다.

의미·정합성 점검

라벨-설명-콘셉트 간 의미 일치성
톤 일관성 (같은 배치 내 표현 방식 균질)
브랜드 용어 표준화 준수 여부
CTA(행동 유도 문구) 강도의 적절성

구조·무결성 점검

길이 분포 (너무 짧거나 긴 텍스트 편중 여부)
중복 문구 비율 (유사 텍스트 과다 반복 여부)
검색·필터링용 메타데이터 부착 여부
라벨이 재현 가능하게 정의됐는지

텍스트 데이터에서 가장 중요한 것은 K-01(정합성)과 K-05(주석 신뢰성)입니다. 라벨과 설명이 실제 텍스트 콘텐츠의 의도를 정확히 대표하는지 반드시 확인하세요.

표현 품질 점검

구도 안정성 (불안정한 기울기·프레이밍 여부)
배경 노이즈 (학습을 방해하는 배경 요소 여부)
색감 일관성 (배치 내 화이트 밸런스·채도 균질성)
시각적 주의점의 명확성 (주제가 명확히 부각되는가)

학습 적합성 점검

메시지 전달력 (디자인 의도가 사진에 담겼는가)
주제 적합성 (라벨된 주제와 사진 내용 일치)
객체 식별 가능성 (AI가 주요 객체를 인식 가능한가)
학습 방해 요소 여부 (워터마크·텍스트 오버레이 등)

사진 데이터에서 K-04(표현 충실도)와 K-08(편향 위험)을 특히 꼼꼼히 점검하세요. 배경 노이즈나 특정 인구 집단 편향이 있으면 즉시 정식 검수를 진행합니다.

레이아웃 구조 점검

레이아웃 그리드 일관성 (그리드 시스템 준수 여부)
간격 규칙 (패딩·마진 일관성)
시각 위계 (헤드라인·본문·CTA 위계 명확성)
컬러 팔레트 일관성 (브랜드 컬러 가이드 준수)

재사용성 점검

컴포넌트 재사용성 (반복 사용 가능한 구조인가)
다른 해상도로 변환 시 의미 유지 여부 (K-09)
레이어 명칭·구조 정리 상태
메타데이터 및 파일 네이밍 규칙 준수

2D 데이터에서 K-06(구조화 가능성)과 K-09(확장성)가 핵심입니다. 컴포넌트 단위로 재사용 가능하고 다양한 해상도에서 의미가 유지되는지 확인합니다.

형태·재질 품질 점검

형태 인지성 (주요 형태가 명확히 식별되는가)
재질·조명 일관성 (배치 내 렌더링 조건 균질성)
모델 깨짐 여부 (폴리곤 오류·UV 이상 등)
스케일 기준 일관성 (실세계 기준 스케일 정확성)

맥락·메타데이터 점검

실제 맥락 적합성 (실제 환경에서 자연스러운가)
다각도 일관성 (여러 뷰에서 동일 품질 유지)
렌더링 조건 메타데이터 포함 여부 (조명·카메라 설정)
파일 포맷·해상도 표준 준수 여부

3D 데이터에서 렌더링 조건 메타데이터는 AI 학습 재현성에 직결됩니다. K-05(주석 신뢰성)와 K-06(구조화 가능성) 기준으로 렌더링 설정이 명확히 문서화됐는지 반드시 확인하세요.

5단계 평가 프로세스

체계적인 5단계로 품질을 진단합니다

STEP 1

데이터 유형 분석 및 평가 기준 설정

텍스트·이미지(2D·3D)·영상 등 데이터 유형을 분류하고, 디자인 목적·경험 맥락·감성 요소·컨셉 의도·활용 환경·학습 목적 등 데이터 특성을 분석합니다. 데이터 ID를 부여하고 특성에 따라 핵심 평가 기준을 적용합니다.

데이터 관리자데이터 유형 분류표평가 기준 문서데이터 ID 목록

STEP 2

AI 기반 전문가 선정 및 캘리브레이션

전문가 데이터 기반 AI를 활용해 전문가 후보를 추천하고, 전문가를 선정하여 평가 방식을 공유합니다. 샘플 공동 평가·편차 분석·기준 재정의를 거쳐 최종 평가 가이드라인을 확정합니다.

운영 담당자 + 전문가 전원전문가 배정표최종 평가 가이드라인

STEP 3

휴리스틱 정성 평가 수행

공통 평가 시스템에 접속하여 개별 전문가가 디자인 맥락 중심의 휴리스틱 평가를 수행합니다. 평가 항목은 데이터 무결성·의미 정합성·실사용 전환성·학습 적합성 4개 차원의 10가지 기준입니다. 리커트 5점 척도(1 매우부정 ~ 5 매우긍정)로 평가하고 근거를 기록합니다.

전문가 (개별 수행)평가 시스템전문가 평가 시트

STEP 4

교차 검증 및 통계적 신뢰도 분석

평가 데이터를 취합하고 검증합니다. 배분 데이터의 10~20% 수준에서 중첩 데이터 교차 검증을 진행합니다. 평가자 간 일치도(ICC ≥ 0.75 권고)를 확인하고, 0.60 미만이면 재검수를 진행합니다.

분석 시스템 + 데이터 관리자신뢰도 분석 리포트DQ Score 목록

STEP 5

결과 보고 및 품질 개선 피드백

단순한 적합/부적합 판정이 아니라 데이터 품질을 실제로 개선할 수 있는 수정 가이드를 제공합니다. 결과 보고서 초안 작성 → 개선 방안 포함 결과 공유 → 재검수 → 최종 보고서 생성 순서로 진행합니다.

관리자 + 제작팀결과 보고서개선 방안최종 보고서

약식 검수

빠르게 확인할 때는 3가지 기준으로

약식 검수는 정식 검수를 대체할 수 없습니다

위험도 높음 데이터, 신규 유형 데이터, 최종 승인 전 데이터는 반드시 정식 10가지 기준으로 검수해야 합니다. 약식은 낮은 위험도 데이터의 1차 필터링에만 사용합니다.

"구성 요소들이 하나의 콘셉트와 메시지를 향하는가?"

텍스트·이미지·2D·3D 등 구성 요소들이 같은 디자인 의도를 전달하는지 10초 안에 직관적으로 판단합니다.

모든 구성 요소가 동일한 콘셉트와 메시지를 향한다

대체로 맞으나 일부 요소가 어긋나 있다 → 정식 검수(K-01)

구성 요소 간 의미가 충돌한다 → 즉시 정식 검수 + 수정

커버 기준: K-01 정합성, K-03 일관성

"라벨과 메타데이터가 재현 가능하게 정의됐는가?"

라벨·태그·설명을 처음 보는 사람이 보더라도 동일하게 이해하고 재현할 수 있는지 확인합니다.

라벨과 설명이 명확하고 재현 가능하다

일부 모호한 표현이 있다 → 정식 검수(K-05, K-06)

라벨이 모호하거나 내용과 불일치 → 즉시 수정

커버 기준: K-05 주석 신뢰성, K-06 구조화 가능성

"배치 내 특정 스타일이나 속성이 과도하게 쏠려 있는가?"

배치 전체를 훑어보며 특정 색·레이아웃·문화권·성별 표현이 지나치게 편중됐는지, 유사 샘플이 반복됐는지 확인합니다.

다양성이 확보되어 있고 반복이 적다

약간의 편중이 있다 → 정식 검수(K-02, K-08)

심각한 편중 또는 과다 중복 → 배치 전체 정식 검수

커버 기준: K-02 대표성, K-07 중복·변형 관리, K-08 편향 위험

Q1 정합성	Q2 라벨 신뢰성	Q3 다양성·편향	종합 판정
통과	통과	통과	잠정 승인 (샘플 5% 정식 검수 권고)
통과	통과	재확인	K-02, K-07, K-08 정식 검수 후 판정
통과	재확인	—	K-05, K-06 정식 검수 후 판정
탈락	—	—	즉시 정식 검수 + 수정 필요

DQ Score

4개 평가 차원을 가중 합산한 종합 진단 점수

평가 차원	세부 기준	기본 가중치
데이터 무결성 표현 충실도·구조화·중복 관리	K-04, K-06, K-07	25%
의미·정합성 정합성·주석 신뢰성·일관성	K-01, K-03, K-05	30%
실사용 전환성 실제 디자인 산출물 전환 가능성	K-10	20%
학습 적합성 대표성·편향 위험·확장성	K-02, K-08, K-09	25%
DQ Score 합계		100%

위 가중치는 기본값입니다. 프로젝트 착수 시 평가 위원 전체가 AHP 합의를 통해 데이터 유형·산업·학습 목적별로 확정합니다.

DQ Score 간이 계산기

데이터 무결성 (25%) 3점

의미·정합성 (30%) 3점

실사용 전환성 (20%) 3점

학습 적합성 (25%) 3점

3.00

DQ Score · 5점 만점

보통 — 개선 여지 있음

역할별 가이드

내 역할에 맞는 가이드를 확인하세요

KODIA 평가에 참여하는 모든 역할의 책임과 체크리스트를 정리했습니다.

평가 시작 전 체크리스트

오늘 평가할 데이터 유형(텍스트·사진·2D·3D)을 확인했는가
해당 유형의 파일별 체크포인트를 숙지했는가
적용할 기준(K-01~K-10) 중 이번 유형에 해당하는 항목을 확인했는가
캘리브레이션 샘플의 합의 점수를 기준으로 숙지했는가
1회 세션 최대 50건 제한을 확인했는가

AI 학습용 데이터는 파일 품질뿐 아니라 메타데이터·라벨 품질이 핵심입니다. K-05(주석 신뢰성)와 K-06(구조화 가능성)을 반드시 함께 점검하세요.

평가 중 주의사항

예쁘다는 인상으로 전체 점수를 높게 주지 않는다 (후광 효과 주의)
"학습 가능한 구조로 잘 정리됐는가"를 핵심 판단 기준으로 삼는다
애매하면 3점으로 넘어가지 않는다 — 판단 근거를 반드시 기록한다
50건 초과 시 반드시 15분 이상 휴식 후 재개한다
편향 위험(K-08) 판단 시 내 문화권 기준으로만 판단하지 않도록 주의한다

이럴 때는 어떻게?

라벨과 이미지가 불일치한다 — K-01과 K-05에 낮은 점수 + 불일치 내용 상세 기록
메타데이터가 없다 — K-06(구조화 가능성) Fail + "메타데이터 부재로 재사용 불가" 명시
유사 샘플이 너무 많다 — K-07(중복·변형 관리) 낮은 점수 + 중복 비율 추정 기재
판단이 너무 어렵다 — 3점으로 표시하고 "판단 어려움, 추가 검토 필요" 기록

평가 완료 후 할 일

모든 항목에 점수와 판단 근거가 기록되어 있는지 확인한다
수정 필요 데이터에 수정 가이드를 구체적으로 작성한다
평가 시트를 관리자에게 제출한다
재검수 요청이 온 데이터는 우선 처리한다

배치 준비 체크리스트

데이터 유형별 분류 및 수량 확인 (텍스트·사진·2D·3D)
AI 사전 검수 실행 및 이상 신호 데이터 목록 추출
위험도 분류 기준 적용하여 고위험·보통·낮음 분류
전문가-데이터 유형 적합도 매트릭스 기준으로 배정표 작성
파일별 체크포인트 문서 검수자에게 배포

결과 취합 및 보고

ICC(2,1) 산출 및 기준값(0.75) 미달 여부 확인
4개 차원별 DQ Score 산출 (확정된 가중치 적용)
취약 차원 분석 (4개 차원 중 최저 차원 파악)
결과 보고서 초안 → 개선 방안 포함 공유 → 재검수 → 최종 보고서 생성

ICC가 0.60 미만이면 해당 배치 전체를 재검수해야 합니다. 캘리브레이션을 다시 수행한 뒤 진행하세요.

위험도 판정 기준

기존에 없던 새로운 유형의 데이터 → 고위험 (전수검사)
AI 사전 검수에서 이상 신호가 잡힌 데이터 → 고위험
멀티모달 구성 요소 간 의미 불일치가 의심되는 데이터 → 고위험
특정 문화권·성별 표현이 포함된 데이터 → 고위험
메타데이터가 부재하거나 라벨 품질이 의심되는 데이터 → 고위험

교차 검증 설계

배분 데이터의 10~20% 수준에서 중첩 데이터 교차 검증을 설계한다
평가자 간 ICC를 자동 계산하는 시스템을 활용한다
이상 점수 패턴 탐지 (극단값 편중 여부 모니터링)
차원별 점수 분포를 시각화하여 취약 영역을 파악한다

전문가 선정 권한 및 책임

AI 추천 후보 목록을 검토하고 최종 선정을 확정한다
전문가 프로파일(경력·평가 이력·이해충돌 여부)을 검토한다
평가단 내 문화권·세대·전문 분야 다양성을 확인한다
이해충돌(COI) 확인서를 수령하고 보관한다

가이드라인 확정 및 캘리브레이션

최종 평가 가이드라인을 확정하고 전문가 전원에게 배포한다
샘플 공동 평가 → 편차 분석 → 기준 재정의 순으로 캘리브레이션을 주관한다
합의된 기준 문서에 전원 서명을 받는다
신규 프로젝트마다 또는 반기마다 재실시한다

최종 승인 및 방법론 관리

관리자 결과 보고서 검토 (ICC, DQ Score 차원별 분포 확인)
ICC 기준 미달 배치에 대한 재검수 명령
최종 승인 데이터셋에 서명 날인
방법론 개정 필요 사항을 차기 버전에 반영 (2024 가이드라인 v3.1 기반 최신화)

가중치 확정 절차 (AHP)

4개 평가 차원에 대한 쌍비교(AHP) 설문 실시
데이터 유형(텍스트·사진·2D·3D)별 가중치 분리 여부 결정
학습 목적(생성형 AI / 분류 모델 / 추천 모델 등)에 따른 가중치 조정 논의
확정된 가중치를 프로젝트 기준 문서에 기록

데이터 제작 전 확인 사항

데이터 유형에 맞는 파일별 체크포인트를 확인했는가
라벨·태그·설명이 재현 가능하게 정의될 수 있는지 미리 설계했는가
메타데이터 구조(검색·필터링·재사용을 위한 필드)를 사전에 정의했는가
배치 내 다양성 계획을 수립했는가 (특정 스타일·색·문화권 편중 방지)
다른 해상도·포맷으로 변환해도 의미가 유지될 수 있는 구조인가

자주 하는 실수와 예방법

라벨-내용 불일치 — 제작 완료 후 라벨을 다시 검토하는 습관을 만든다
메타데이터 부재 — 제작 시작 전 메타데이터 필드 템플릿을 반드시 작성한다
과도한 중복 — 배치 제출 전 유사도 필터링을 실시하고 중복 비율을 확인한다
편향 발생 — 글로벌·다문화 체크리스트를 작성하고 내부 다양성 검토를 거친다
확장성 부재 — 제작 초기부터 멀티포맷·멀티채널 출력 기준을 포함해 설계한다

수정 가이드 받았을 때

수정 가이드에서 가장 낮은 DQ Score 차원을 먼저 확인한다
해당 차원의 세부 기준(K-01~K-10)을 보고 구체적인 수정 방향을 파악한다
수정 후 반드시 재검수를 요청한다 (임의 승인 금지)
같은 문제가 다른 데이터에도 있을 수 있으니 배치 전체를 점검한다

수정 완료 후 관리자에게 "수정 완료 + 재검수 요청" 메시지를 보내야 합니다.

AI 학습에 좋은 데이터 만드는 기준

구성 요소(텍스트·이미지 등)가 모두 같은 콘셉트를 향한다 (K-01)
배치 내 스타일·색·문화권이 다양하게 분포한다 (K-02, K-08)
라벨과 태그가 처음 보는 사람도 재현할 수 있게 정의됐다 (K-05)
검색·필터링용 메타데이터가 체계적으로 붙어 있다 (K-06)
다른 포맷·해상도로 변환해도 의미가 유지된다 (K-09)

자주 묻는 질문

현장에서 자주 묻는 질문

프로세스약식 검수와 정식 검수는 언제 구분해서 사용하나요?+

위험도 낮음 데이터(반복 패턴, 기존 유형, AI 이상 없음)에 한해 약식 3가지 기준(Q1·Q2·Q3)을 사용할 수 있습니다. 위험도 보통 이상이거나 신규 유형, 멀티모달 데이터, 최종 승인 전 데이터는 반드시 정식 10가지 기준으로 검수해야 합니다.

프로세스교차 검증은 몇 % 비율로 해야 하나요?+

배분 데이터의 10~20% 수준에서 중첩 데이터 교차 검증을 진행합니다. 신규 데이터 유형이거나 위험도 높은 배치의 경우 20%에 가깝게, 낮은 위험도 배치의 경우 10%에 가깝게 설정합니다.

프로세스결과 보고서는 어떤 순서로 작성하나요?+

STEP 5에 따라 결과 보고서 초안 작성 → 개선 방안 포함 공유 → 재검수 → 최종 보고서 생성 순서로 진행합니다. 단순한 적합/부적합 판정이 아니라 데이터 품질을 실제로 개선할 수 있는 수정 가이드가 포함되어야 합니다.

기준 적용K-01(정합성)과 K-03(일관성)의 차이가 무엇인가요?+

K-01(정합성)은 멀티모달 데이터 간(텍스트-이미지-2D 등) 의미가 같은 방향을 향하는가를 봅니다. 하나의 데이터 셋 내 요소들의 의미 일치입니다.

K-03(일관성)은 같은 브랜드·서비스·카테고리에 속한 여러 데이터들이 스타일 규칙을 동일하게 따르는가를 봅니다. 배치나 브랜드 단위의 스타일 균질성입니다.

기준 적용K-05(주석 신뢰성)를 어떻게 판단하나요?+

처음 보는 사람이 라벨·태그·설명을 보고 동일한 결과를 재현할 수 있는가를 기준으로 판단합니다. "따뜻한 느낌"처럼 모호한 라벨은 재현 불가능하므로 낮은 점수입니다. "Warm 톤, 2700K 조명, 오렌지 계열 색상"처럼 구체적인 라벨이 높은 점수를 받습니다.

데이터 유형텍스트 데이터에서 가장 중요한 기준은 무엇인가요?+

K-01(정합성)과 K-05(주석 신뢰성)가 핵심입니다. 라벨-설명-콘셉트 간 의미 일치성, 브랜드 용어 표준화, CTA 강도의 적절성, 중복 문구 비율을 중점적으로 확인하세요. AI 학습용이라면 라벨이 재현 가능하게 정의됐는지가 결과 품질을 크게 좌우합니다.

점수·신뢰도DQ Score 몇 점 이상이면 승인인가요?+

방법론에서 절대적인 합격선을 정하지 않습니다. 참고용 가이드라인으로는 4.5 이상 매우 우수(즉시 승인), 3.5~4.4 우수(경미한 개선 권고), 2.5~3.4 보통(수정 후 재검수), 1.5~2.4 미흡(주요 수정 필요), 1.5 미만 불량(재작업 필요)을 활용할 수 있습니다.

점수·신뢰도4개 차원 중 특정 차원이 낮으면 어떻게 하나요?+

취약 차원을 먼저 파악합니다. 차원별 수정 방향은 다음과 같습니다.

데이터 무결성 낮음: 파일 품질·메타데이터·중복 정리에 집중
의미·정합성 낮음: 라벨 재정의, 멀티모달 요소 간 의미 일치 재확인
실사용 전환성 낮음: 실제 서비스 환경 적용 테스트 후 수정
학습 적합성 낮음: 데이터 다양성 확보, 편향 제거, 포맷 확장성 검토

기준 적용편향 위험(K-08)은 어떻게 판단하나요?+

4가지 기준으로 판단합니다.

색·레이아웃 편향: 특정 색이나 레이아웃이 과도하게 반복되는가
문화권 편향: 특정 문화권에서만 통하는 표현이 과다한가
성별 표현 편향: 특정 성별 표현이 과도하게 편중됐는가
스타일 편향: 특정 디자인 스타일만 집중됐는가 (K-02 대표성과 연관)

평가자 본인이 해당 문화권 전문가가 아닐 경우 K-08 판단을 보류하고 공동 평가자 검토를 요청하세요.

데이터 유형3D 데이터에서 반드시 확인해야 할 메타데이터는 무엇인가요?+

렌더링 조건 메타데이터가 핵심입니다. 조명 설정(색온도·강도·방향), 카메라 설정(초점거리·앵글), 재질 정보(PBR 수치), 스케일 기준이 반드시 문서화되어야 합니다. 이 정보가 없으면 K-05(주석 신뢰성)와 K-06(구조화 가능성)에서 낮은 점수를 받습니다.

점수·신뢰도평가자 간 점수 차이가 클 때 어떻게 처리하나요?+

ICC가 0.60~0.74 사이면 점수 차이가 큰 기준 항목을 중심으로 재논의합니다. ICC가 0.60 미만이면 전체 재검수가 필요하며, 캘리브레이션을 다시 수행해야 합니다.

데이터 유형2D 데이터의 확장성(K-09)은 어떻게 확인하나요?+

실제로 다른 해상도와 포맷으로 변환해보는 것이 가장 확실합니다. 실무적으로는 다음을 점검합니다.

모바일·데스크탑·인쇄 해상도로 변환 시 가독성 유지 여부
SVG 형식이 있어 벡터 확장이 가능한지
다른 배경색 위에서도 의미가 유지되는지

컴포넌트 단위로 재사용 가능한 구조라면 K-09와 K-06 모두 높은 점수를 받을 수 있습니다.

용어 사전

주요 용어 정의

KODIA 프레임워크

KODIA Heuristic-based Expert Design Data Quality Assessment Framework

한국디자인산업연합회 디자인데이터 품질연구소가 개발한 AI 학습용 디자인 데이터 품질진단 프레임워크. 미적 완성도만이 아니라 학습 가능성·재사용성·구조화 가능성·라벨 신뢰성·편향 위험·실사용 적합성까지 진단한다.

현장에서 바로 활용할 수 있는 실무 자료

전문가 선정 가이드 (PDF)

전문가 선정 기준과 원칙, 선정단계와 자격요건, 전문가 풀 운영 원칙이 포함된 실질적 가이드.

다운로드

평가 시트 (Excel)

DQ Score 4개 차원 자동 계산 기능 포함. 가중치 설정, 리커트 점수 입력, 차원별 집계를 자동으로 처리합니다.

다운로드

실무 가이드 전문 (PDF)

현장 검수 담당자를 위한 완전한 실무 가이드. 10가지 평가 기준, 5단계 프로세스, 파일별 체크포인트 포함.

다운로드

캘리브레이션 샘플 세트

고품질·중간·저품질 각 5건씩 총 15건. 데이터 유형(텍스트·사진·2D·3D)별로 구분되어 있습니다.

회원 전용

파일별 체크포인트 카드

텍스트·사진·2D·3D 데이터 유형별 체크포인트를 현장에서 빠르게 참조할 수 있는 카드 형태 자료.

다운로드

방법론 개정 참여

KODIA 프레임워크 개정 과정에 의견을 제출합니다. 운영위원회가 연 1회 이상 수렴하며 2024 가이드라인 v3.1 기반으로 최신화됩니다.

의견 제출

주관 기관

(사)한국디자인산업연합회
디자인데이터 품질연구소

디자인 산업의 AI 데이터 품질 기준을 연구하고 표준화하는 전문 연구 기관입니다. KODIA 프레임워크는 연구소가 개발하고 지속적으로 관리하는 공식 방법론입니다.

기관명

(사)한국디자인산업연합회

주관 부서

디자인데이터 품질연구소

문의

ko-dia@hanmail.net

버전 이력

v1.0

KODIA 프레임워크 공식 출범. 10가지 평가 기준 및 4개 DQ 차원 정립. 파일별 체크포인트(텍스트·사진·2D·3D) 신설. 2024 AI 학습용 데이터 품질관리 가이드라인 v3.1 기반 설계.

2025. 06

기반 문서

본 프레임워크는 2024년 인공지능 학습용 데이터 품질관리 가이드라인 v3.1과 디자인 분야 품질 평가 지표 관련 연구를 기반으로 설계되었습니다.

개정 원칙

KODIA 프레임워크는 연 1회 이상 정기 개정을 원칙으로 합니다. 운영위원회 의결, 회원사 의견 수렴, 외부 전문가 검토 절차를 거쳐 개정하며, 모든 버전은 공개 보관됩니다.

디자인 AI의 학습 품질,전문가 기준으로진단합니다

기술 검수만으로는 충분하지 않습니다

KODIA 프레임워크

모든 평가의 판단 기준

데이터 유형별 실무 점검 항목

체계적인 5단계로 품질을 진단합니다

빠르게 확인할 때는 3가지 기준으로

4개 평가 차원을 가중 합산한 종합 진단 점수

내 역할에 맞는 가이드를 확인하세요

현장에서 자주 묻는 질문

주요 용어 정의

현장에서 바로 활용할 수 있는 실무 자료

(사)한국디자인산업연합회디자인데이터 품질연구소

디자인 AI의 학습 품질,
전문가 기준으로
진단합니다

(사)한국디자인산업연합회
디자인데이터 품질연구소