GPT 출력을 유용하게 만드는 요인은 무엇인가? GlobalGPT 요청에서의 작업 위임과 사용자 제어

업무 위임, 성과 요건 및 사용자 통제권에 대한 탐색적 GlobalGPT 연구.

데이터 출처 및 사용 허가: 본 연구는 지난 8월 GlobalGPT에 자발적으로 데이터를 제공한 사용자 중, 본 연구에 대한 데이터 사용을 승인한 사용자들의 기록을 활용합니다. 개인정보 보호를 위해 사례는 일반화되어 있습니다. 정확한 활동 총계, 계정 수, 표본 수 및 관측 날짜는 공개되지 않습니다.

연구 데이터 요약: 10만 건 이상의 사용자 메시지, 약 5만 개의 대화 식별자 그룹, 그리고 2만 개 이상의 계정. 이 반올림된 총계는 원본 데이터셋을 나타내는 것이지, 정성적 분석에서 검토된 요청 건수를 나타내는 것이 아닙니다.

초록

배경: 대화형 AI에 대한 연구에서는 사람들이 논의하는 주제와 정보를 얻거나 업무를 위임하려는 의도를 구분합니다. 그러나 업무 위임의 경우, 관련 콘텐츠 제작 외에도 사용 가능한 형식, 제공된 자료에 대한 충실도, 근거 제시, 또는 실행 전 검토 기회 등 추가적인 요구 사항이 따를 수 있습니다.

연구 질문: 요청 기록은 출력이 사용 가능해지는 조건을 어떻게 명시하고 있나요? 후속 요청은 전달 및 관리 요건을 어떻게 표현하고 있나요? 주제만 명시된 작업 라벨로 인해 어떤 차이점이 모호하게 되는가요?

방법: 이 연구는 승인된 자료에서 선별된 요청 발췌문에 대해 AI를 활용한 정성적 분석을 실시했다. 주요 과제, 진단 및 후속 검토 표를 통해 산출물 요구 사항, 원본 충실도, 근거, 통제 유지 및 플랫폼 접근성에 대한 비교 분석이 이루어졌다. 각 표는 별도로 분석되었으며, 주제별 분석 결과는 전체 모집단의 유병률이 아닌 검토 대상 자료를 기술하는 데 중점을 두었다.

연구 결과: 검토된 요청들은 콘텐츠 제작과 사용 가능한 결과물 제공을 구분하고 있습니다. 일부는 편집 가능하거나 다운로드 가능한 형식을 명시하는 반면, 다른 요청들은 원본 자료의 변경을 제한하거나, 증거를 요구하거나, 구현 전에 검토를 전제로 하기도 합니다. 다른 도구를 염두에 둔 플랫폼 탐색 관련 질문과 안내 문구는 주제만 다루는 설명을 더욱 복잡하게 만듭니다. 대조적인 사례로는 직접적인 사실 확인 질문, 실행을 수반하지 않는 조언 요청, 그리고 맥락이 불충분한 입력 사항 등이 있습니다.

해석: 동일한 요청 내에서 작업 위임과 사용자 제어가 공존할 수 있다. 이 증거는 요청된 작업과 그 결과에 수반되는 조건 사이를 분석적으로 구분할 수 있음을 뒷받침한다. 다만 이러한 패턴의 보편성, 성공적인 수행, 노력 절감, 또는 모델 사용의 인과적 효과를 입증하지는 않는다.

1. 소개

본 보고서는 자발적으로 공유되고 승인된 GlobalGPT 데이터 중 선별된 요청 사항을 분석하여, 사용량만으로는 답할 수 없는 다음과 같은 질문을 규명하고자 합니다: AI가 생성한 결과를 사용할 수 있게 되기 전에 사용자는 무엇을 준비해야 할까요?

스프레드시트를 설명해 달라는 요청과 편집 가능한 스프레드시트를 돌려달라는 요청은 같은 주제를 다루고 있으면서도 서로 다른 작업을 요구하는 것일 수 있습니다. 마찬가지로, 문서를 수정한다는 것은 사실 관계를 변경하지 않고 문장을 다듬는 것을 의미할 수도 있고, 자유롭게 새로운 버전을 작성하는 것을 의미할 수도 있습니다. 두 경우 모두 ‘글쓰기’로 분류될 수 있지만, 모델에 허용된 역할과 사용자의 수용 기준은 서로 다릅니다.

본 연구는 사용자들이 GPT에게 수행하기를 원하는 작업과 그 결과에 수반되는 조건을 어떻게 구체화하는지를 살펴본다. 인간-컴퓨터 상호작용 연구의 맥락에서, 본 연구는 결과물, 정확도, 근거, 통제 등에 대한 명시된 요구사항을 통해 과제 위임 과정을 조사한다.

대규모 사용 연구 결과, 대화 주제와 사용자 의도 사이에 유용한 구분이 확립되었습니다. Chatterji 등은 소비자 ChatGPT에 대한 연구에서 ‘질문(Asking)’, ‘행동(Doing)’, ‘표현(Expressing)’을 구분했습니다[1]. 이는 또 다른 질문을 제기한다. 즉, 어떤 행동을 요청하는 경우, 사용자가 구체적으로 명시하거나, 검토하거나, 승인해야 할 사항은 무엇일까? 출력은 요청된 형식을 충족하지 않거나 지시된 대로 원본 자료를 보존하지 않더라도 주제와 관련이 있을 수 있다.

다중 모델 AI 구독 플랫폼인 GlobalGPT는 요청이 외부 작업과 그 수행 방법 모두를 대상으로 할 수 있는 환경을 제공합니다. 선정된 기록에는 콘텐츠, 파일, 모델 기능, 기존 작업에 대한 접근 권한 등에 관한 질문이 포함되어 있습니다. 이는 GlobalGPT에 등록된 GPT 태그가 붙은 기록이며, 공식 ChatGPT 애플리케이션 사용자의 표본이 아닙니다.

다음과 같은 세 가지 질문을 드립니다:

1. RQ1 — 사용성 조건: 검토 대상 요청들은 원하는 결과물에 대해 어떤 구체적인 요구 사항을 제시하고 있습니까?
2. RQ2 — 권한 위임과 통제: 초기 요청과 후속 요청에서는 전달, 수정, 근거, 그리고 조언과 실행 간의 경계를 어떻게 명시하고 있습니까?
3. RQ3 — 측정: 요청을 주 주제 레이블만으로 설명할 때, 이러한 구분 중 어떤 것들이 사라지게 됩니까?

본 연구는 사용자가 ‘사용 가능한’ AI 출력을 어떻게 정의하는지 이해하기 위한 프레임워크를 제시한다. 요청된 작업과 전달 요건, 그리고 사용자가 보유한 통제권을 구분함으로써, 이 분석은 AI 지원 업무의 설계 및 평가에 있어 중요한 차이점을 규명한다.

2. 관련 연구 및 분석적 접근 방식

2.1 주제, 의도 및 경제 활동

사람들이 ChatGPT를 어떻게 사용하는가 이 연구는 여러 분류 방식을 활용하여 관찰된 소비자 ChatGPT 활동을 분석한다 [1]. 주요 분류 데이터셋은 대화와 각 대화 내의 메시지를 표본으로 추출하며, 기본 원본 테이블의 변화율을 반영하기 위해 표본 가중치를 조정한다. 분류 과정에서는 각 짧은 메시지를 독립적인 단위로 취급하기보다는 앞선 대화 맥락을 활용한다.

이 논문은 주제와 의도를 구분한다. ‘물어보기(Asking)’는 정보나 조언을 요청하는 것을 다루며, ‘실행하기(Doing)’는 모델이 생성한 결과물을 다루고, ‘표현하기(Expressing)’는 정보 요청이나 작업 위임이 아닌 진술을 다룬다. 기술적 질문은 설명이나 작동하는 코드를 요청할 수 있는 반면, 글쓰기 요청은 바로 재사용 가능한 초안을 요청할 수 있다. 따라서 이러한 구분은 단순히 주제에 의해서만 설명될 수 없다.

해당 연구는 또한 대규모 분류 작업과 검증 작업을 구분하고 있다. 부록 B에서는 공개된 WildChat 자료를 대상으로 모델의 라벨과 사람의 판단을 비교하고, 일치도를 보고하며, 별도의 개발 데이터 세트를 사용한다. 인구통계학적 분석에서 수행된 회귀 분석은 측정된 특성과 관련된 차이점을 다루고 있다. 이러한 절차들은 특정 질문과 데이터 구조에 맞춰 설계된 것으로, 대규모 표본이나 회귀 분석 설계는 본 연구에 그대로 적용될 수 없다.

저희의 질문은 위임된 산출물에 적용되는 요건과 관련이 있습니다. 저희는 NBER 분류 체계를 적용하거나 이에 상응하는 타당성을 주장하지는 않으면서, 해석의 출발점으로 정보와 행동 간의 구분을 활용합니다. 검토된 요청들을 살펴보면, “실행(Doing)”은 무엇이 보존되어야 하는지, 산출물이 어떻게 전달되어야 하는지, 그리고 사용자가 이를 언제 검토하고자 하는지에 따라 더 구체적으로 설명될 수 있음을 시사합니다.

2.2 분류에서 비교로

질적 분석은 유사한 요청 사항들이 무엇을 요구하는지 비교하고, 특정 해석에 의문을 제기하는 사례들을 검토함으로써 단순한 범주 목록 이상의 기여를 할 수 있다. 게일(Gale) 등은 사례별 범주 비교, 명확한 분석 틀, 그리고 모순되는 사례에 대한 고려의 가치를 설명하고 있다[2]. 또한 그들은 행렬을 사용한다고 해서 의도적으로 선정된 자료가 통계적으로 대표성을 갖게 되는 것은 아니라고 경고한다.

본 분석은 이러한 비교적 논리를 차용한다. 본 분석은 ‘프레임워크 방법(Framework Method)’을 전면적으로 적용했다고 주장하지는 않는다. 다학제적 코딩 팀이 구성되지 않았고, 모든 원문에 대해 일일이 철저히 코딩하는 과정도 없었으며, 독립적인 질적 연구자의 평가도 이루어지지 않았기 때문이다. 자료는 이질적이며, 비교는 AI 시스템에 제시된 명시적 요구사항이라는 공통된 특징으로만 제한된다. 우리는 이 절차를 주제별 증거 매트릭스를 바탕으로 한 ‘탐색적 질적 내용 분석’이라고 부른다.

2.3 작업 개념

업무 위임 시스템이 특정 작업을 수행하거나 결과를 산출하도록 명시적으로 요청하는 것을 의미합니다. 사용성 조건 편집 가능성, 원본에 대한 충실도, 증거, 대상 독자층에의 적합성, 전달 방식 등 해당 결과에 대한 요구 사항이 명시되어 있습니다. 지배권 유지 이는 시스템이 현재 수행해야 할 작업에 대한 명확한 제한을 의미하며, 진행에 앞서 계획이나 초안을 제시하라는 요청도 여기에 포함됩니다.

이러한 개념들은 요청문의 내용을 설명합니다. 상세한 지시가 있다고 해서 그것이 반드시 불신, 전문성, 좌절감, 혹은 더 많은 업무량을 의미하는 것은 아닙니다. 출처를 요청한다고 해서 그 이전의 답변이 틀렸다는 증거가 되는 것은 아닙니다. 이 분석은 그러한 가능한 설명들을 직접적으로 표현된 내용과 별개로 구분합니다.

3. 방법

3.1 연구 설계 및 데이터 출처

본 연구는 지난 8월에 GlobalGPT에 자발적으로 데이터를 공유하고 본 연구에 대한 데이터 사용에 동의한 사용자들의 기존 기록을 대상으로 한 후향적 탐색적 분석입니다. ‘8월’은 사용자가 자료를 공유한 시기를 나타낼 뿐, 전체 관찰 기간을 의미하는 것은 아닙니다. 본 문헌고찰을 위해 새로운 참가자를 모집하지 않았으며, 중재도 배정하지 않았고, 추가적인 데이터베이스 추출도 수행하지 않았습니다.

제공된 추출 데이터에는 대화 식별자가 비어 있지 않고, 제공된 GPT 필터와 일치하는 모델 레이블을 가진, 비어 있지 않으며 삭제되지 않은 사용자 메시지 행이 포함되었습니다. 라우팅, 자격 요건 및 전체 대화 범위는 별도로 검증되지 않았습니다. 상업적으로 민감한 정보를 보호하기 위해 정확한 추출 날짜, 활동 총계 및 계정 수는 공개되지 않았습니다.

질적 연구 결과는 선별된 검토 자료를 바탕으로 합니다. 이 검토는 추출된 전체 자료를 기록별로 일일이 분석한 것이 아니며, 승인된 기여자들을 모든 플랫폼 사용자의 대표 표본으로 간주하지 않습니다.

3.2 이용 가능한 복습 자료 및 단원

이 진단 표에는 불확실한 라벨과 실질적인 과제 범주가 포함되어 있습니다. 이 표의 구성은 원본 데이터 추출량과 비례하지 않습니다. 선택 과정은 불확실한 분류에 중점을 두었으며, 포함 확률은 설정되지 않았습니다.

일부 초기 텍스트가 여러 검토 표에서 반복적으로 등장합니다. 동일한 텍스트가 있다고 해서 동일한 사용자나 대화가 존재한다고 단정할 수는 없지만, 이로 인해 해당 표들을 명백히 독립적인 상호 검증 샘플로 간주하는 것은 불가능합니다. 각 표의 분모는 통합되지 않았으며, 재코딩된 비율은 추출 데이터로 외삽되지 않았습니다.

질적 단위는 검토 대상 필드나 후속 발췌문 내에서 식별 가능한 요청을 의미합니다. 저장된 행에는 붙여넣어진 문서나 포함된 이력이 포함될 수 있으며, 이는 반드시 자연스러운 대화의 한 차례를 의미하는 것은 아닙니다. 검토 테이블의 정확한 크기는 공개되지 않으므로, 분석 범위에 대한 외부 평가가 제한됩니다.

3.3 판독 및 해석 절차

초기 검토에서는 주요 과제 표에 포함된 의도를 나타내는 항목과, 길거나 모호한 필드의 일부 끝부분을 조사했습니다. 이전에 ‘기타’로 분류되었던 기록에는 탐색적 범주가 할당되었습니다. 후속 표에서 발췌한 초기 및 후속 내용에 대해서는 빈도를 추정하지 않은 채, 표현된 행동들을 검토했습니다.

후속 검토에서는 진단 표 전반에 걸쳐 시작 부분을 점검했으며, 분량이 긴 항목의 경우 끝부분까지 확인했습니다. 출력 과정에서 잘려나간 내용은 다시 읽어보았습니다. 이는 특정 과제를 다루는 발췌문을 검토한 것이지, 포함된 모든 계약서, 연구 문헌, 전기, 코드 이력을 일일이 샅샅이 읽은 것은 아닙니다. 참조된 첨부 파일과 외부 링크는 열지 않았습니다.

이 비교 프레임워크는 입력 자료, 요청된 작업, 출력 형식, 수용 조건, 제어권 유지 여부, 플랫폼 접근 권한을 구분했습니다. 이 프레임워크는 데이터를 검토하고 관련 문헌을 참고하여 개발되었으며, 사전 등록되지는 않았습니다. 원래의 분류기 레이블은 그대로 표시되었습니다.

이 분석에서는 ‘직접 생산 대 설명’, ‘보존 대 자유로운 수정’, ‘즉각적인 실행 대 사전 계획’, ‘외부 과제 요구사항 대 플랫폼 탐색’과 같이 대조되는 형태들을 비교했다. 모호한 원문 구절, 인사말, 정형화된 응답 지침, 그리고 내재된 역할 관련 내용은 실질적인 범주에 억지로 끼워 맞추기보다는 해석의 한계로 남겼다.

검토 및 해석은 단일 AI 어시스턴트가 수행했습니다. 독립적인 인간 코더, 맹검 라벨링, 판정 절차, 또는 입증된 주제 포화도는 없었습니다. 개념적 차원들은 모든 행에 대해 이진 라벨로 철저하게 할당되지는 않았습니다. 결과 행렬은 유병률이나 동시 발생률이 아닌, 패턴과 반례를 설명합니다.

3.4 기술적 및 통계적 분석

집계 산술값과 범주별 탐색적 집계 수는 내부적으로 확인되었습니다. 정확한 집계 수, 백분율, 평균 및 관측 기간은 상업적으로 민감한 규모를 드러낼 수 있으므로 공개되지 않습니다. 공개 보고서에는 소스 데이터 세트의 반올림된 총계와 질적 대비만 제시되어 있습니다. 범주별 빈도에 대한 확대 추산치나 반올림된 추정치는 제공되지 않습니다.

1차 작업 재코딩 과정에서는 검토된 각 잔여 기록에 탐색적 범주가 할당되었습니다. 이는 표본 가중치를 적용한 모집단 추정치가 아니라, 선별된 부분 집합에 대한 장부 기록에 불과했습니다. 또한 저장된 행 구조와 추출 경계로 인해 내부 그룹 요약값을 ‘대화 완료 후 후속 반응 확률’이나 ‘자연스러운 대화 턴 길이’로 취급할 수 없었습니다.

가설 검정, 회귀 분석, 모집단 신뢰 구간 또는 전이 확률은 계산되지 않았다. 알려지지 않은 포함 확률, 중복된 텍스트, 불완전한 대화 연결, 검증되지 않은 레이블 등으로 인해 통계적 추론에 한계가 있다. 선택된 행을 재표본 추출하더라도 해당 선택 과정의 문제점은 해결되지 않을 것이다. 독립적인 평가가 없었기 때문에 평가자 간 일치도 통계량은 보고되지 않았다.

3.5 사생활과 반성성

이 보고서는 개인적인 인용문, 특정한 이력, 계정 식별자 또는 연락처 정보 대신 일반적인 설명을 사용합니다. 개인적 상황에 대한 언급은 확인된 신원이나 속성으로 간주되지 않습니다. 메시지의 언어 또는 주제를 통해 인구통계학적 프로필을 추론하지 않습니다.

GlobalGPT는 해당 소스 플랫폼을 운영하며, 그 사용에 상업적 이해관계를 가지고 있습니다. 본 보고서는 콘텐츠 연구 환경에서 작성되었기 때문에, 생산성이나 수요와 관련된 매력적인 사례에 편향될 위험이 있습니다. 이러한 해석을 최소화하기 위해, 본 분석에는 대조적인 사례들이 포함되었으며, 요청이 성공적인 실행과 동일시되지 않도록 했습니다. 데이터 공유에 대한 사용자의 승인은 독립적인 윤리 검토나 분석에 대한 인간적 검증을 구성하지 않으며, 본 보고서에서도 그러한 주장을 하지 않습니다.

4. 연구 결과

4.1 연구 질문 1(RQ1): 유용한 결과를 얻기 위해서는 관련성 있는 콘텐츠 이상의 요소가 필요할 수 있다

일부 요청은 단순히 답변만 요구하는 것이 아니라 특정 결과물을 명시하기도 합니다. 편집 가능한 워크시트, 프레젠테이션, 다운로드 가능한 이미지, 또는 후속 제작 단계에 적합한 문서 등을 요청하는 경우입니다. 이러한 경우, 콘텐츠와 제공 형식은 별개의 요구 사항입니다. 파일을 만드는 방법에 대한 설명만으로는, 해당 파일을 제공해 달라는 명시된 요청을 충족시키지 못합니다.

아래의 비교 내용은 명시된 요구 사항의 차이를 설명하기 위해 선별된 요청들을 의역한 것이며, 문자 그대로의 인용이나 발생 빈도에 대한 추정치가 아닙니다. 각 A와 B는 하나의 원본 기록을 나타냅니다. 이 비교는 서로 다른 요청 간의 작업 조건을 비교한 것이지, 일치하는 실험이나 동일한 사용자 내의 변화를 비교한 것이 아닙니다.

비교 1 — 기술적 문제를 설명하고 파일을 전달하는 경우.

요청 A — 일반화: 한 사용자가 숫자 형식 간 변환이 언더플로우를 유발할 수 있는지 묻고 있습니다. 명시된 목적은 기술적인 설명을 듣는 것이며, 파일 제출은 요청되지 않았습니다. 요청 B — 일반화된 형태: 다른 사용자가 워크북 생성 코드를 제공하며, 이를 바탕으로 만든 다운로드 가능한 스프레드시트를 요청합니다. 요청된 결과물은 제공된 코드에 대한 설명이 아니라 파일 자체입니다.

차이는 전달 방식에 있습니다. A는 텍스트 형식의 답변 내에서 다룰 수 있는 반면, B는 사용자가 얻을 수 있는 구체적인 결과물을 명시적으로 요구합니다. 주제는 다르지만, 이 두 사례는 RQ1에서 제시한 ’내용에 대한 질문에 답하는 것’과 ‘출력 형식 요건을 충족하는 것’ 사이의 구분을 뒷받침합니다. 다만 이 사례들만으로는 스프레드시트가 생성되거나 다운로드되었는지, 또는 두 응답 중 어느 하나가 사용자의 요구를 충족했는지는 입증되지 않습니다.

다른 요청들은 변형에 조건을 붙이기도 합니다. 이들은 사실, 세부 사항, 또는 설명의 순서는 그대로 유지하면서 언어적 표현을 개선해 줄 것을 요구합니다. 따라서 원본 자료는 단순한 배경 자료가 아니라, 허용되는 변경의 경계를 정의할 수 있습니다. ‘글쓰기’와 같은 주제 라벨만으로는 그 경계를 파악할 수 없습니다.

비교 2 — 문서를 보존하고 가상의 배경을 확장하기.

요청 A — 일반화: 한 사용자가 제공된 보고서의 세부 내용과 설명 순서는 그대로 유지한 채, 문법 및 문체 면에서 개선해 달라고 요청합니다. 요청 B — 일반화된 형태: 한 사용자가 가상의 세계관 설정 노트를 제공하고, 간략한 설명이 포함된 추가 장소를 요청하며, 제공된 세계관 설정과 연관성을 유지하면서도 그 범위를 넘어선 아이디어를 적극적으로 제안해 달라고 요청합니다.

두 요청 모두 기존 자료를 바탕으로 텍스트를 작성하는 것이지만, 원본이 갖는 목적은 서로 다릅니다. A는 유지된 내용을 수정 시의 제약 조건으로 삼는 반면, B는 제공된 설정을 새로운 창작의 출발점으로 삼습니다. 이는 RQ1과 RQ3을 뒷받침합니다. 즉, 글쓰기 지침만으로는 허용되는 변경의 정도를 설명할 수 없다는 것입니다. 이 비교는 보고서의 사실적 주장을 검증하지도 않고, 두 결과물 중 어느 쪽도 지침을 준수했음을 보여주지도 않는다. B의 창작적 허용 범위는 여전히 허구적 추가 내용에 국한된다.

‘증거’는 요청된 또 다른 속성입니다. 일부 기록은 정확한 출처를 요구하거나, 사실에 대한 주장을 확인해 달라고 요청하거나, 불확실한 내용을 확립된 정보와 구분해 줄 것을 요구하기도 합니다. 이는 결과적으로 도출된 답변이 신뢰할 수 있었는지를 나타내는 것이 아닙니다. 이는 사용자가 요청한 결과의 일부로 ‘증거’를 명시적으로 포함시켰음을 보여줍니다.

비교 3 — 출처 파악 및 외부 검색 제한.

요청 A — 일반화: 한 사용자가 첨부된 그림과 관련된 정확한 과학적 참고 문헌을 학술 인용 형식으로 요청합니다. 요청 B — 일반화된 형태: 또 다른 사용자는 모델이 보유한 기존 지식을 바탕으로 재료에 대한 간결한 기술적 비교를 요청하며, 크레딧을 절약하기 위해 웹 검색을 명시적으로 배제했습니다.

차이는 증거 요건과 허용되는 답변 방식에 있습니다. A는 식별 가능한 출처를 요구하는 반면, B는 외부 정보 검색에 명시적인 제한을 둡니다. A는 의무적인 검색 절차를 명시하지 않으며, B의 제한 사항이 정확성의 필요성을 배제하지도 않습니다. 이 두 가지는 RQ1에서 증거 전략을 과제별 특성에 따라 다루는 관점을 뒷받침합니다. 본 연구에서는 그림과 완성된 답변을 평가하지 않았으므로, 출처 식별의 성공 여부나 신뢰할 수 있는 기술적 조언의 타당성은 입증되지 않았습니다.

이러한 대조적인 사례들은 중요한 의미를 지닙니다. 직접적인 사실 확인 요청의 경우 반드시 특정 파일을 명시할 필요는 없습니다. 일부 요청은 판단이나 설명을 구하는 것이며, 검토 대상 유형 중 하나는 외부 검색을 명시적으로 제한하고 있습니다. 따라서 이러한 연구 결과는 결과물 생산이나 극대화된 연구를 보편적으로 선호한다는 것이 아니라, 다양한 형태의 활용 가능성을 뒷받침합니다.

4.2 연구 질문 2(RQ2): 위임을 통해 실행에 대한 명시적인 경계를 유지할 수 있다

이 자료에는 규정 준수 전 단계의 계획 수립 요청, 발표용 요약본보다 앞서 작성된 초안 요청, 그리고 프로세스의 어느 정도를 자동화해야 하는지에 대한 조언 요청 등이 포함되어 있습니다. 이러한 요청들은 업무의 일부를 위임하면서도 추후 결정을 유보하는 형태입니다. 반면, 다른 기록들에서는 직접적인 실행이나 즉시 완성된 결과물을 요구하기도 합니다.

비교 4 — 지금 계획을 세우고 지금 코드를 작성하는 경우.

요청 A — 일반화: 한 사용자가 소프트웨어 프로젝트를 설명하면서, 이번 답변에서는 연구 및 구현 계획에 집중해 달라고 시스템에 명시적으로 요청하고, 코드 생성은 나중에 있을 프롬프트에서 다루도록 미루고 있습니다. 요청 B — 일반화된 형태: 또 다른 사용자가, 설정 가능한 옵션과 운영 규칙을 갖춘 특정 자동화 루틴을 구현한 소스 코드를 요청합니다.

두 경우 모두 소프트웨어 구축과 관련이 있지만, 현재 실행 범위는 서로 다릅니다. A는 향후 구현 목표를 정의하면서 현재 과제를 계획 단계로 제한하는 반면, B는 현재 응답에서 구현을 요구합니다. 이는 RQ2를 뒷받침합니다: 프로젝트를 위임한다고 해서 그 이후의 모든 단계가 자동으로 한 번에 승인되는 것은 아닙니다. 이 두 사례는 A의 후속 코딩 단계가 실제로 진행되었는지, B의 프로그램이 제대로 작동했는지, 또는 계획 수립이 먼저 이루어졌을 때 결과가 개선되었는지를 입증하지는 않습니다. 이는 서로 별개의 요청일 뿐, 관찰된 ‘전후’ 순서를 나타내는 것이 아닙니다.

이러한 대조는 ‘요청’과 ‘실행’ 사이의 단순한 구분을 보완해 준다. 요청은 최종적인 결과물과 관련될 수 있는 반면, 시스템에 중간 단계에서 즉시 중단하도록 요청하는 경우도 있다. 이를 제한 없는 실행으로 간주한다면 명시적으로 규정된 제어 경계를 간과하게 될 것이다.

후속 발췌문들은 또 다른 관점을 제시합니다. 사용자들은 문구 수정을 요청하거나, 누락된 맥락을 제공하거나, 다른 형식을 요청하거나, 출처 링크를 찾거나, 결과에 접근하는 방법을 묻기도 합니다. 이는 서로 다른 상호작용 요구사항입니다. 이 모든 것을 오류 복구로 코딩할 수는 없습니다. 새로운 요구사항은 오류에 대한 대응이라기보다는 작업의 세부적인 확장일 수 있기 때문입니다.

또한 이러한 발췌문만으로는 ‘문의 → 초안 → 최종 문서’로 이어지는 보편적인 순서를 입증할 수 없다. 이 자료집은 완전하고 독립적으로 검증된 응답 이력을 제공하지 않는다. 우리는 요청 양식과 일부 내부 후속 조치만 확인할 수 있을 뿐, 일반적인 프로세스 모델이나 전환 확률을 파악할 수는 없다.

4.3 연구 질문 2(RQ2): 일부 연구는 도구 간의 접근 및 데이터 전송 문제를 다루고 있다

일부 메시지에서는 이전 작업물이 어디에 있는지, 자료를 어떻게 업로드하는지, 제안된 작업을 처리할 수 있는 모델은 무엇인지, 또는 통합 기능을 어떻게 사용하는지 등을 묻습니다. 이러한 요청은 작업이 수행되는 환경과 관련된 것입니다. 비록 외부 콘텐츠 작업을 수행하는 데 필수적일지라도, 이는 외부 콘텐츠 작업과는 별개의 사항입니다.

다른 기록물들은 별도의 이미지, 프레젠테이션 또는 연구 도구에 대한 프롬프트를 요청합니다. 이 경우 프롬프트 자체가 의도된 중간 산출물입니다. 이는 더 광범위한 워크플로의 일부일 수 있지만, 해당 기록물만으로는 후속 도구가 사용되었거나 모델 전환이 실제로 발생했음을 입증할 수는 없습니다.

분석적 관점에서 볼 때, 사용자에게 노출되는 AI 요청은 최소한 세 가지 별개의 대상, 즉 작업, 그 결과, 그리고 해당 결과를 생성하거나 검색하는 수단에 대한 접근을 다룰 수 있다. 플랫폼 관련 질문은 명시된 탐색 요구 사항을 보여줄 뿐, 그 자체만으로는 인터페이스 결함이나 누락된 기능을 확인해주지는 않는다.

4.4 연구 질문 3(RQ3): 주제 레이블은 여러 과제에 걸쳐 나타나는 차이점을 압축한다

앞서 수행된 잔여 범주 재코딩을 통해, 원래 ‘기타’로 분류되었던 기록들 중에서 시각적 제작, 정보 검색, 글쓰기, 실용적 조언, 소프트웨어 도움말, 구조화된 문서, 코딩, 학습, 플랫폼 탐색 등이 확인되었다. 보충 표에는 기존 주제 라벨만으로는 그 기능을 명확히 설명할 수 없는 명시적인 요청들도 포함되어 있습니다. 일부 긴 원본 필드는 번역, 요약 또는 문서 작성이라는 실행 지침으로 끝나는 경우도 있습니다.

여기서 두 가지 측정 문제가 발생합니다. 첫째, 분류기가 모델에 요청된 작업이 아닌, 붙여넣어진 내용의 주제에 반응할 수 있습니다. 둘째, 주제가 올바르게 할당되었다 하더라도, 요청들 간의 차이를 구분해 주는 형식, 정확도, 근거 또는 승인 조건이 누락될 수 있습니다.

이러한 차원들은 서로 겹칠 수 있습니다. 이는 해석적 틀일 뿐, 새롭게 검증된 포괄적인 분류 체계가 아닙니다. 이 표는 조사 대상 자료 간의 차이점을 요약한 것이며, 빈도 순위는 제시하지 않습니다.

4.5 실체적 해석을 거부하는 기록들

1차 검토 표에는 반복되거나 고정된 단답형 응답 패턴이 포함되어 있습니다. 이 패턴들의 출처는 알 수 없으며, 일상적인 사용, 평가, 연결성 확인, 복사된 예시 또는 그 밖의 다른 과정을 반영한 것일 수 있습니다. 이 패턴들은 별다른 조치 없이 제거되지도 않았고, 확인된 테스트 트래픽으로 식별되지도 않았습니다.

다른 필드에는 내장된 역할 선언, 도구 마커 또는 붙여넣어진 대화 내역이 포함되어 있습니다. 이러한 구성 방식은 문장을 현재 사용자의 요청과 연결하는 작업을 복잡하게 만듭니다. 일부 기록에는 원본 자료만 포함되어 있거나, 맥락이 누락되어 그 용도를 파악할 수 없는 단편적인 내용만 포함되어 있습니다.

이러한 사례들은 주장을 제한한다는 점에서 분석적으로 유용합니다. 데이터셋은 독립적이고 완전히 관찰된 위임 사례들을 투명하게 기록한 것이 아닙니다. 더 나은 작업 범주만으로는 저장된 기록이 무엇을 나타내는지에 대한 불확실성을 해소할 수 없습니다.

5. 토론

5.1 생산을 위임하는 것은 통제권을 포기하는 것과는 다르다

핵심적인 해석은, 요청이 결과와 프로세스에 대한 조건을 유지하면서 작업을 위임할 수 있다는 것이다. 사용자는 사실을 보존한 채 초안을 작성해 달라고 시스템에 요청하거나, 코드를 생성하기 전에 구현 계획을 세우도록 요청하거나, 의사결정 전에 근거를 제시해 달라고 요청할 수 있다. 이러한 요청들은 작업 위임에 대한 예외라기보다는 작업 위임과 양립 가능한 것이다.

이는 명시된 요구사항 수준에서 정보 탐색과 생산 간의 구분을 확장하는 것이다. 이는 인간과 AI 간의 협업에 관한 새로운 보편적 이론을 제시하는 것은 아니다. 이 자료는 단일 의도 레이블에 부가적인 차원이 필요한 이유를 보여주기에는 충분하지만, 각 조합이 얼마나 자주 발생하는지를 추정하기에는 불충분하다.

5.2 출력 생성과 활용 가능한 전달은 별개의 평가 목표이다

응답이 주제를 다루고 있는지 여부만을 확인하는 평가 방식은 명시적인 전달 조건을 간과할 수 있습니다. 검토 대상인 아티팩트 요청의 경우, 유용한 평가라면 요청된 양식이 전달되었는지, 필요할 때 편집 가능한 상태를 유지했는지, 지정된 원본 콘텐츠가 보존되었는지, 단계별 승인 경계를 준수했는지도 함께 확인해야 합니다.

이는 요청 사항을 바탕으로 제안된 평가 기준일 뿐, 측정된 성과 결과는 아닙니다. 현재 기록만으로는 실제 준수 여부를 점수화할 수 없습니다. 그럼에도 불구하고, 이러한 구분을 통해 메시지 수나 후속 조치의 유무만 확인하는 것보다 더 정확한 향후 성과 측정 기준을 마련할 수 있습니다.

5.3 연구 결과가 조정과 관련하여 입증하지 못한 점

요구사항 정의, 증거 확인, 파일 검색은 위임된 업무를 둘러싼 조정 활동으로 이해될 수 있다. 이러한 활동들의 존재는 더 깊은 의문을 불러일으킨다. 즉, AI는 총 작업량을 줄여주는 것일까, 아니면 이를 요구사항 정의와 확인 작업 쪽으로 재분배하는 것일까?

이 연구는 그 질문에 대한 답을 제시하지 못한다. 이 연구에는 대조군, 시간 측정, 완전한 산출물, 그리고 독립적인 과제 성공 평가가 부족하기 때문이다. 후속 연구는 유용한 협력, 피할 수 있는 마찰, 목표 변경, 혹은 일상적인 다음 단계 중 하나일 수 있다. 이를 단순히 ‘후속 연구’로 간주하는 것만으로는 이러한 설명들을 구분할 수 없다.

향후 가설에서는 명시적인 전달 조건이 이후의 형식 수정을 예측하는지, 또는 단계별 승인 요청이 원치 않는 행동의 감소를 가져오는지 여부를 검토할 수 있을 것이다. 이러한 가설을 검증하려면 서로 연결된 에피소드, 검증된 레이블, 그리고 사용자 내 반복 관측치에 대한 적절한 처리가 필요하다. 이는 여전히 연구 과제로 남아 있으며, 본 보고서에서 도출된 연구 결과는 아니다.

6. 제한 사항

선택과 의존. 이 검토 표들은 진단 목적으로 제공되었으며, 포함 확률은 알려지지 않았습니다. 일부 초기 문헌은 동일한 표 내 및 표 간에 중복되어 나타납니다. 이 기록들만으로는 인구 유병률이나 독립적인 재현 주장을 뒷받침할 수 없습니다.

해석. 한 AI 어시스턴트가 원본 라벨이 표시된 상태에서 분석을 수행했습니다. 독립적인 인간 검증이나 평가자 간 신뢰도 추정은 이루어지지 않았습니다. 분석 프레임워크는 데이터를 검토한 후 개발되었으며, 분석가의 기대를 반영했을 수 있습니다.

읽은 내용이 불완전하고 문맥이 부족합니다. 검토는 서두, 선별된 결말 부분, 그리고 후속 발췌문에 중점을 두었습니다. 긴 원문 구절, 참조된 첨부 파일, 그리고 조교가 작성한 전체 답변은 철저히 검토되지 않았습니다. 일부 지침이나 반례가 누락되었을 수도 있습니다.

추출 경계. GPT로 표시된 행에는 이전, 이후 또는 그 사이의 활동이 누락될 수 있습니다. 모델 라우팅은 별도로 검증되지 않았습니다. 저장된 행에는 내재된 이력이 포함될 수 있으며, 행 수는 반드시 자연스러운 전환을 나타내는 것은 아닙니다.

결과. 요청 사항이 전달, 정확성, 만족도, 생산성, 전환율 또는 모델의 우월성을 입증하는 것은 아닙니다. 본 연구는 요청 내용으로부터 민감한 개인적 특성을 추론하지 않습니다.

이전 가능성과 상업적 환경. 이 연구 결과는 하나의 다중 모델 플랫폼에서 선별된 기록에 관한 것입니다. 이는 ChatGPT의 공식적인 사용 현황이나 일반 대중을 대표하지 않습니다. 본 연구 결과를 해석할 때는 해당 플랫폼의 상업적 이해관계와 독립적인 연구 검토가 이루어지지 않았다는 점을 고려해야 합니다.

7. 결론

검토 대상 요청 사항들은 GPT에 위임된 작업과 사용 가능한 결과에 부가된 조건들을 구분하고 있습니다. 이러한 조건에는 제공 형식, 원본 자료에 대한 충실도, 증거, 그리고 후속 조치를 취하기 전 검토 기회 등이 포함됩니다. 플랫폼 접근 권한 및 다른 도구에 대한 프롬프트는 주제 라벨만으로는 포착할 수 없는 추가적인 요구 사항을 더합니다.

이 증거는 한 가지 핵심 주장을 뒷받침한다. 즉, 요청 내에서 권한 위임과 통제권 유지는 공존할 수 있다는 것이다. 이러한 관계를 설명하려면 사용자가 어떤 결과를 원하는지, 무엇이 변경되어서는 안 되는지, 그리고 시스템이 다음에 무엇을 수행해야 하는지에 주목해야 한다. 본 분석은 이러한 차이점을 규명할 뿐, 그 발생 빈도를 추정하거나 이러한 차이점이 결과를 개선한다는 사실을 입증하지는 않는다.

참고 문헌

1. Chatterji, A., Cunningham, T., Deming, D. J., Hitzig, Z., Ong, C., Shan, C. Y., & Wadman, K. (2025). 사람들이 ChatGPT를 어떻게 사용하는가. NBER 워킹 페이퍼 제34255호. https://doi.org/10.3386/w34255. 공식 기록: https://www.nber.org/papers/w34255. 이 워킹 페이퍼는 동료 심사를 거친 학술지 논문으로 간주되지 않습니다.
2. Gale, N. K., Heath, G., Cameron, E., Rashid, S., & Redwood, S. (2013). 다학제적 보건 연구에서 질적 데이터 분석을 위한 프레임워크 방법의 활용. BMC 의학 연구 방법론, 13, 117. https://doi.org/10.1186/1471-2288-13-117. 전문: https://pmc.ncbi.nlm.nih.gov/articles/PMC3848812/.

부록 A. 질적 범주 목록

탐색적 재코딩을 통해 시각적 제작, 정형화된 응답 지침, 정보 검색, 글쓰기, 실용적인 조언, 플랫폼 탐색, 모호한 입력, 소프트웨어 문제 해결, 구조화된 산출물, 코딩, 학습, 음악, 아이디어 구상, 긴 소스 재구성, 역할/이력 정리 등이 확인되었다.

이 목록은 선정된 자료에서 발견된 범주들을 기술한 것입니다. 각 범주의 개수와 총계는 공개되지 않았으며, 이 목록은 빈도 순위나 플랫폼 수요에 대한 추정치가 아닙니다.

연구 관련 공개 사항

AI 지원: AI 어시스턴트가 명시된 발췌문을 검토하고, 탐색적 해석을 도출하며, 기술적 검증을 수행하고, 원고를 초안으로 작성했습니다. 별도의 인간 라벨러와의 일치 여부는 주장하지 않습니다.

데이터 이용 가능 여부: 기본 패킷에는 승인된 기여자들이 자발적으로 공유한 비공개 기록이 포함되어 있으므로, 해당 내용은 재게재되지 않습니다. 정확한 수치 요약 및 관측 날짜 역시 공개되지 않습니다. 본 보고서는 개별 메시지나 템플릿의 재배포를 허용하지 않습니다. 조사 결과의 모든 예시는 일반적인 설명일 뿐, 비공개 인용문이 아닙니다.