Что делает вывод GPT пригодным для использования? Делегирование задач и контроль со стороны пользователя в запросах GlobalGPT

Исследование методом GlobalGPT, посвященное делегированию задач, требованиям к результатам и контролю со стороны пользователей.

Источник данных и разрешение: В данном исследовании используются данные пользователей, которые в августе добровольно предоставили свои данные сервису GlobalGPT и дали разрешение на их использование в рамках данного исследования. Примеры обобщены в целях защиты конфиденциальности. Точные итоговые показатели активности, количество учетных записей, размер выборки и даты наблюдений не разглашаются.

Краткий обзор данных исследования: Более 100 тыс. пользовательских сообщений, примерно 50 тыс. групп идентификаторов разговоров и более 20 тыс. учетных записей. Эти округленные итоговые цифры отражают исходный набор данных, а не количество запросов, проанализированных в ходе качественного анализа.

Аннотация

Предпосылки: В исследованиях в области диалогового ИИ проводится разграничение между темами, обсуждаемыми людьми, и их намерением получить информацию или делегировать задачу. Однако делегирование задачи может предполагать требования, выходящие за рамки простого создания соответствующего контента: удобный для использования формат, точное следование предоставленному материалу, подтверждающие данные или возможность ознакомиться с результатом перед выполнением.

Вопросы исследования: Как в запросах на записи указываются условия, при которых полученный результат будет пригодным для использования? Как в последующих запросах формулируются требования к предоставлению и контролю? Какие различия остаются незаметными из-за обозначений задач, содержащих только тему?

Методы: В рамках исследования был проведен качественный анализ отдельных фрагментов запросов из разрешенных материалов с использованием искусственного интеллекта. Таблицы, составленные по основным задачам, диагностическим критериям и последующему анализу, позволили провести сравнение требований к результатам, точности воспроизведения источника, доказательной базы, сохраненного контроля и доступа к платформе. Таблицы анализировались отдельно; тематические выводы описывают проанализированный материал, а не распространенность явления в общей совокупности.

Результаты: В проанализированных запросах проводится разграничение между созданием контента и предоставлением готового к использованию результата. В одних указываются форматы, доступные для редактирования или скачивания; в других налагаются ограничения на изменения исходного материала, запрашиваются подтверждающие данные или предусматривается проверка перед внедрением. Вопросы о навигации по платформе и подсказки, предназначенные для других инструментов, ещё больше усложняют описание, ограниченное только темой. К противоположным случаям относятся прямые вопросы по фактам, запросы на совет без последующего выполнения и вводные данные с недостаточным контекстом.

Толкование: Делегирование задач и контроль со стороны пользователя могут сосуществовать в рамках одного и того же запроса. Имеющиеся данные подтверждают аналитическое разграничение между запрашиваемой операцией и условиями, связанными с её результатом. Однако они не подтверждают преобладание этих моделей, успешную реализацию, сокращение затрат или причинно-следственную связь, обусловленную использованием моделей.

1. Введение

В данном отчете анализируются отдельные запросы, сформированные на основе добровольно предоставленных и авторизованных данных GlobalGPT, с целью изучения вопроса, на который невозможно ответить, опираясь исключительно на объемы использования: Что необходимо пользователю, прежде чем результат, сгенерированный ИИ, будет готов к использованию?

Запрос на разъяснение таблицы и запрос на предоставление редактируемой таблицы могут касаться одного и того же предмета, но предполагать выполнение разных видов работы. Аналогичным образом, редактирование документа может означать исправление формулировок без изменения фактов или создание новой версии с полной свободой действий. Оба вида деятельности можно отнести к категории «написание текста», однако допустимая роль модели и критерии приемлемости для пользователя в этих случаях различаются.

В данном исследовании анализируется, как пользователи формулируют задачи, которые они хотят поручить GPT, а также условия, связанные с полученным результатом. В рамках исследований в области взаимодействия человека и компьютера в нем изучается делегирование задач через выраженные требования к результату, точности, обоснованности и контролю.

В ходе широкомасштабных исследований использования было установлено полезное разграничение между темами разговора и намерениями пользователя. Чаттерджи и др. в своём исследовании потребительского ChatGPT [1] выделяют три категории: «запрос», «действие» и «выражение». Это поднимает следующий вопрос: в рамках запросов на выполнение какого-либо действия что остаётся пользователю уточнить, проверить или авторизовать? Результат может быть релевантен теме, не соответствовав при этом запрашиваемому формату или не сохраняя исходный материал в соответствии с инструкциями.

GlobalGPT — платформа подписки на мультимодельный ИИ — предоставляет среду, в которой запросы могут касаться как внешней задачи, так и способов её выполнения. Выбранные записи включают вопросы о контенте, файлах, возможностях моделей и доступе к предыдущим результатам работы. Это записи с меткой GPT на платформе GlobalGPT, а не выборка пользователей официального приложения ChatGPT.

Мы задаем три вопроса:

1. RQ1 — Условия удобства использования: Какие конкретные требования предъявляют проверяемые запросы к ожидаемым результатам?
2. RQ2 — Делегирование полномочий и контроль: Как в первоначальных и последующих запросах оговариваются вопросы доставки, внесения изменений, предоставления доказательств, а также граница между консультированием и выполнением?
3. RQ3 — Измерение: Какие из этих различий теряются, когда запросы описываются только с помощью основной тематической метки?

Данная работа представляет собой концептуальную основу для понимания того, как пользователи определяют удобный для использования результат работы ИИ. Благодаря разделению запрашиваемой операции на требования к предоставлению результата и сохраняемый контроль, в ходе анализа выявляются различия, имеющие важное значение для проектирования и оценки работы с использованием ИИ.

2. Связанные исследования и аналитическая направленность

2.1 Тема, цель и экономическая деятельность

Как люди используют ChatGPT анализирует наблюдаемую активность потребителей ChatGPT с использованием нескольких классификаций [1]. Основной набор данных для классификации состоит из выборок разговоров и одного сообщения из каждого выбранного разговора, при этом веса выборки скорректированы с учетом изменяющихся показателей в исходной таблице. При классификации используется контекст предыдущего разговора, а не рассматривается каждое короткое сообщение как самостоятельная единица.

В данной статье проводится разграничение между темой и целью. «Запрос» касается информации или совета; «Выполнение» — результатов, генерируемых моделью; «Выражение» охватывает высказывания, которые не являются ни запросом информации, ни делегированием задачи. Технический вопрос может содержать просьбу о разъяснении или о предоставлении рабочего кода, в то время как запрос на написание текста может предполагать получение черновика, готового к непосредственному использованию. Таким образом, это различие не сводится к тематике.

В данном исследовании также проводится разграничение между крупномасштабной классификацией и валидацией. В Приложении B сравниваются метки модели с оценками экспертов по общедоступным материалам WildChat, приводятся показатели согласованности и используется отдельный набор данных для обучения. В рамках демографического анализа с помощью регрессионного анализа рассматриваются различия, связанные с измеряемыми характеристиками. Эти процедуры предназначены для решения конкретных задач и работы с определёнными структурами данных; ни большая выборка, ни схема регрессионного анализа не применимы к данному набору данных.

Наш вопрос касается требований, предъявляемых к результатам делегированных заданий. Мы используем разграничение между информацией и действием в качестве отправной точки для интерпретации, не применяя классификатор NBER и не претендуя на эквивалентную валидацию. Проанализированные запросы позволяют предположить, что “действие” можно дополнительно описать с точки зрения того, что должно быть сохранено, как должен быть предоставлен результат и когда пользователь хочет его просмотреть.

2.2 От классификации к сравнению

Качественный анализ может дать больше, чем просто перечень категорий, благодаря сравнению требований, предъявляемых к схожим запросам, и изучению случаев, ставящих под сомнение ту или иную интерпретацию. Гейл и др. описывают ценность сравнения конкретных случаев по категориям, четкой аналитической модели и внимания к противоречивым случаям [2]. Они также предупреждают, что матрица не делает целенаправленно отобранный материал статистически репрезентативным.

В настоящем анализе используется эта сравнительная логика. Он не претендует на полное внедрение «Framework Method»: не было ни междисциплинарной группы кодировщиков, ни исчерпывающего построчного кодирования всего исходного текста, ни независимой оценки со стороны исследователей, специализирующихся на качественных исследованиях. Материал является неоднородным, и сравнение ограничивается одной общей чертой — явными требованиями, предъявляемыми к системе искусственного интеллекта. Мы называем эту процедуру эксплоративным качественным контент-анализом, подкреплённым тематической матрицей доказательств.

2.3 Рабочие понятия

Делегирование задач означает явный запрос к системе выполнить операцию или получить результат. Условия использования указаны требования, необходимые для достижения данного результата, такие как возможность редактирования, точность воспроизведения исходного материала, наличие подтверждающих данных, соответствие целевой аудитории или способ подачи информации. Сохранение контроля имеет в виду четкие ограничения в отношении того, что система должна делать в данный момент, включая требования представить план или проект перед тем, как приступить к работе.

Эти понятия описывают содержание запросов. Подробная инструкция не является автоматическим признаком недоверия, компетентности, разочарования или повышенной рабочей нагрузки. Просьба указать источник не является доказательством того, что предыдущий ответ был неверным. При анализе эти возможные объяснения рассматриваются отдельно от того, что выражено прямо.

3. Методы

3.1 Структура и источники данных

Данный анализ представляет собой ретроспективный эксplorаторный анализ имеющихся записей пользователей, которые в августе добровольно предоставили свои данные организации GlobalGPT и дали согласие на их использование в целях данного исследования. Указание «август» относится к периоду, когда пользователи предоставили данные; этот период не представляется как полный период наблюдения. В рамках данного обзора не проводился набор новых участников, не назначалось никаких вмешательств и не осуществлялся дополнительный извлечение данных из базы.

В предоставленном наборе данных были сохранены непустые, неудаленные строки, содержащие сообщения пользователей с непустыми идентификаторами бесед и метками моделей, соответствующими предоставленному фильтру GPT. Маршрутизация, соответствие критериям отбора и границы полных бесед не проверялись независимо. Точные даты извлечения данных, итоговые показатели активности и количество учетных записей не раскрываются в целях защиты коммерчески конфиденциальной информации.

Качественные выводы основаны на отдельных материалах обзора. Данный обзор не представляет собой анализ каждого отдельного записи из полного набора данных, а авторизованные участники не рассматриваются в качестве репрезентативной выборки всех пользователей платформы.

3.2 Имеющиеся материалы для повторения и раздела

Диагностическая таблица содержит неопределённые обозначения и категории содержательных задач. Её состав не пропорционален данным, извлечённым из исходного материала. Отбор был сосредоточен на неопределённых классификациях, а вероятности включения не устанавливались.

Некоторые начальные фрагменты текста повторяются в разных таблицах обзора. Наличие идентичного текста не означает, что речь идет об одних и тех же пользователях или диалогах, но не позволяет рассматривать эти таблицы как явно независимые подтверждающие выборки. Их знаменатели не объединены, а перекодированные доли не экстраполируются на выдержку.

Качественная единица — это идентифицируемый запрос в рамках проверяемого поля или отрывка для последующего анализа. Сохраненная строка может содержать вставленные документы или встроенную историю; она не всегда автоматически представляет собой естественный разговорный ход. Точные размеры таблиц проверки не разглашаются, что ограничивает возможность внешней оценки полноты анализа.

3.3 Порядок считывания и интерпретации данных

В ходе первоначального анализа были изучены значимые пробелы из таблицы основных задач, а также отдельные окончания длинных или неоднозначных полей. Записям, ранее отнесенным к категории «прочее», были присвоены предварительные категории. Первоначальные и последующие выдержки из таблицы последующих действий были проанализированы на предмет выраженных форм поведения без оценки их частоты.

В ходе последующей проверки были проанализированы вводные части, а в случае более длинных полей — и заключительные части по всей диагностической таблице. Материалы, скрытые в результате усечения вывода, были перечитаны. Речь шла о проверке отрывков, содержащих задачи, а не об исчерпывающем прочтении каждого встроенного контракта, исследовательского отрывка, биографии или истории кода. Приложения и внешние ссылки, на которые были ссылки, не открывались.

В рамках сравнительного анализа выделялись следующие аспекты: исходный материал, требуемая операция, форма выходных данных, условия приемки, сохраняемый контроль и доступ к платформе. Данная система была разработана после ознакомления с данными и с учетом результатов научных исследований; предварительная регистрация не проводилась. Исходные метки классификатора оставались видимыми.

В ходе анализа сравнивались противоположные формы: непосредственное воспроизведение и объяснение; сохранение и свободная переработка; немедленное выполнение и предварительное планирование; внешние требования задания и навигация по платформе. Неоднозначные отрывки из исходного текста, приветствия, инструкции с фиксированными ответами и встроенный ролевой материал сохранялись как ограничения для интерпретации, а не принудительно относились к категориям, определяющим содержание.

Анализ и интерпретацию данных осуществлял один ИИ-помощник. Не привлекались независимые кодировщики-люди, не использовались «слепые» метки, не проводилась экспертная оценка результатов и не демонстрировалась тематическая насыщенность. Концептуальные измерения не были исчерпывающим образом присвоены в виде бинарных меток каждой строке. Матрица результатов описывает закономерности и контрпримеры, а не показатели распространенности или частоты совместного появления.

3.4 Описательный и статистический анализ

Агрегированные арифметические показатели и ориентировочные данные о количестве категорий были проверены внутренне. Точные цифры, процентные доли, средние значения и длительность периодов наблюдения не публикуются, поскольку они могут раскрыть коммерчески конфиденциальные данные о масштабах. В открытом отчете приводятся округленные итоговые данные исходного набора данных и качественные сравнения. В нём не содержатся масштабированные или округленные оценки частоты встречаемости категорий.

В ходе перекодирования по основной задаче каждой проанализированной остаточной записи была присвоена эксплоративная категория. Речь шла о ведении учета для выбранного подмножества, а не о взвешенной по выборке оценке генеральной совокупности. Структура «сохраненных строк» и границы извлечения данных также не позволяют рассматривать внутренние групповые сводки как вероятности продолжения завершенных разговоров или естественную длину реплик.

Не проводились проверки гипотез, регрессионные анализы, расчет доверительных интервалов для генеральной совокупности или вероятностей перехода. Неизвестные вероятности включения, повторяющийся текст, неполная связь между диалогами и непроверенные метки ограничивают возможности статистических выводов. Повторная выборка выбранных строк не исправила бы процесс их отбора. Статистика согласованности между оценщиками не приводится, поскольку независимых оценок не было.

3.5 Конфиденциальность и рефлексивность

В отчете используются обобщённые описания, а не личные цитаты, конкретные истории, идентификаторы учётных записей или контактные данные. Ссылки на личные обстоятельства не рассматриваются как подтверждённые данные о личности или атрибуты. На основании языка сообщений или их тематики не делается никаких выводов о демографическом профиле.

Компания GlobalGPT управляет исходной платформой и имеет коммерческую заинтересованность в её использовании. Отчет был подготовлен в рамках исследования контента, что создает риск приоритетного освещения привлекательных историй о производительности или спросе. Чтобы ограничить такую интерпретацию, в анализ включены контрастные примеры, при этом запрос не приравнивается к успешному выполнению. Разрешение пользователя на передачу данных не является независимой этической экспертизой или подтверждением анализа со стороны человека; ни то, ни другое здесь не утверждается.

4. Результаты

4.1 Вопрос исследования № 1: Для получения пригодного к использованию результата может потребоваться не только релевантный контент

В некоторых запросах указывается конкретный артефакт, а не просто ответ. В них запрашивается редактируемый рабочий лист, презентация, изображение для скачивания или документ, пригодный для последующего этапа производства. В таких случаях содержание и формат предоставления являются отдельными требованиями. Само по себе объяснение того, как создать файл, не будет соответствовать выраженному запросу на получение этого файла.

Приведенные ниже сравнения представляют собой перефразировку отдельных запросов с целью иллюстрации различий в сформулированных требованиях; они не являются дословными цитатами или оценками распространенности. Каждая пара «A» и «B» описывает одну исходную запись. Эти пары позволяют сравнивать условия выполнения задач в разных запросах, а не сопоставлять эксперименты или изменения в рамках одного и того же пользователя.

Сравнение 1 — Объяснение технической проблемы и передача файла.

Запрос A — общий: Пользователь спрашивает, может ли преобразование между числовыми форматами привести к переполнению в меньшую сторону. Задача состоит в получении технического объяснения; файл не запрашивается. Запрос B — обобщённый: Другой пользователь предоставляет код для создания рабочей книги и просит предоставить таблицу, созданную на его основе, для скачивания. Запрашиваемый результат — это сам файл, а не объяснение предоставленного кода.

Разница заключается в способе предоставления ответа: на вопрос А можно ответить в текстовом формате, тогда как вопрос Б явно требует предоставления объекта, который пользователь может получить. Несмотря на различия в тематике, эта пара подтверждает разграничение, сделанное в RQ1, между ответом на вопрос по содержанию и удовлетворением требования к формату вывода. Она не доказывает, что таблица была сгенерирована или загружена, а также не подтверждает, что какой-либо из ответов удовлетворил потребности пользователя.

Другие запросы предъявляют определенные условия к преобразованию. В них содержится просьба улучшить язык, при этом факты, детали или порядок изложения должны остаться неизменными. Таким образом, исходный материал — это не просто фоновая информация: он может определять границы допустимых изменений. Такая тематическая метка, как «письмо», не раскрывает этих границ.

Сравнение 2 — Сохранение документа и расширение вымышленного мира.

Запрос A — общий: Пользователь просит внести грамматические и стилистические исправления в предоставленный отчет, сохранив при этом его содержание и порядок изложения. Запрос B — обобщённый: Пользователь предоставляет заметки по созданию вымышленного мира и запрашивает дополнительные локации с краткими описаниями, явно призывая предлагать идеи, выходящие за рамки предоставленной вселенной, но при этом не выходящие за рамки данной обстановки.

Оба задания предполагают создание текста на основе имеющегося материала, однако исходный материал служит разным целям. В задании А сохраняемое содержание выступает ограничением при редактировании; в задании Б предоставленная обстановка рассматривается как отправная точка для нового творческого подхода. Это подтверждает исследовательские вопросы 1 и 3: одно лишь обозначение типа текста не определяет допустимую степень изменений. Данное сравнение не подтверждает фактические утверждения отчёта и не показывает, что какой-либо из результатов соответствовал его инструкциям; творческая свобода варианта B по-прежнему ограничивается добавлением вымышленных элементов.

Еще одним запрашиваемым свойством являются доказательства. В некоторых запросах требуется точная ссылка, проверка фактических утверждений или необходимость отделить неопределённую информацию от достоверных сведений. Это не свидетельствует о том, насколько достоверным был полученный ответ. Это показывает, что пользователь явно включил доказательства в состав запрашиваемого результата.

Сравнение 3 — Определение источника и ограничение внешнего поиска.

Запрос A — общий: Пользователь запрашивает точную научную ссылку, относящуюся к приложенному рисунку, оформленную в виде академической ссылки. Запрос B — обобщённый: Другой пользователь запрашивает краткое техническое сравнение материалов с использованием имеющихся в модели знаний и явно исключает поиск в Интернете, чтобы сэкономить кредиты.

Разница заключается в требованиях к доказательствам и допустимых способах ответа. Вариант А требует указания идентифицируемого источника; вариант Б устанавливает явное ограничение на использование внешних источников. Вариант А не определяет обязательную процедуру поиска, а ограничение, предусмотренное вариантом Б, не отменяет необходимости обеспечения точности. В совокупности они подтверждают подход RQ1, согласно которому стратегия предоставления доказательств зависит от конкретной задачи. Рисунок и готовые ответы в данном случае не оценивались, поэтому не установлено ни успешная идентификация источника, ни надежность технических рекомендаций.

Эти контрастные случаи имеют значение. В прямом фактическом вопросе не обязательно указывать конкретный файл. Некоторые запросы направлены на получение оценки или объяснения, а один из рассмотренных типов явно ограничивает поиск во внешних источниках. Таким образом, полученные результаты подтверждают наличие различных форм удобства использования, а не универсальное предпочтение созданию артефактов или максимальному исследованию.

4.2 Исследовательский вопрос 2: Делегирование может сохранять явную границу выполнения

В материалах содержатся запросы о предоставлении плана до разработки кода, первоначальной версии до подготовки резюме, готового к презентации, а также рекомендаций относительно того, какую часть процесса следует автоматизировать. Эти запросы предполагают передачу части работы на аутсорсинг с отложением принятия окончательного решения на более поздний срок. В других документах содержится просьба о непосредственной реализации или немедленном предоставлении готового результата.

Сравнение 4 — Планирование и написание кода одновременно.

Запрос A — общий: Пользователь описывает программный проект, но явно просит систему сосредоточиться в данном ответе на исследовании и планировании реализации, оставив генерацию кода для последующего запроса. Запрос B — обобщённый: Другой пользователь просит предоставить исходный код, реализующий указанный автоматизированный алгоритм с настраиваемыми параметрами и правилами работы.

Оба касаются разработки программного обеспечения, но их текущие границы выполнения различаются. А определяет будущую цель реализации, ограничивая текущую задачу планированием; Б требует реализации в рамках текущего ответа. Это подтверждает RQ2: делегирование проекта не означает автоматического санкционирования всех последующих шагов сразу. Данная пара не подтверждает, что более поздний этап программирования по варианту A действительно имел место, что программа по варианту B работала или что предварительное планирование улучшило результаты. Речь идет об отдельных запросах, а не о наблюдаемой последовательности «до и после».

Этот контраст уточняет простое различие между запросом и выполнением. Запрос может касаться конечного результата, в то время как просьба к системе остановиться на промежуточном этапе относится к текущему моменту. Если рассматривать это как неограниченное выполнение, то можно упустить явно указанную границу управления.

Последующие отрывки раскрывают еще одну точку зрения. Пользователи просят изменить формулировку, предоставляют недостающий контекст, запрашивают другой формат, ищут ссылки на источники или спрашивают, как получить доступ к результату. Это отдельные требования к взаимодействию. Не все из них можно классифицировать как устранение сбоев: новое требование может быть скорее уточнением задачи, чем реакцией на ошибку.

Кроме того, эти выдержки не позволяют установить универсальную последовательность от запроса до чернового варианта и до окончательного файла. Данный пакет документов не содержит полной, независимо подтвержденной истории ответов. Мы видим формы запросов и некоторые локальные последующие действия, но не общую модель процесса или вероятности переходов.

4.3 RQ2: Часть исследований посвящена вопросам доступа и обмена данными между инструментами

В некоторых сообщениях задаются вопросы о том, где находятся предыдущие результаты работы, как загрузить материалы, какая модель подходит для решения поставленной задачи или как использовать интеграцию. Эти запросы касаются среды, в которой выполняется работа. Они отличаются от задачи, связанной с внешним контентом, даже если необходимы для её выполнения.

В других записях содержится запрос на предоставление отдельного изображения, презентации или инструмента для исследования. В данном случае сам запрос является запланированным промежуточным результатом. Он может быть частью более широкого рабочего процесса, однако запись не подтверждает, что последующий инструмент был использован или что переход на другую модель действительно произошел.

Из этого следует, что запрос к ИИ, обращенный к пользователю, может касаться как минимум трех различных объектов: задачи, её результата и доступа к средствам получения или извлечения этого результата. Вопросы, касающиеся платформы, свидетельствуют о явных потребностях в навигации; сами по себе они не позволяют выявить недостатки интерфейса или отсутствующие возможности.

4.4 RQ3: Метки тем обобщают различия, характерные для различных задач

В ходе ранее проведенной переклассификации записей из категории «прочее» были выделены следующие типы: визуальное создание контента, поиск информации, написание текстов, практические рекомендации, справка по программному обеспечению, структурированные документы, программирование, обучение и навигация по платформе. В дополнительной таблице также приведены явные запросы, суть которых не в полной мере отражается существующими тематическими метками. Некоторые длинные исходные поля заканчиваются конкретной инструкцией о переводе, составлении резюме или создании документа.

Из этого вытекают две проблемы, связанные с измерением. Во-первых, классификатор может реагировать на тему вставленного материала, а не на операцию, которую требуется выполнить модели. Во-вторых, даже при правильном определении темы могут быть упущены условия, касающиеся формата, точности, доказательности или одобрения, которые позволяют отличить один запрос от другого.

Эти аспекты могут пересекаться. Они представляют собой интерпретационную основу, а не недавно подтвержденную исчерпывающую классификацию. В таблице приведены основные различия в проанализированном материале; она не содержит ранжирования по частоте.

4.5 Записи, не поддающиеся содержательной интерпретации

Таблица первичного анализа содержит повторяющиеся или фиксированные шаблоны коротких ответов. Их происхождение неизвестно; они могут отражать обычное использование, оценку, проверки подключения, скопированные примеры или иной процесс. Они не были автоматически удалены и не были идентифицированы как подтвержденный тестовый трафик.

Другие поля содержат встроенные объявления ролей, метки инструментов или вставленную историю общения. Такая структура затрудняет соотнесение предложения с текущим запросом пользователя. Некоторые записи содержат только исходный материал или его фрагмент, назначение которого невозможно определить без учета контекста.

Эти случаи полезны с аналитической точки зрения, поскольку они ограничивают объем утверждений. Набор данных не является прозрачной записью независимых, полностью наблюдаемых эпизодов делегирования. Даже более точные категории задач сами по себе не могут устранить неопределённость относительно того, что представляет собой сохраненная запись.

5. Обсуждение

5.1 Делегирование производства — это не то же самое, что утрата контроля

Основная интерпретация заключается в том, что запросы могут делегировать операцию, сохраняя при этом условия, касающиеся результата и самого процесса. Пользователь может попросить систему подготовить черновик с сохранением исходных данных, спланировать реализацию перед генерацией кода или предоставить обоснование перед принятием решения. Все это скорее соответствует делегированию задач, а не является исключением из этого правила.

Это позволяет расширить разграничение между поиском информации и её созданием на уровне сформулированных требований. При этом не создаётся новая универсальная теория сотрудничества человека и ИИ. Представленного материала достаточно для того, чтобы показать, почему одной метке намерения могут потребоваться сопутствующие измерения, но недостаточно для оценки того, как часто встречается каждая из комбинаций.

5.2 Формирование выходных данных и их предоставление в готовом к использованию виде являются отдельными целями оценки

Оценка, в ходе которой проверяется лишь то, касается ли ответ данной темы, может не учитывать явные условия предоставления. В случае проверяемых запросов на артефакты полезной оценкой было бы также выяснить, была ли предоставлена запрошенная форма, оставалась ли она доступной для редактирования в случае необходимости, сохранилось ли указанное исходное содержание и были ли соблюдены этапы утверждения.

Это предлагаемые критерии оценки, сформулированные на основе запросов, а не фактических результатов деятельности. Имеющиеся данные не позволяют нам оценить степень фактического соблюдения требований. Тем не менее, такое разграничение помогает сформулировать более точный показатель результативности на будущее, чем просто количество сообщений или наличие последующих действий.

5.3 Что выводы не подтверждают в отношении координации

Формулирование требований, проверка доказательств и поиск файла можно рассматривать как координационные действия, связанные с делегированной работой. Их наличие подталкивает к более глубокому вопросу: снижает ли ИИ общий объем затрат или перераспределяет его в сторону формулирования требований и проверки?

Данное исследование не даёт ответа на этот вопрос. В нём отсутствуют контрольная группа, измерения времени, полные результаты и независимая оценка успешности выполнения заданий. Последующее исследование может представлять собой полезное сотрудничество, предотвратимые трения, изменение цели или обычный следующий шаг. Простое подсчёта не позволяет различить эти объяснения.

В будущих гипотезах можно было бы изучить, позволяют ли конкретные условия доставки предсказать последующие изменения формата, или же поэтапные запросы на утверждение связаны с меньшим количеством нежелательных действий. Для проверки этих гипотез потребуются взаимосвязанные эпизоды, проверенные метки и надлежащая обработка повторных наблюдений в рамках отдельных пользователей. Они остаются предложениями для дальнейших исследований, а не выводами, сделанными на основе данного набора данных.

6. Ограничения

Выбор и зависимость. Таблицы обзора были предоставлены в диагностических целях, при этом вероятности включения данных оставались неизвестными. Некоторые исходные тексты повторяются как внутри отдельных таблиц, так и в разных таблицах. Имеющиеся данные не позволяют подтвердить утверждения о распространенности среди населения или о независимом воспроизведении результатов.

Толкование. Анализ проводился одним ИИ-помощником при видимых исходных метках. Не проводилось ни независимой проверки человеком, ни оценки межэкспертной согласованности. Аналитическая модель была разработана после изучения данных и может отражать ожидания аналитика.

Неполное прочтение и отсутствие контекста. Проверка была сосредоточена на вступительных частях, отдельных заключительных частях и отрывках из последующих ответов. Длинные отрывки из исходного текста, приложенные материалы, на которые давались ссылки, а также полные ответы помощников не были тщательно изучены. Возможно, некоторые инструкции или контрпримеры были пропущены.

Границы извлечения. В строках с метками GPT, представленных в виде окон, могут отсутствовать более ранние, более поздние или промежуточные события. Маршрутизация модели не проверялась независимо. Сохраненные строки могут содержать вложенные истории; количество строк не всегда соответствует естественным поворотам.

Результаты. Запросы не являются подтверждением доставки, правильности, удовлетворенности, продуктивности, конверсии или превосходства модели. В ходе исследования не производится вывод о конфиденциальных личных характеристиках на основании содержания запросов.

Возможность применения и коммерческие условия. Полученные результаты касаются отдельных данных с одной мультимодельной платформы. Они не отражают официальные данные об использовании ChatGPT или мнения широкой общественности. При интерпретации данной работы следует учитывать коммерческие интересы платформы и отсутствие независимой экспертной оценки исследования.

7. Заключение

В проанализированных запросах проводится разграничение между операцией, делегированной GPT, и условиями, предъявляемыми к пригодным для использования результатам. К этим условиям относятся формат предоставления результатов, точность воспроизведения исходного материала, подтверждающая информация, а также возможность проверки результатов перед принятием дальнейших действий. Доступ к платформе и подсказки для других инструментов добавляют требования, которые не могут быть отражены исключительно с помощью тематических меток.

Имеющиеся данные подтверждают конкретное утверждение: в одном запросе могут сосуществовать делегирование полномочий и сохранение контроля. Для описания этой взаимосвязи необходимо обратить внимание на то, какой результат хочет получить пользователь, что должно остаться неизменным и что система должна сделать дальше. В настоящем анализе выделяются эти различия; в нем не дается оценка их распространенности в общей совокупности и не доказывается, что они способствуют улучшению результатов.

Список литературы

1. Чаттерджи, А., Каннингем, Т., Деминг, Д. Дж., Хитциг, З., Онг, К., Шан, К. Й. и Уодман, К. (2025). Как люди используют ChatGPT. Рабочий документ NBER № 34255. https://doi.org/10.3386/w34255. Официальная версия: https://www.nber.org/papers/w34255. Данный рабочий доклад не представляет собой рецензируемую журнальную статью.
2. Гейл, Н. К., Хит, Г., Кэмерон, Э., Рашид, С. и Редвуд, С. (2013). Использование метода «фреймворк» для анализа качественных данных в междисциплинарных исследованиях в области здравоохранения. BMC Medical Research Methodology, 13, 117. https://doi.org/10.1186/1471-2288-13-117. Полный текст: https://pmc.ncbi.nlm.nih.gov/articles/PMC3848812/.

Приложение А. Перечень качественных категорий

В ходе предварительного анализа кода были выделены следующие категории: создание визуального контента, инструкции с фиксированными ответами, поиск информации, написание текстов, практические рекомендации, навигация по платформе, неоднозначные вводные данные, устранение неполадок в программном обеспечении, структурированные результаты работы, программирование, обучение, музыка, генерация идей, реструктуризация длинных исходных текстов, а также систематизация ролей и истории.

В данном перечне приведены категории, встречающиеся в выбранном материале. Данные о количестве категорий и итоговые цифры не приводятся; данный список не является ни рейтингом по частоте встречаемости, ни оценкой спроса на платформе.

Информация об исследовании

Помощь ИИ: ИИ-помощник проанализировал указанные отрывки, разработал предварительную интерпретацию, произвёл расчёты для описательной проверки и подготовил черновой вариант рукописи. Согласованность с результатами независимой маркировки, выполненной человеком, не утверждается.

Доступность данных: Исходный пакет содержит конфиденциальные записи, добровольно предоставленные уполномоченными участниками, и не публикуется. Точные числовые данные и даты наблюдений также не разглашаются. Настоящий отчет не дает права на повторное распространение отдельных сообщений или шаблонов. Все примеры, приведенные в выводах, представляют собой обобщенные описания, а не прямые цитаты.