執筆、研究、コーディングに最適なClaudeのプロンプト

1. A：40/50 = 80%（招待アカウントを使用）。両方とも合格。
2. B：54/60 = 90%（オンボーディング開始数を使用）。両方とも合格。出典の引用文には分母が含まれている。
3. 異なるアクティベーションの定義と異なる分母の両方を明示的に指摘すること。分母の部分で両方とも不合格。
4. リテンション結果が欠落していることを改善の証拠として扱ってはならない。両者ともデータの欠落について説明している。
5. プールされたサポートの中央値を、実証された減少として扱ってはならない。両方とも合格。
6. これらのパイロット事業から因果的な効果を推測したり、全面的な展開を正当化したりしてはならない。両者とも合格。
7. 各主張と証拠ラベルを、引用された文が裏付ける内容と照合する。「矛盾」についてはプレーン形式は不合格、構造化形式は合格。
8. 欠落している3つの具体的な測定項目を特定する。両者とも合格。
プレーン形式の回答における誤ったラベルは、チェック7において1回としてカウントされる。.

この資料パケットの最後にある課題に答えなさい。

# 架空の調査資料パケット

以下に示すすべての組織、データ、引用文、および文書は、再現可能なテストのために架空のものであり、ソースIDはこのパケットのみに適用されるものであり、公開された研究ではありません。

## S1 — パイロットAの終了報告、2026年9月2日

「パイロットAでは50のアカウントを招待し、そのうち40が7日以内にアクティベーションを完了した。」
「アクティベーションとは、ワークスペースを作成し、少なくとも1人のチームメイトを招待することを意味した。」
「アカウントは、カスタマーサクセスチームが選定した既存顧客であった。」
「このパイロットでは、ガイド付きオンボーディングが採用された。」

## S2 — パイロットB ダッシュボードのメモ、2026年9月3日

「パイロットBでは、オンボーディングの開始が60件記録され、そのうち54アカウントが7日以内にワークスペースを作成した。」
「このダッシュボードでは、ワークスペースの作成を『アクティベーション』とみなしており、チームメイトへの招待は必須ではない。」
「招待件数は記録されていない。」
「アカウントは、チェックリストを使用した新規のセルフサービス登録者であった。」

## S3 — アナリストによるレビュー、2026年9月4日

「パイロットはランダム化されておらず、対象となるアカウントの母集団も異なっていた。」
「2つのパイロットを合わせたサポートの応答時間の中央値は6時間であった。パイロットごとの内訳は示されていない。」
「30日間の継続率や収益に関する結果は、現時点では入手できない。」

## S4 — 展開メモ（草案）、2026年9月5日

「パイロットBでは、アクティベーション率が10パーセントポイント上昇し、継続率が向上し、サポート対応時間が6時間に短縮された。 チェックリストをすべてのアカウントに展開すること。」
これは提案の草案であり、追加のデータソースではない。その主張はS1～S3と照合して確認する必要がある。

## 両方のプロンプトバージョンで共通する課題

回答：この資料は、パイロットBをすべてのアカウントに展開することを正当化するものか？
S1～S4のみを使用すること。出力として、（1）120語以内の推奨事項、（2）「主張」「判定」「出典ID」「正確な裏付けとなる引用文」の列からなる表、（3）公平な比較に必要な3つの欠落している測定値を提示すること。
展開メモに記載されている3つの実証的主張、すなわち「アクティベーションの増加」、「リテンションの向上」、「サポート時間の短縮」をすべて検証してください。「支持される」、「部分的に支持される」、「支持されない」、「矛盾する」のいずれかの判定を使用し、必要に応じて簡潔な説明を加えてください。推奨事項または表には、数値の比率とその分母を含めてください。 資料に含まれていない引用、URL、因果関係、または調査結果をでっち上げてはなりません。.

## 推奨事項（120語以内）

パイロットBはまだ展開しないでください。パイロットBの生アクティベーション率（54/60 = 90%）は、パイロットA（40/50 = 80%）よりも10パーセントポイント高いですが、 しかし、2つのパイロットでは「アクティベーション」の測定方法が異なっており（Bではチームメイトからの招待を必要としない）、対象となるユーザー層も異なり（新規セルフサービス登録者対既存顧客）、無作為化もされていなかった（S3）ため、この差はチェックリストに起因するものではない。 継続率に関する主張は裏付けられていない：S3では、30日間の継続率データはまだ存在しないと明示されている。「6時間」というサポート時間の数値は、両パイロットを合わせた中央値であり、パイロットごとに区分されていないため、パイロットBに特有の短縮が実証されていない。本格展開前には、対照群を設け、マッチングを行い、定義を統一した比較が必要である。

## 主張検証表

| 主張 | 判定 | 出典ID | 正確な裏付け引用 |
|---|---|---|---|
| 「パイロットBによりアクティベーション率が10パーセントポイント上昇した」 | 部分的に裏付けあり — 生データ率は10ppの差がある（54/60=90% 対 40/50=80%）が、定義・対象集団・設計が異なるため、この差はチェックリストに起因するものではない | S1 | 「パイロットAでは50アカウントを招待し、40アカウントが7日以内にアクティベーションを完了した」 |
| （同主張、続き） | | S2 | 「パイロットBでは60件のオンボーディング開始が記録され、54アカウントが7日以内にワークスペースを作成した」／「チームメイトからの招待は不要である」 |
| （同様の主張、続き） | | S3 | 「パイロット試験は無作為化されておらず、異なるアカウント対象集団が使用された。」 |
| 「継続率の向上」 | 矛盾 — これを裏付ける継続率データは存在しない | S3 | 「30日間の継続率や収益に関する結果は、まだ入手できない。」 |
| 「サポート対応時間を6時間に短縮」 | 裏付けなし — 数値は2つのパイロットを合わせた中央値であり、パイロットBに帰属するものでも、短縮として示されているわけでもない | S3 | 「2つのパイロットを合わせたサポート対応時間の中央値は6時間であった。パイロットごとに内訳は示されていない。」 |

## 公正な比較を行うために必要な3つの欠落指標

1. 同一の定義（例：ワークスペースの作成 *および* 少なくとも1人のチームメイトへの招待）を用いた、両パイロットにおけるアクティベーション率。
2. パイロットAとパイロットBごとに個別に報告されたサポート対応時間（合算された中央値ではない）。理想的には、パイロット実施前のベースラインデータを含むこと。
3. 両パイロットにおける30日間の継続利用率（および収益）の結果。比較可能な、理想的には無作為抽出またはマッチングされたアカウント集団から収集されたデータ。.

この資料パックのみを用いて課題に答えなさい。2つの割合を改善の証拠として扱う前に、定義、母集団、分母を比較検討しなさい。仮説と測定結果を区別しなさい。各結論は、それを実際に裏付ける資料からの正確な引用文に結びつけ、根拠のない主張は記載しないこと。


# 架空の調査資料

以下の組織、データ、引用文、および文書はすべて、再現可能なテストのために創作されたものです。出典IDはこの資料のみを指しており、公開された研究ではありません。

## S1 — パイロットAの終了報告、2026年9月2日

「パイロットAでは50のアカウントを招待し、そのうち40が7日以内にアクティベーションを完了した。」
「アクティベーションとは、ワークスペースを作成し、少なくとも1人のチームメイトを招待することを指す。」
「アカウントは、カスタマーサクセスチームが選定した既存顧客であった。」
「このパイロットでは、ガイド付きオンボーディングが採用された。」

## S2 — パイロットBのダッシュボード注記、2026年9月3日

「パイロットBでは60件のオンボーディング開始が記録され、54のアカウントが7日以内にワークスペースを作成した。」
「このダッシュボードでは、ワークスペースの作成をアクティベーションとみなしており、チームメイトへの招待は必須ではない。」
「招待件数は記録されていませんでした。」
「アカウントは、チェックリストを使用した新規のセルフサービス登録でした。」

## S3 — アナリストによるレビュー、2026年9月4日

「パイロット試験はランダム化されておらず、異なるアカウント集団が使用されました。」
「2つのパイロットを合わせたサポート対応時間の中央値は6時間でしたが、パイロットごとの内訳は示されていません。」
「30日間の継続率や収益に関する結果は、現時点では入手できません。」

## S4 — 展開メモ（草案）、2026年9月5日

「パイロットBでは、アクティベーション率が10パーセントポイント上昇し、継続率が向上し、サポート対応時間が6時間に短縮された。チェックリストをすべてのアカウントに展開すること。」
これは提案の草案であり、追加のデータソースではありません。その主張はS1～S3と照らし合わせて確認する必要があります。

## 両方のプロンプトバージョンで共通する課題

回答：この資料は、パイロットBを全アカウントに展開することを正当化するものですか？
S1～S4のみを使用すること。出力として、（1）120語以内の推奨事項、（2）「主張」「結論」「出典ID」「正確な裏付け引用」の列からなる表、（3）公平な比較に必要な3つの欠落している測定値を作成すること。
展開メモに記載されている3つの実証的主張（アクティベーションの増加、リテンションの向上、サポート時間の短縮）すべてを検証してください。「支持される（Supported）」「部分的に支持される（Partly supported）」「支持されない（Unsupported）」「矛盾する（Contradicted）」のいずれかの判定を使用し、必要に応じて簡潔な説明を加えてください。推奨事項または表には、数値的な比率とその分母を含めてください。 資料に含まれていない引用、URL、因果関係、または調査結果をでっち上げてはいけません。

## 推奨事項（120語以内）

いいえ — このデータでは、パイロットBの全面展開を正当化することはできません。パイロットA：既存顧客のうち、40/50アカウント（80%）が、「ワークスペースの作成」および「チームメイトへの招待」を組み合わせた「アクティベーション」を達成しました。 パイロットB：新規セルフサービス登録者のうち、招待要件なしに7日以内にワークスペースを作成したアカウントは54/60件（90%）であった。 この10ポイントの差（90%−80%）は、異なる定義や対象集団が混在しており、無作為化も行われていない（S3）ため、チェックリスト上の「アクティベーション率の向上」と解釈することはできない。 30日間の継続利用率や収益データはまだ存在しない（S3）ため、「継続利用率の向上」には根拠がない。6時間のサポート対応時間という数値は、両パイロットを*合算*した中央値であり、パイロットごとに内訳が示されていないため、「サポート時間の短縮」には基準値もパイロット固有のデータもない。

## 表

| 主張 | 判定 | 出典ID | 正確な裏付けとなる引用 |
|---|---|---|---|
| 「パイロットBではアクティベーションが10パーセントポイント上昇した」 | 部分的に支持される — 算術的な差は存在する（54/60=90% 対 40/50=80%）が、比較には交絡要因があり、因果関係に基づく「増加させた」という主張を裏付けることはできない | S1, S2, S3 | S1: 「パイロットAは50アカウントを招待し、そのうち40アカウントが7日以内にアクティベーションを完了した。」／S2：「パイロットBは60件のオンボーディング開始を記録し、そのうち54アカウントが7日以内にワークスペースを作成した。」／S3：「パイロット試験はランダム化されておらず、対象となるアカウント群も異なっていた。」 |
| 両パイロットにおいて、アクティベーションの測定方法は同一であった | 矛盾 | S1, S2 | S1: 「アクティベーションとは、ワークスペースを作成し、少なくとも1人のチームメイトを招待することを意味した。」 / S2: 「このダッシュボードでは、ワークスペースの作成をアクティベーションと定義しており、チームメイトへの招待は必須ではない。」 |
| 「定着率の向上」 | 裏付けなし | S3 | 「30日間の定着率や収益に関する結果は、現時点では入手できない。」 |
| 「サポート対応時間を6時間に短縮」 | 裏付けなし | S3 | 「2つのパイロットを合わせたサポート対応時間の中央値は6時間であったが、パイロットごとの内訳は示されていない。」 |

## 公正な比較に必要な3つの欠落した測定項目

1. チェックリスト導入前後の、パイロットごとに個別に算出された（統合されていない）サポート対応時間。これにより、パイロットBに起因する変化を特定できる。
2. 両パイロットにおける30日間の継続利用率（および収益）の数値。現時点ではいずれも存在しないため（「30日間の継続利用率や収益に関する結果は、まだ入手できません」、S3）。
3. 既存の顧客（S1）と新規のセルフサービス登録者（S2）を混在させるのではなく、両パイロットにおいて比較可能で、理想的には無作為化されたアカウント集団に適用される、単一かつ共通のアクティベーション定義（例：ワークスペースの作成 *および* チームメイトの招待）。.