# PIRLS 風格學生資料治理與人工複核 SOP

版本：1.0｜日期：2026-08-12｜用途：中央大學 AI 教學與研究工作坊

## 1. 適用範圍

本流程用於工作坊自製的 PIRLS 風格合成資料，示範大量選擇題整理、簡答題 AI 初編與人工複核。它不是正式 PIRLS 題目、正式評分系統或研究倫理核准文件。

若改用真實學生資料，必須先確認校內規範、研究倫理、資料使用同意、最小必要欄位、存取權限與刪除期限；未完成前不得上傳到外部 AI 平台。

## 2. 資料角色與分析單位

- 每列：一位去識別學習者。
- `student_id`：研究代碼，不得使用學號、姓名、信箱或可反推身分的座號組合。
- `group`：工作坊示範分組，不代表真實人口特徵。
- `Q1`–`Q6`：選擇題答案，只接受 A、B、C、D 或空白。
- `CR1_response`：簡答文字；匯入前再次檢查是否含姓名、學校、班級或家庭線索。

## 3. 去識別化

1. 在受控環境建立「真實識別資料 ↔ 研究代碼」對照表。
2. 對照表與分析檔分開保存，限制不同權限。
3. 分析檔移除姓名、學號、電子郵件、電話、地址、班級座號、IP、帳號及附件中繼資料。
4. 自由文字逐筆掃描可識別敘述；必要時以不影響題意的代碼替換。
5. 工作坊優先使用合成資料，不攜帶真實對照表到現場。

## 4. 匯入前品質檢查

- 確認列數、欄數與「每列一位學習者」的粒度。
- `student_id` 不可空白且必須唯一。
- 必要欄位完整，欄名與資料字典一致。
- 選擇題允許值為 A–D 或空白；其他內容列為無效，不默默改答案。
- 簡答空白與真正缺漏分開說明。
- 比較組別前先報告各組樣本數；小樣本只做描述，不誇大差異。
- 保存資料版本、來源日期與處理紀錄。

## 5. 選擇題分析

1. 先鎖定答案鍵版本。
2. 分母使用有效答案數；空白數另列。
3. 計算個人答對題數、整體答對率、逐題答對率及 A–D 分布。
4. 分組比較同時報告樣本數與平均值，不使用未驗證的因果語言。
5. 匯出結果前抽查至少三筆個案，手動重算總分。

## 6. 簡答題 AI 初編

1. 先固定題目與逐題編碼規準。
2. AI 不得看到人工參考答案或最終碼。
3. 每筆輸出固定為：`student_id`、`ai_code`、`evidence_excerpt`、`rationale`、`confidence`、`needs_human_review`。
4. `evidence_excerpt` 必須來自原回答，不可補寫學生沒有說的內容。
5. 空白、低信心、邊界答案、AI 標記及 0／2 分極端碼進入人工複核。
6. AI 回傳 JSON 先做欄位、代碼範圍、ID 覆蓋與重複檢查，再匯入工作台。

## 7. 人工複核

- 人工最終碼另欄保存，不覆寫 AI 初編。
- 工作坊最低抽查：全部 0 分、全部 2 分、AI 低信心或標記案例，以及至少 30% 的 1 分。
- 複核者必須閱讀原回答、編碼規準、AI 證據與理由，再做判斷。
- 歧異須記錄原因：規準不清、答案邊界、AI 證據錯誤、資料缺漏或人工修正。
- 無法判定時使用「歧異未解」，不得強迫產生最終碼。
- 正式研究若需雙人盲編與一致性統計，另建立獨立編碼者、裁決與版本機制。

## 8. 輸出與報告

最終資料至少保留：原始回答、AI 初編、AI 證據、AI 理由、AI 信心、待複核旗標、人工最終碼、複核狀態與人工備註。

報告中分開呈現：

- 已由資料直接支持的結果。
- 研究者解釋。
- AI 初步建議。
- 尚未完成或無法驗證的項目。

## 9. 保存、分享與刪除

- 合成資料可隨研習包保存，但必須保留合成資料聲明。
- 真實資料只在核准位置保存，採最小權限與明確期限。
- 對外分享前移除對照表、個資、金鑰、通知畫面與未公開研究內容。
- 到期後依規範刪除或封存，記錄日期、執行者與範圍。

## 10. 最小驗收

- [ ] 不含可識別學生資料。
- [ ] `student_id` 唯一，欄位與允許值已檢查。
- [ ] AI 初編與人工最終碼分欄保存。
- [ ] 所有需複核案例都有狀態。
- [ ] 報告沒有把相關說成因果，也沒有把 AI 初編說成正式評分。
- [ ] 匯出檔可回溯到答案鍵、規準與資料版本。