Item Response Warehouse (IRW; คลังข้อมูลการตอบสนองต่อข้อสอบ)

คลังข้อมูลการตอบสนองต่อข้อสอบ (item response) ที่ผ่านการปรับให้เป็นมาตรฐานเดียวกัน เปิดให้ใช้งานฟรีและเปิดกว้าง สำหรับงานวิจัยด้านจิตวิทยาการวัด (psychometrics) และการวัดผล

อ่านบทความ (เข้าถึงแบบเปิด)

เหตุใด IRW จึงมีอยู่

นักวิจัยที่ศึกษาเรื่องการวัดผล — ทั้งในด้านการศึกษา จิตวิทยา และสาขาที่เกี่ยวข้อง — ต้องการข้อมูลจริงเพื่อทดสอบและเปรียบเทียบวิธีการของตน ข้อมูลลักษณะนี้มีอยู่แล้วเป็นจำนวนมาก แต่กระจัดกระจายอยู่ในงานวิจัยหลายชิ้น ถูกจัดเก็บในรูปแบบที่แตกต่างกันมากมาย และมักนำกลับมาใช้ใหม่ได้ยากเนื่องจากเอกสารประกอบหรือสัญญาอนุญาตที่ไม่ชัดเจน

นี่เป็นปัญหาที่รู้จักกันดี สาขาอื่น ๆ ได้แก้ปัญหานี้ด้วยการสร้างแหล่งข้อมูลที่ใช้ร่วมกันและเป็นมาตรฐานเดียวกัน ในวิทยาการคอมพิวเตอร์ ชุดข้อมูลภาพที่ติดป้ายกำกับอย่าง ImageNet ได้มอบมาตรฐานเปรียบเทียบ (benchmark) ร่วมกันให้แก่นักวิจัย และช่วยขับเคลื่อนความก้าวหน้าอย่างรวดเร็วในด้าน AI พันธุศาสตร์และประสาทวิทยาศาสตร์ก็ได้สร้างแหล่งข้อมูลร่วมที่คล้ายกันสำหรับข้อมูลของตนเอง

Item Response Warehouse (IRW) ทำสิ่งเดียวกันนี้สำหรับข้อมูลการตอบสนองต่อข้อสอบ โดยรวบรวมชุดข้อมูลที่มีอยู่แล้วหลายร้อยชุดและปรับให้อยู่ในรูปแบบเดียวกัน — เพื่อให้วิธีการที่ทดสอบกับชุดข้อมูลหนึ่งสามารถนำไปทดสอบกับชุดข้อมูลอื่นอีกหลายร้อยชุดได้อย่างง่ายดาย

สิ่งที่มีอยู่ใน IRW

IRW ประกอบด้วย ชุดข้อมูลหลายร้อยชุด (“ตาราง”) แต่ละชุดเป็นการรวบรวมคำตอบของแต่ละบุคคล คำตอบหนึ่งจะเกิดขึ้นทุกครั้งที่บุคคล (หรือหน่วยอื่น) ตอบสนองต่อข้อสอบ (item) หรือแบบวัดอื่นใด ตัวอย่างเช่น

  • คำตอบของนักเรียนในแบบทดสอบทางการศึกษาและความสามารถ
  • ข้อคำถามในแบบสอบถามที่วัดบุคลิกภาพหรือทัศนคติ
  • คะแนนที่ผู้ประเมินซึ่งเป็นมนุษย์ให้ไว้
  • สถานการณ์อื่นใดที่เกี่ยวข้องกับการตอบสนองซ้ำ ๆ ต่อชุดเครื่องมือวัดผล

มีสองสิ่งที่เป็นจริงสำหรับทุกชุดข้อมูลใน IRW:

  • เปิดกว้าง (Open) ชุดข้อมูลแต่ละชุดได้รับอนุญาตให้นำกลับมาใช้ใหม่ได้ มีการบันทึกที่มาไว้อย่างชัดเจน และโค้ดที่ใช้แปลงให้เป็นรูปแบบ IRW ก็เปิดเผยต่อสาธารณะ
  • ปรับให้เป็นมาตรฐานเดียวกัน (Harmonized) ชุดข้อมูลแต่ละชุดถูกปรับให้อยู่ในโครงสร้างง่าย ๆ แบบเดียวกัน (อธิบายไว้ด้านล่าง) เพื่อให้โค้ดวิเคราะห์ชุดเดียวกันสามารถใช้ได้กับหลายชุดข้อมูลโดยแทบไม่ต้องแก้ไข หรือไม่ต้องแก้ไขเลย

ชุดข้อมูลมีความหลากหลายอย่างมากทั้งในด้านขนาด (ตั้งแต่ไม่กี่ร้อยคำตอบไปจนถึงหลายล้านคำตอบ) และประเภทของคำตอบ (ข้อสอบแบบใช่/ไม่ใช่ การให้คะแนนแบบหลายหมวดหมู่ คะแนนบางส่วน และอื่น ๆ) ชุดข้อมูลแต่ละชุดยังมาพร้อมกับข้อมูลเมทาดาทาที่คำนวณไว้ล่วงหน้า — จำนวนผู้เข้าร่วม จำนวนข้อสอบ ความหนาแน่นของคำตอบ สาขาวิชา และป้ายกำกับเชิงพรรณนาอื่น ๆ — เพื่อให้นักวิจัยสามารถค้นหาชุดข้อมูลที่เกี่ยวข้องได้โดยไม่ต้องดาวน์โหลดและประมวลผลทั้งหมดก่อน

มาตรฐานข้อมูล

แผนภาพแสดงกริดสีที่มีเซลล์ id-item ซึ่งถูกแปลงผ่านลูกศรให้เป็นตารางรูปแบบยาวที่มีคอลัมน์ id, item และ resp โดยสีของแต่ละเซลล์ resp ตรงกับสีของเซลล์ต้นทางในกริด

ชุดข้อมูล IRW ทุกชุดจะถูกปรับให้อยู่ใน รูปแบบยาว (long format): หนึ่งแถวต่อหนึ่งคำตอบ อย่างน้อยที่สุด แต่ละแถวจะมีข้อมูลสามส่วน ได้แก่

คอลัมน์ ความหมาย
id ใคร (หรืออะไร) เป็นผู้ให้คำตอบ — โดยทั่วไปคือบุคคล
item เครื่องมือวัดผลใดที่ก่อให้เกิดคำตอบนี้ — โดยทั่วไปคือคำถามหรือภารกิจ
resp คำตอบเอง ซึ่งจัดเก็บเป็นคะแนนแบบอันดับ (ordinal)

ตัวอย่าง:

id item resp rt cov_age rater
1 Q1 1 2.3 26 a
1 Q2 0 1.8 26 a
2 Q1 1 2.1 31 b
2 Q2 1 2.5 31 b

เมื่อชุดข้อมูลมีข้อมูลเพิ่มเติม — เช่น เวลาในการตอบ ตัวตนของผู้ประเมิน หรือตัวแปรร่วมอย่างอายุ — ข้อมูลเหล่านั้นจะถูกจัดเก็บไว้ในคอลัมน์เพิ่มเติมที่ตั้งชื่ออย่างสอดคล้องกัน โครงสร้างง่าย ๆ เพียงแบบเดียวนี้ครอบคลุมสถานการณ์การวัดผลที่หลากหลายอย่างมาก ซึ่งเป็นสิ่งที่ทำให้สามารถเขียนโค้ดวิเคราะห์เพียงครั้งเดียวแล้วนำไปใช้กับคลังข้อมูลทั้งหมดได้

ข้อกำหนดทางเทคนิคฉบับเต็มของมาตรฐานนี้สามารถดูได้ที่ itemresponsewarehouse.org/standard.html นอกจากนี้ยังมีมาตรฐานที่เกี่ยวข้องและเฉพาะทางมากขึ้นสำหรับข้อความของข้อสอบ ข้อมูลการเปรียบเทียบแบบคู่ (pairwise) และคำตอบแบบนามบัญญัติ (nominal, หมวดหมู่ที่ไม่มีลำดับ)

วิธีใช้งาน

มีสามวิธีในการรับข้อมูล IRW ขึ้นอยู่กับว่าคุณต้องการให้กระบวนการเป็นอัตโนมัติมากน้อยเพียงใด

1. เรียกดูในเว็บเบราว์เซอร์ สำรวจชุดข้อมูลและเมทาดาทาของชุดข้อมูลโดยตรงที่ เบราว์เซอร์ข้อมูล IRW — ไม่ต้องมีบัญชี การดาวน์โหลดชุดข้อมูลแบบเต็มต้องใช้บัญชี Redivis ที่ไม่มีค่าใช้จ่าย เนื่องจากเป็นแพลตฟอร์มที่จัดเก็บข้อมูลต้นทาง

2. ใช้แพ็กเกจ irw (แนะนำ) แพ็กเกจ irw ซึ่งมีให้ใช้งานทั้งใน R และ Python มีฟังก์ชันง่าย ๆ สำหรับการค้นหา กรอง และดาวน์โหลดข้อมูล

# R
devtools::install_github("itemresponsewarehouse/Rpkg")
library(irw)

irw_info()                     # overview of the IRW
irw_list_tables()              # list all available tables
irw_filter(var = "rt")         # find tables that include response times
df <- irw_fetch("4thgrade_math_sirt")   # download one table
# Python
# pip install "git+https://github.com/itemresponsewarehouse/Python-pkg.git"
import irw

irw.info()
irw.list_tables()
irw.filter(var="rt")
df = irw.fetch("4thgrade_math_sirt")

ครั้งแรกที่คุณใช้แพ็กเกจนี้ ระบบจะขอให้คุณเข้าสู่ระบบด้วยบัญชี Redivis ที่ไม่มีค่าใช้จ่าย หลังจากนั้น โค้ดเพียงบรรทัดเดียวจะดาวน์โหลดชุดข้อมูลใดก็ได้เข้าสู่ R หรือ Python โดยตรง จากจุดนี้ ข้อมูลก็พร้อมสำหรับการวิเคราะห์ด้วยซอฟต์แวร์มาตรฐาน — เช่น แพ็กเกจทฤษฎีการตอบสนองข้อสอบ (item response theory) หรือการวิเคราะห์องค์ประกอบ (factor analysis)

3. ใช้ไลบรารีไคลเอนต์ของ Redivis โดยตรง สำหรับขั้นตอนการทำงานระดับล่างหรือที่ไม่ได้ใช้ R/Python ก็สามารถเข้าถึงข้อมูลได้ผ่านไลบรารีไคลเอนต์ R และ Python ของ Redivis เองเช่นกัน ดูรายละเอียดได้ที่ คู่มือเริ่มต้นใช้งาน

เหนือกว่าการดาวน์โหลดข้อมูล

โครงการ IRW ยังประกอบด้วย:

  • ชุด บทความตัวอย่าง (vignettes) ที่กำลังเติบโตขึ้นเรื่อย ๆ ซึ่งนำวิธีการวัดผลแบบดั้งเดิมและแบบใหม่มาประยุกต์ใช้กับชุดข้อมูล IRW จำนวนมากพร้อมกัน
  • แหล่งข้อมูลสำหรับการฝึกอบรมและชุดแบบฝึกหัด สำหรับการสอนจิตวิทยาการวัดด้วยข้อมูลจริง
  • กระบวนการมีส่วนร่วม สำหรับนักวิจัยที่ต้องการเพิ่มชุดข้อมูลของตนเองเข้าสู่คลังข้อมูล

เรียนรู้เพิ่มเติม

หากคุณใช้ข้อมูล IRW ในงานของคุณ โปรดอ้างอิงข้อมูลต้นฉบับ (เราได้จัดเตรียมฟังก์ชันสำหรับการดำเนินการนี้ไว้แล้ว) และจะเป็นประโยชน์อย่างยิ่งหากคุณกรุณาอ้างอิงบทความแนะนำข้างต้นด้วยเช่นกัน

มีคำถาม ข้อเสนอแนะ หรือต้องการร่วมส่งชุดข้อมูลหรือไม่? เยี่ยมชม หน้าติดต่อเรา หรือเปิดประเด็นปัญหา (issue) บน GitHub