Item Response Warehouse (IRW; Magazyn Odpowiedzi na Zadania)

Bezpłatny, otwarty zbiór ujednoliconych danych o odpowiedziach na zadania (item response) do badań psychometrycznych i pomiarowych.

Przeczytaj artykuł (otwarty dostęp)

Dlaczego powstał IRW

Badacze zajmujący się pomiarem — w edukacji, psychologii i pokrewnych dziedzinach — potrzebują rzeczywistych danych, aby testować i porównywać swoje metody. Takie dane już istnieją w dużych ilościach. Są jednak rozproszone w wielu badaniach, przechowywane w wielu różnych formatach i często trudne do ponownego wykorzystania z powodu niejasnej dokumentacji lub licencji.

To dobrze znany problem. Inne dziedziny rozwiązały go, budując wspólne, ustandaryzowane zasoby danych. W informatyce zbiór oznaczonych obrazów ImageNet dał badaczom wspólny punkt odniesienia (benchmark) i pomógł napędzić szybki postęp w AI. Genetyka i neuronauka zbudowały podobne wspólne zasoby dla swoich danych.

Item Response Warehouse (IRW) robi to samo dla danych o odpowiedziach na zadania. Gromadzi setki istniejących zbiorów danych i przekształca je w jeden wspólny format — dzięki czemu metoda przetestowana na jednym zbiorze danych może łatwo zostać przetestowana na setkach innych.

Co zawiera IRW

IRW zawiera setki zbiorów danych (“tabel”), z których każdy jest zbiorem indywidualnych odpowiedzi. Odpowiedź powstaje za każdym razem, gdy jakaś osoba (lub inna jednostka) odpowiada na zadanie (item) lub inny bodziec pomiarowy. Przykłady obejmują:

  • Odpowiedzi uczniów w testach edukacyjnych i testach zdolności
  • Pozycje kwestionariuszy mierzące osobowość lub postawy
  • Oceny przyznawane przez ludzkich sędziów (raterów)
  • Każdą inną sytuację obejmującą powtarzane odpowiedzi na zestaw narzędzi pomiarowych

W przypadku każdego zbioru danych w IRW prawdziwe są dwie rzeczy:

  • Otwarty. Każdy zbiór danych jest udostępniony na licencji zezwalającej na ponowne wykorzystanie. Jego pochodzenie jest udokumentowane, a kod użyty do przekształcenia go do formatu IRW jest publicznie dostępny.
  • Ujednolicony (harmonized). Każdy zbiór danych jest przekształcany do tej samej prostej struktury (opisanej poniżej), dzięki czemu ten sam kod analityczny może działać na wielu zbiorach danych przy niewielkiej modyfikacji lub bez żadnej.

Zbiory danych różnią się znacznie pod względem wielkości (od kilkuset odpowiedzi do wielu milionów) oraz rodzaju odpowiedzi (zadania tak/nie, oceny wielokategorialne, wyniki częściowe i inne). Do każdego zbioru danych dołączone są również wstępnie obliczone metadane — liczba uczestników, liczba zadań, gęstość odpowiedzi, dziedzina tematyczna oraz inne opisowe etykiety — dzięki czemu badacze mogą znaleźć odpowiednie zbiory danych bez konieczności ich wcześniejszego pobierania i przetwarzania.

Standard danych

Diagram przedstawiający kolorową siatkę komórek id-item, przekształconą za pomocą strzałki w tabelę w formacie długim z kolumnami id, item i resp, gdzie kolor każdej komórki resp odpowiada kolorowi jej komórki źródłowej w siatce.

Każdy zbiór danych IRW jest przekształcany do formatu długiego (long format): jeden wiersz na odpowiedź. Każdy wiersz zawiera co najmniej trzy informacje:

Kolumna Znaczenie
id Kto (lub co) wygenerowało odpowiedź — zazwyczaj osoba
item Które narzędzie pomiarowe wygenerowało odpowiedź — zazwyczaj pytanie lub zadanie
resp Sama odpowiedź, przechowywana jako wynik porządkowy (ordinalny)

Przykład:

id item resp rt cov_age rater
1 Q1 1 2.3 26 a
1 Q2 0 1.8 26 a
2 Q1 1 2.1 31 b
2 Q2 1 2.5 31 b

Gdy zbiór danych zawiera dodatkowe informacje — czas odpowiedzi, tożsamość ratera, kowarianty takie jak wiek — informacje te są przechowywane w dodatkowych, spójnie nazwanych kolumnach. Ta jedna prosta struktura obejmuje ogromny zakres sytuacji pomiarowych, co sprawia, że możliwe jest napisanie kodu analitycznego raz i zastosowanie go w całym magazynie.

Pełna specyfikacja techniczna standardu jest dostępna pod adresem itemresponsewarehouse.org/standard.html. Istnieją także powiązane, bardziej wyspecjalizowane standardy dla tekstu zadań, danych porównań parami (pairwise) oraz odpowiedzi nominalnych (kategorii nieuporządkowanych).

Jak z niego korzystać

Istnieją trzy sposoby pozyskania danych IRW, w zależności od tego, ile chcesz zautomatyzować.

1. Przeglądaj w przeglądarce internetowej Przeglądaj zbiory danych i ich metadane bezpośrednio w przeglądarce danych IRW — bez konieczności zakładania konta. Pobranie pełnego zbioru danych wymaga bezpłatnego konta Redivis, ponieważ to ta platforma przechowuje bazowe dane.

2. Użyj pakietu irw (zalecane) Pakiet irw, dostępny zarówno dla R, jak i Pythona, oferuje proste funkcje do wyszukiwania, filtrowania i pobierania danych.

# R
devtools::install_github("itemresponsewarehouse/Rpkg")
library(irw)

irw_info()                     # overview of the IRW
irw_list_tables()              # list all available tables
irw_filter(var = "rt")         # find tables that include response times
df <- irw_fetch("4thgrade_math_sirt")   # download one table
# Python
# pip install "git+https://github.com/itemresponsewarehouse/Python-pkg.git"
import irw

irw.info()
irw.list_tables()
irw.filter(var="rt")
df = irw.fetch("4thgrade_math_sirt")

Przy pierwszym użyciu pakietu zostaniesz poproszony o zalogowanie się za pomocą bezpłatnego konta Redivis. Od tego momentu jedna linijka kodu pobiera dowolny zbiór danych bezpośrednio do R lub Pythona. Od tego etapu dane są gotowe do analizy za pomocą standardowego oprogramowania — na przykład pakietów do teorii odpowiedzi na zadania (IRT) lub analizy czynnikowej.

3. Użyj bezpośrednio bibliotek klienckich Redivis W przypadku bardziej niskopoziomowych przepływów pracy lub przepływów spoza R/Python dane można również uzyskać za pomocą własnych bibliotek klienckich R i Python firmy Redivis. Szczegóły znajdziesz w Przewodniku dla początkujących.

Poza pobieraniem danych

Projekt IRW obejmuje również:

  • Rosnący zbiór przykładów (vignettes) — opracowanych przykładów stosujących klasyczne i nowe metody pomiarowe jednocześnie na wielu zbiorach danych IRW
  • Materiały szkoleniowe i zestawy zadań do nauczania psychometrii na rzeczywistych danych
  • Proces zgłaszania danych dla badaczy, którzy chcą dodać własne zbiory danych do magazynu

Więcej informacji

Jeśli korzystasz z danych IRW w swojej pracy, prosimy o cytowanie oryginalnych danych (udostępniliśmy odpowiednią funkcjonalność w tym celu). Bylibyśmy również bardzo wdzięczni za zacytowanie powyższego artykułu wprowadzającego.

Masz pytania, uwagi lub chcesz dodać zbiór danych? Odwiedź stronę kontaktową lub otwórz zgłoszenie (issue) na GitHubie.