diff --git a/.jules/bolt.md b/.jules/bolt.md index 7d3c603f..3717da88 100644 --- a/.jules/bolt.md +++ b/.jules/bolt.md @@ -16,3 +16,6 @@ ## 2025-02-12 - R 언어에서 반복적인 mirt 모델 생성 시 불필요한 데이터프레임 부분집합 추출 최적화 **Learning:** R에서 데이터프레임의 특정 열을 추출하는 작업(`df[cols]`)은 O(N)의 메모리 복사를 수반합니다. `autoFIPC`에서 `mirt` 모델의 파라미터를 설정하거나 호출하는 과정 중에 `newformXDataK[colnames(newFormModel@Data$data)]` 코드가 반복해서 사용되었고, 심지어 `ncol()`을 위해 단순히 개수를 구할 때도 사용되어 불필요한 메모리 할당과 오버헤드를 초래했습니다. **Action:** 조건문이나 반복문 내부에서 불필요하게 데이터프레임 부분집합 연산이 반복되지 않도록 외부에서 한 번만 `linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)]`로 캐싱(caching)한 뒤, `ncol(linkedFormData)`와 `data = linkedFormData` 형태로 재사용하여 메모리 복사와 O(N) 오버헤드를 방지해야 합니다. +## 2024-07-23 - R 언어에서 열 이름 추출 시 데이터프레임 부분집합 추출을 피하여 O(N) 메모리 복사 방지 +**Learning:** R에서 열 이름을 확인하기 위해 `colnames(df[cols])` 형태로 데이터프레임을 서브셋팅하면, 단순히 이름만 추출하는 경우에도 데이터를 복사하는 과정에서 불필요한 O(N) 메모리 할당과 복사 오버헤드가 발생합니다. +**Action:** 열 이름만 필요할 때는 모델의 이름 벡터를 직접 사용하여 행 수에 비례하는 데이터 프레임 복사를 피해야 합니다. 이름 비교 자체는 열 수에 비례하며, 필수 열을 선택할 때는 직접 서브셋팅하여 누락 열에서 실패하도록 보존해야 합니다. diff --git a/R/aFIPC.R b/R/aFIPC.R index 62546519..17a3c3a9 100644 --- a/R/aFIPC.R +++ b/R/aFIPC.R @@ -620,8 +620,8 @@ autoFIPC <- IPDItemCount <- 0 # IPD target item checking - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + newFormColNames <- colnames(newFormModel@Data$data) + oldFormColNames <- colnames(oldFormModel@Data$data) # ⚡ Bolt: Vectorized match() to avoid dynamic array growth overhead inside a for loop idxNew <- match(newformCommonItemNames, newFormColNames) @@ -749,8 +749,8 @@ autoFIPC <- } } - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + newFormColNames <- colnames(newFormModel@Data$data) + oldFormColNames <- colnames(oldFormModel@Data$data) # ⚡ Bolt: Cache parameter indices to avoid O(N) linear search inside loop newScaleParmsItemIdxCache <- split(seq_len(nrow(NewScaleParms)), NewScaleParms$item) @@ -848,7 +848,7 @@ autoFIPC <- message('\nestimating Linked Form Eq(X) parameters') # ⚡ Bolt: Cache subsetted dataframe to avoid repeated O(N) memory copies during mirt model setup - linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)] + linkedFormData <- newformXDataK[, colnames(newFormModel@Data$data), drop = FALSE] if (forceNormalZeroOne) { freeMEAN <- F diff --git a/tests/testthat/test-bolt-intersect.R b/tests/testthat/test-bolt-intersect.R new file mode 100644 index 00000000..ae7e0a05 --- /dev/null +++ b/tests/testthat/test-bolt-intersect.R @@ -0,0 +1,61 @@ +test_that("model metadata preserves linked-form column order", { + skip_if_not_installed("mirt") + set.seed(42) + + old_discrimination <- matrix( + c(1, 1.2, 0.8, 1.5, 0.9, 1.1, 1.0, 1.3), + ncol = 1 + ) + old_intercept <- matrix( + c(1, -1, 0, 0.5, -0.5, 0, 0.2, -0.2), + ncol = 1 + ) + oldform_data <- mirt::simdata( + old_discrimination, + old_intercept, + 250, + itemtype = "2PL" + ) + colnames(oldform_data) <- paste0("Item", 1:8) + + new_discrimination <- matrix(c(1, 1.2, 0.8, 1.0, 1.3), ncol = 1) + new_intercept <- matrix(c(1, -1, 0, 0.2, -0.2), ncol = 1) + newform_data <- mirt::simdata( + new_discrimination, + new_intercept, + 250, + itemtype = "2PL" + ) + colnames(newform_data) <- c( + "Item1", + "Item2", + "Item3", + "NewItem1", + "NewItem2" + ) + + result <- aFIPC::autoFIPC( + newformXData = newform_data, + oldformYData = oldform_data, + newformCommonItemNames = c("Item1", "Item2", "Item3"), + oldformCommonItemNames = c("Item1", "Item2", "Item3"), + itemtype = "2PL", + confirmCommonItems = TRUE, + tryEM = TRUE, + checkIPD = FALSE, + freeMEAN = FALSE, + forceNormalZeroOne = FALSE, + tryFitwholeOldItems = FALSE, + tryFitwholeNewItems = FALSE + ) + + expect_s4_class(result$LinkedModel, "SingleGroupClass") + expect_identical( + colnames(result$newFormModel@Data$data), + colnames(newform_data) + ) + expect_identical( + colnames(result$LinkedModel@Data$data), + colnames(newform_data) + ) +})