🏷️ 이슈 유형
💡기능
Naive Bayes, 형태소, Logistic Regression, 문자 n-gram Linear SVM 및 구조 특징 점수를 stacking 방식으로 결합하여 자체 피싱 위험 점수를 생성합니다.
자체 모델의 예측이 불확실한 메시지만 Gemini로 재검증하여 정확도를 유지하면서 LLM 호출 비용과 평균 처리 시간을 줄입니다.
🛠️할 일 목록
URL, 계좌번호, 전화번호, 금액, 긴급성, 송금 및 개인정보 요구 표현 등의 구조 특징을 추출한다.
개별 모델의 예측 점수와 구조 특징 점수를 공통 형식으로 정규화한다.
validation 또는 out-of-fold 예측값을 사용해 stacking meta-classifier를 학습한다.
자체 모델의 최종 위험 점수와 신뢰도를 계산한다.
확신 구간과 불확실 구간을 정의하고 불확실한 메시지만 Gemini를 호출하도록 구현한다.
Gemini 호출 실패 시 자체 모델 결과를 사용하는 fallback 정책을 구현한다.
자체 모델 단독, Gemini 단독, 전체 하이브리드 모델의 성능을 비교한다.
LLM 호출률, 평균 응답 시간, 메시지당 비용 감소율을 측정한다.
단계별 점수와 최종 판정 근거가 기존 분석 응답 및 로그에 반영되도록 한다.
각 모델 실패, Gemini 실패 및 전체 fallback 경로에 대한 테스트를 작성한다.
📌 참고 사항 / 제약 조건
이 이슈는 형태소 Logistic Regression과 문자 n-gram Linear SVM 모델이 준비된 이후 진행합니다.
stacking 학습에 최종 테스트셋을 사용하지 않습니다.
자체 모델이 확실한 정상 또는 위험 메시지는 Gemini를 호출하지 않습니다.
Gemini 호출 기준값은 임의로 결정하지 않고 validation 데이터의 Recall, F2 및 호출률을 기준으로 선택합니다.
Gemini 장애가 메시지를 안전으로 오판하는 fail-open 동작으로 이어지면 안 됩니다.
기존 RabbitMQ 이벤트 스키마 및 Spring 연동과의 하위 호환성을 유지합니다.
API Key, 원문 메시지 및 개인정보가 학습 산출물이나 로그에 포함되지 않도록 합니다.
최종 결과로 단계별 성능 비교표와 전체 하이브리드 구조의 성능 개선 수치를 남깁니다.
🏷️ 이슈 유형
feat: 새로운 기능 추가fix: 버그 수정refactor: 동작 변경 없는 구조 개선docs: README 등 문서 추가/수정chore: 설정, 빌드, 의존성 패키지 변경💡기능
Naive Bayes, 형태소, Logistic Regression, 문자 n-gram Linear SVM 및 구조 특징 점수를 stacking 방식으로 결합하여 자체 피싱 위험 점수를 생성합니다.
자체 모델의 예측이 불확실한 메시지만 Gemini로 재검증하여 정확도를 유지하면서 LLM 호출 비용과 평균 처리 시간을 줄입니다.
🛠️할 일 목록
📌 참고 사항 / 제약 조건