데이터 수집 및 ML을 활용한 여론 분석(NLP)
정치 여론조사 기관 의뢰로 수행된 데이터 분석 프로젝트입니다. 약 13만 건의 뉴스 기사와 100만 건의 댓글 데이터를 수집하여 BERT 기반 감성 분석과 LDA 토픽 모델링을 수행했으며, 여론조사 응답 데이터에 대해 CatBoost 모델 학습 후 SHAP 분석을 통해 주요 영향을 미친 요인을 해석했습니다. 단순 예측을 넘어 해석 가능한 인사이트 제공을 목표로 했습니다.
- 수행 기간: 2023.05.01 ~ 2023.08.31 (4개월)
- 고객사: 비공개(교육관련 연구소)
- 역할: AI 엔지니어 / 시스템 설계 및 개발
- 기술 스택: FastAPI, Docker, MongoDB, ElasticSearch
📝 프로젝트 개요
초·중·고 교과 과정에서 사용되는 약 3,000여 개의 과학용어를 기반으로, 학생의 주관식 설명형 답변을 자동으로 채점하는 AI 기반 평가 시스템을 개발했습니다.
교과서 지문을 중심으로 학생 답변과의 의미적 일치도, 키워드 포함 여부 등을 종합적으로 분석하여 채점 결과를 수치화하는 시스템입니다.
정답 데이터가 존재하지 않는 상황에서, 검색 기반 평가 지표(Semantic / Lexical / Coverage)를 활용한 자동 채점 방식을 설계했습니다.
🔧 담당 업무 (Responsibilities)
- 교과서 기반 문장 검색 시스템 구축 (ElasticSearch 활용)
- Semantic / Lexical / Coverage 기반 자동 채점 로직 설계
- ChatGPT를 활용한 정의문 생성 및 의미 비교
- BLEU 점수 기반 어휘적 유사도 평가
- 키워드 출현 기반의 부분점수 부여
- FastAPI 기반 검색 및 채점 API 서버 구현
- 사용자 환경에 맞춘 Docker 패키징 및 배포 구성
- 초/중/고 학년별 채점 기준 차등 적용 로직 설계
📈 성과 및 특이사항 (Achievements & Highlights)
- 정답 데이터 없이도 평가가 가능한 비지도/검색 기반 채점 엔진 개발
- 실제 교과서 데이터를 활용한 현실 반영형 평가 기준 구현
- 의미, 어휘, 키워드 관점의 다중 평가 지표 조합을 통한 정교한 평가 로직 구현
시퀀스 다이어그램
임베딩 샘플 시각화(t-sne)
- 정답(검정색) 기준으로 학생들의 답변들이 점수에따라 분포해있는 걸 확인할 수 있다.
Related Posts
국회 입법 정보 탐색 및 기사 자동화 시스템(RAG 기반)
RAG 기반 AI 시스템으로 국회 의안을 자연어로 검색하고 요약·비교 분석하며, 의안 내용 기반으로기사를 자동 작성하는 기능까지 지원합니다. 기자와 연구자, 일반 사용자 모두를 위한 정보 접근성을 제공합니다.
🗞️ 국회 의안 분석 시스템 AI PEN+
AI PEN+는 국회 법안 정보를 실시간으로 분석하고, 요약과 기사 초안 생성까지 자동화한 AI 기반 시스템입니다. NewComputer는 이 프로젝트에서 RAG 기반 질의응답 시스템 설계, 법안 메타데이터 처리, 기사 자동 생성 흐름 구축 등 핵심 기술 영역에 기여했습니다.
Made with Bullet