데이터 수집 및 ML을 활용한 여론 분석(NLP)
정치 여론조사 기관 의뢰로 수행된 데이터 분석 프로젝트입니다. 약 13만 건의 뉴스 기사와 100만 건의 댓글 데이터를 수집하여 BERT 기반 감성 분석과 LDA 토픽 모델링을 수행했으며, 여론조사 응답 데이터에 대해 CatBoost 모델 학습 후 SHAP 분석을 통해 주요 영향을 미친 요인을 해석했습니다. 단순 예측을 넘어 해석 가능한 인사이트 제공을 목표로 했습니다.
- 수행 기간: 2024.9 ~ 2025.11 (3개월)
- 고객사: 주식회사 빅힐에널리틱스
- 역할: AI 엔지니어 / 시스템 설계 및 구현
- 기술 스택: FastAPI, LangChain, MongoDB, LanceDB, Docker
프로젝트 개요
대한민국 국회에서 발의된 의안(법안)을 대상으로, 다음의 세 가지 기능을 통합한 RAG 기반 정보 탐색 및 기사 자동화 시스템을 개발했습니다.
- 의안 검색: 사용자의 자연어 질의를 벡터화하여, 관련 의안을 유사도 기반으로 검색
- 의안 요약 및 비교 분석: 쿼리에 맞는 의안에 대한 요약 및 복수의 유사 의안들을 비교하여 핵심 차이점 및 쟁점 정리
- 기사 자동 작성: 기사 문체로 구성된 요약문과 출처 정보를 포함한 응답 생성
이 시스템은 기자, 연구자, 일반 사용자 등에게 국회 입법 활동을 더 쉽게 이해하고 접근할 수 있도록 지원합니다.
담당 업무
- 전체 시스템 아키텍처 설계 및 구현
- RAG 기반 Chat 엔진 및 Indexing Backend Server 개발
- FastAPI 기반 API 서버 및 Docker Compose 운영환경 구축
- 법안 메타데이터 기반 SQL 조건 변환 및 LLM context 프롬프트 설계
- Reranker 및 RRF(Rank Fusion) 기반 랭킹 로직 구현
- 성과 및 특이사항:
- 의안 자료 활용 및 언급시 출처 및 원문 링크 자동 포함으로, LLM 응답의 신뢰성과 검증 가능성 확보
- SSE 기반 출력 흐름 구현으로 LLM 응답 지연 최소화 및 사용자 경험 개선
- 단순 유사도 검색 + rerank + fusion 구조 적용을 통해 검색 정확도 향상
시퀀스 다이어그램
RAG 기반 Chat 엔진
Indexing Backend Server
Related Posts
과학용어 설명 자동 채점 시스템
초·중·고 교과과정 과학용어에 대한 학생의 주관식 설명형 답변을 자동으로 평가하는 AI 채점 시스템입니다. ElasticSearch를 활용한 문장 검색과 의미 기반 비교, 어휘 유사도(BLEU), 키워드 출현 등을 조합하여, 정답이 없는 상황에서도 다양한 기준에 따라 채점이 가능한 채점 시스템을 구현했습니다.
🗞️ 국회 의안 분석 시스템 AI PEN+
AI PEN+는 국회 법안 정보를 실시간으로 분석하고, 요약과 기사 초안 생성까지 자동화한 AI 기반 시스템입니다. NewComputer는 이 프로젝트에서 RAG 기반 질의응답 시스템 설계, 법안 메타데이터 처리, 기사 자동 생성 흐름 구축 등 핵심 기술 영역에 기여했습니다.
Made with Bullet