Show GN: 핫딜모음 게시판 여러 곳 크롤링해서 AI로 요약해주는 사이드 프로젝트 만들었습니다 (핫덕)
핫딜모음 게시판 여러 곳을 크롤링하여 AI로 핵심 정보를 요약해주는 사이드 프로젝트를 개발했습니다. 이 서비스는 뽐뿌, 에펨코리아, 클리앙 등 주요 핫딜 게시판을 주기적으로 크롤링하여 가격, 배송비, 만료 여부 등의 핵심 정보를 AI로 요약하여 제공하는 것을 목표로 합니다.
개발 과정에서 단순히 정보를 수집하는 것을 넘어 딜의 상태(품절 또는 종료)를 모니터링하고, 커뮤니티 반응까지 요약하는 기능을 추가하여 사용자가 "진짜 살 만한 딜인지"를 한눈에 확인할 수 있도록 했습니다. 이는 단순한 데이터 수집을 넘어 사용자에게 실질적인 가치를 제공하는 방향으로 서비스를 확장한 사례입니다.
구현 과정은 크롤러를 통해 데이터를 수집하고 Supabase에 저장한 뒤 FastAPI로 서빙하는 단순한 파이프라인으로 구성되었습니다. 트래픽이 증가함에 따라 캐시 정책이나 SEO와 같은 기술적인 이슈들을 해결하는 과정에서 개발자는 많은 경험을 쌓았습니다.
이 프로젝트는 혼자 진행한 사이드 프로젝트이지만, 개발 과정에서 겪은 경험과 기술적 고민을 공유하며 다른 개발자들에게 피드백을 구하고 있습니다. 관심 있는 개발자들은 이 프로젝트를 통해 크롤링 및 AI 요약 서비스 구축에 대한 아이디어를 얻을 수 있을 것입니다.
개발 과정에서 단순히 정보를 수집하는 것을 넘어 딜의 상태(품절 또는 종료)를 모니터링하고, 커뮤니티 반응까지 요약하는 기능을 추가하여 사용자가 "진짜 살 만한 딜인지"를 한눈에 확인할 수 있도록 했습니다. 이는 단순한 데이터 수집을 넘어 사용자에게 실질적인 가치를 제공하는 방향으로 서비스를 확장한 사례입니다.
구현 과정은 크롤러를 통해 데이터를 수집하고 Supabase에 저장한 뒤 FastAPI로 서빙하는 단순한 파이프라인으로 구성되었습니다. 트래픽이 증가함에 따라 캐시 정책이나 SEO와 같은 기술적인 이슈들을 해결하는 과정에서 개발자는 많은 경험을 쌓았습니다.
이 프로젝트는 혼자 진행한 사이드 프로젝트이지만, 개발 과정에서 겪은 경험과 기술적 고민을 공유하며 다른 개발자들에게 피드백을 구하고 있습니다. 관심 있는 개발자들은 이 프로젝트를 통해 크롤링 및 AI 요약 서비스 구축에 대한 아이디어를 얻을 수 있을 것입니다.