알아서 웹 데이터 긁어오는 AI 에이전트 무료로 나눠드려요. 쿠팡·인스타·네이버 카페까지 긁어옵니다 | Claude Code / Codex 에이전트 활용
By 일잘러 장피엠
일잘러 장피엠의 27분짜리 유튜브 영상 ‘알아서 웹 데이터 긁어오는 AI 에이전트 무료로 나눠드려요. 쿠팡·인스타·네이버 카페까지 긁어옵니다 | Claude Code / Codex 에이전트 활용’의 AI 요약이에요(2026년 8월 31일 공개). 전체 스크립트를 핵심 10가지로 정리했고, 타임스탬프를 누르면 해당 장면으로 이동해요.
요약
이 영상은 웹사이트에서 데이터를 추출하고 정리하는 웹 크롤링 작업을 AI 에이전트를 통해 자동화하는 방법을 소개하며, 무료로 제공되는 오픈소스 웹 크롤러 에이전트의 설치, 사용법, 다양한 활용 사례 및 커스터마이징 방법을 설명합니다.
핵심 포인트
- AI 에이전트를 사용하면 웹사이트 URL과 원하는 데이터 설명을 입력하는 것만으로 웹 크롤링, 데이터 추출 및 Excel 정리까지 자동화할 수 있습니다.
- 영상에서 소개하는 웹 크롤러 에이전트는 GitHub에서 오픈소스로 제공되며, 누구나 무료로 사용, 수정, 재배포할 수 있습니다.
- 에이전트 설치는 GitHub 링크를 복사하여 Claude Code 또는 ChatGPT Work에 클론 및 설정 요청을 하는 방식으로 간편하게 진행할 수 있습니다.
- 이 웹 크롤러 에이전트는 공공 입찰 공고, 보도자료 첨부 파일, 고전 텍스트 원문, 채용 공고 상세 정보, 뉴스 기사 등 다양한 유형의 데이터를 수집할 수 있습니다.
- 에이전트는 웹사이트의 봇 차단 시스템을 우회하고, 로그인 필요한 사이트(Naver Cafe, Instagram 등)의 데이터도 수집할 수 있는 기능을 갖추고 있습니다.
- 에이전트의 자동 실행(Routine), 결과 전달 방식 변경, 수집 항목 고정 등 커스터마이징을 통해 개인 또는 조직의 특정 요구에 맞게 활용도를 높일 수 있습니다.
- 웹 크롤링 시 법적 고려 사항(서비스 약관, 서버 부담, 정보의 성격, 수집량, 사용 목적, 투명성 등)을 인지하고 주의하여 사용해야 합니다.
- 수집된 데이터는 Excel 파일로 정리될 뿐만 아니라, HTML 대시보드 생성, Slack 알림, 이메일 전송 등 다양한 형태로 가공 및 전달될 수 있습니다.
- AI 에이전트 활용의 핵심은 기존 오픈소스 프로젝트를 활용하고, 자신의 경험과 선호도를 반영하여 커스터마이징하는 데 있습니다.
- 이 에이전트는 과거 고가의 솔루션이나 많은 시간을 필요로 했던 데이터 수집 및 분석 작업을 무료로 빠르고 쉽게 처리할 수 있게 해줍니다.
유튜브 영상 무엇이든 무료로 요약
방금 이 영상의 AI 요약을 읽으셨어요. 다른 유튜브 링크를 붙여넣으면 몇 초 만에 타임스탬프가 달린 핵심을 받아볼 수 있어요. 가입 없이 하루 5회 무료.
관련 페이지
다른 요약
5분산업혁명 한번에 다보기 (5분순삭ver.)
산업혁명은 18세기 후반 영국에서 시작되어 기계 발명과 기술 혁신을 통해 생산 방식을 변화시키고 전 세계적인 산업 발달을 촉진한 역사적 대변혁입니다.
30분[한글더빙] 개발자는 결국 이렇게 살아남습니다 with 인공지능의 스승 앤드류 응
AI 시대의 생존과 진로를 위한 실리콘밸리 최전선 전문가의 솔직한 조언과 AI 기술의 급속한 발전, 그리고 이를 활용한 창의적 제품 개발 및 커리어 전략에 대한 포괄적인 가이드라인이 담긴 강연입니다.
35분[한글더빙] 개발자 멸종? 난 AI를 써서 살아남기로 했다! 하버드 교수 사이다 참교육
하버드의 CS50 강의에서는 인공지능의 근본 원리와 특히 생성형 AI가 어떻게 작동하는지, 그리고 이를 활용한 러버덕(고무오리) 프로그램의 교육적 활용 방식을 상세히 설명하며, AI의 한계와 가능성을 탐구한다.
34분[26년 대비] (new) 건축기사 실기 1탄 | 2025년 기출문제 총정리 | 공부시간을 1/3로 줄여주는 이미지 암기법
이 비디오는 2025/2026 건설안전기술사 실기 시험을 위한 종합적인 복습으로, 다양한 건설 개념과 안전 조치에 중점을 둡니다.
12분영재교육 프로그램 중학 2단원 3차시
이 비디오는 창의적 산출물 연구를 위한 이론적 배경과 선행 연구의 중요성, 구성 요소, 그리고 중학생 수준에서 선행 연구를 조사하는 구체적인 방법을 설명합니다.