This AI Agent Can Scrape ANYTHING (100% Automatic)

원본 영상: This AI Agent Can Scrape ANYTHING (100% Automatic)

한 줄 요약

n8n AI 에이전트에 Apify 웹스크래퍼 툴을 연결해 자연어 채팅 한 줄로 여러 플랫폼을 동시 스크래핑하고 Google Sheets에 실시간 적재한다.

핵심 내용

n8n에서 “On Chat Message” 트리거로 AI 에이전트 워크플로 생성
AI 에이전트에 시스템 프롬프트 설정 — 사용자 쿼리를 올바른 툴(Google Maps, Tik Tok 등)로 라우팅하도록 지시, 필요 파라미터(industry, city, state, country) 명시
Chat Model로 OpenAI 모델 연결 (에이전트의 “두뇌” 역할)
Window Buffer Memory 추가 — 과거 5개 메시지 기억, 멀티턴 대화 지원
각 스크래핑 소스마다 “Execute by Another Workflow” 트리거로 별도 서브 워크플로 생성
서브 워크플로 구조: HTTP POST → Apify Actor 실행 → HTTP GET → 결과 수신 → Google Sheets Append/Update
모든 소스의 서브 워크플로는 구조가 동일 — 한 개 완성 후 복제해 Actor ID만 교체

전술·요소

단계	설정
AI 에이전트 툴 등록	툴 이름 = 소스명(예: “Google Maps webscraper”), description에 “call when user wants to scrape Google Maps” 명시
Apify HTTP POST	Method: POST, URL: Apify Actor API + `?waitForFinish=300` 파라미터 추가
인증 헤더	`Content-Type: application/json`, `Authorization: Bearer <API_KEY>`
Request Body	Apify Actor 페이지의 Input JSON을 그대로 복사, city/searchTerm/state/country를 n8n expression으로 동적 치환
결과 수신	HTTP GET으로 `defaultDatasetId` 사용해 결과 fetch
Google Sheets	Append or Update Row, 중복 방지를 위해 website URL을 고유 키로 매칭
동적 파라미터 추출	`$fromAI('search', '설명')` 메서드로 AI가 대화에서 파라미터 자동 추출

수치·사례

Apify 무료 플랜: 월 $5 크레딧 자동 리셋 (본인 언급)
Google Maps Extractor: 결과 1,000건당 $6 (Apify 플랫폼 표시 기준)
무료 크레딧으로 약 800~850건 스크래핑 가능 (본인 추산)
waitForFinish=300: 최대 300초(5분) 대기 후 결과 반환

도구·워크플로

사용 도구

n8n (워크플로 자동화)
Apify (웹스크래핑 인프라 — Google Maps Extractor, Google Maps Email Extractor 등 Actor 사용)
OpenAI Chat Model (에이전트 LLM)
Google Sheets (결과 저장)

워크플로 흐름

[Chat Message] → [AI Agent]
                     ├─ Tool: Google Maps  → [서브 워크플로]
                     ├─ Tool: Yellow Pages → [서브 워크플로]
                     ├─ Tool: Apollo       → [서브 워크플로]
                     ├─ Tool: Instagram    → [서브 워크플로]
                     └─ Tool: TikTok       → [서브 워크플로]

서브 워크플로 공통 구조:
[Execute by Another Workflow] → [HTTP POST to Apify] → [HTTP GET results] → [Google Sheets Append/Update]

시스템 프롬프트 패턴

역할: “personal assistant that excels at web scraping”
라우팅 규칙: 각 툴별 호출 조건 명시
필수 수집 파라미터: industry(예: landscaping), city, state(예: NY/CA), country(예: us)