How I Web Scrape EVERYTHING With Make.com & AI

원본 영상: How I Web Scrape EVERYTHING With Make.com & AI

한 줄 요약

Make.com HTTP 모듈 → 텍스트 파서 → ChatGPT/정규표현식으로 원하는 데이터를 추출하고 Google Sheets에 저장하는 노코드 웹 스크래핑 파이프라인.

핵심 내용

1단계: 기본 웹사이트 스크래핑

• Make.com에서 HTTP 모듈 → “Make a request” 액션 선택
• URL 입력, Method: GET, Body: application/x-www-form-urlencoded
• 응답 status 200 확인 후 data 필드에 전체 HTML 수신

2단계: HTML → 텍스트 변환

• Text Parser 모듈 → “HTML to Text” 사용
• 이후 모든 패턴 매칭은 이 텍스트 결과물을 대상으로 진행

3단계: 데이터 추출 (두 가지 방법)

• 방법 A — 내장 패턴: Text Parser → “Match Elements” → 이메일/전화번호 등 내장 패턴 선택, 코드 불필요
• 방법 B — ChatGPT: HTTP 응답 데이터를 ChatGPT에 넘겨 원하는 필드만 추출 지시 (HTML 원문 대신 텍스트 변환본 사용, 36,000자 초과 시 토큰 오류 발생)
• 방법 C — 정규표현식(Regex): Text Parser → “Match Pattern Advanced”, 패턴은 ChatGPT에게 생성 요청

4단계: Yelp 디렉토리 다단계 스크래핑

1. 검색 결과 페이지 URL을 HTTP 모듈로 요청
2. “Get Elements from HTML” → Links 추출 (총 343개)
3. Filter: href에 /biz/ 포함된 링크만 통과 → 10개로 압축
4. Flow Control Iterator로 링크 1개씩 순회
5. 각 링크에 https://www.yelp.com 접두사 붙여 개별 HTTP 요청
6. ChatGPT로 서비스 목록 추출, Regex로 전화번호·웹사이트·상호명 추출
7. Google Sheets에 행 추가

전술·요소

항목	설정값 / 방법
HTTP Method	GET (정보 조회), POST (데이터 전송)
상태 코드 확인	200 = 성공
토큰 제한	200 Max tokens (간단한 추출에 충분)
Rate limiting 방지	Tools → Sleep 모듈, 15~20초 딜레이 설정
테스트 시	Sleep을 1초로 줄이고, Filter로 1건만 통과시켜 실행
Regex 학습 도구	regex.com (패턴·텍스트 직접 테스트 가능)
링크 필터 조건	href contains /biz/ AND href contains 고유 속성값
날짜 포맷	DD MMM YYYY 형식으로 Date Format 모듈 사용

Regex 패턴 생성 프롬프트 전략

• 개발자 도구에서 HTML 요소 복사 → ChatGPT에 “create a regex formula to extract X from this HTML” 요청
• 출력 예시(expected output)를 함께 제공해야 정확한 포맷 반환
• 시작점·끝점을 페이지에서 항상 고정된 문자열로 지정 (예: “people found” ~ “by searching for”)

수치·사례

• Yelp 검색 결과 1페이지 링크 수: 343개 (필터 후 10개)
• ChatGPT 추출 서비스 항목 수: 8개 (Garden installation, lawn maintenance 등 정확히 매칭)
• HTML 원문 길이: 약 36,000자 (GPT 토큰 한도 초과 → 텍스트 변환본 사용 필요)

※ 위 수치는 영상 내 데모 기준 (Yelp landscaping services, New York).

도구·워크플로

사용 도구

• Make.com (HTTP, Text Parser, Flow Control, Tools/Sleep, Google Sheets)
• ChatGPT (GPT-4o, Create Chat Completion)
• Google Sheets (결과 저장)
• regex.com (Regex 패턴 테스트)
• 브라우저 개발자 도구 (HTML 요소 확인 및 복사)

전체 플로우 (Yelp 기준)

HTTP(Yelp 검색 URL)
→ Text Parser(HTML→Text)
→ Get Elements from HTML(Links)
→ Filter(/biz/ 포함)
→ Iterator(링크 1개씩)
→ Sleep(15초)
→ HTTP(개별 Yelp 페이지)
→ Text Parser(HTML→Text)
→ ChatGPT(서비스 추출) + Regex(전화/웹사이트/상호명)
→ Google Sheets(행 추가)