This Secret Web Scraping Technique Generates Endless Leads (using LinkedIn jobs)

원본 영상: This Secret Web Scraping Technique Generates Endless Leads (using LinkedIn jobs)

한 줄 요약

LinkedIn Jobs 등 채용 공고 사이트에서 이미 해당 서비스(SEO, 디지털 마케팅 등)를 고용하려는 기업을 자동 탐색·연락처 수집해 무한 리드 파이프라인을 만드는 Make.com + Apify 자동화.

핵심 내용

1. 아이디어: 채용 공고에 “SEO 담당자 모집” 같은 글을 올린 기업은 이미 해당 서비스 수요가 있는 검증된 잠재 고객이다. 이 기업들에게 먼저 접근해 프리랜서·에이전시 서비스를 제안한다.
2. 1단계 — LinkedIn 공고 스크래핑: Apify Store의 Advanced LinkedIn Job Scraper 액터($30/월 + 사용량)를 Make.com에서 호출해 키워드·위치 조합별 공고 목록을 수집한다.
3. 2단계 — 기업 웹사이트 스크래핑: 수집된 기업 웹사이트 URL에 Apify의 Contact Detail Scraper 액터를 연결해 이메일·전화번호·SNS 프로필(LinkedIn, TikTok, Facebook, Instagram)을 추출한다.
4. 3단계 — 중복 방지 로직: Google Sheets에 domain을 기준으로 검색 → 없으면 행 추가(Add Row), 있으면 행 업데이트(Update Row)하는 Router 분기를 구성해 동일 기업의 중복 행을 방지한다.
5. 4단계 — 결과 집계: Array Aggregator로 한 기업에 대해 여러 페이지를 스크래핑한 결과를 1행으로 합쳐 스프레드시트에 기록한다.

전술·요소

구성 요소	설정 포인트
Make.com Apify 모듈	Run Actor → synchronously(Yes) 필수. 비동기 시 결과 미수신
검색 URL 동적 생성	linkedin.com/jobs/search?keywords={query}&location={location} — 공백은 URL encode 필요
키워드 배열 관리	Make.com JSON 모듈로 [{query, location}, ...] 배열 생성 → Parse JSON → Iterator로 순회
웹사이트 URL 필터	Contact Scraper 이전에 company website 필드 존재 여부 필터 추가 (없으면 워크플로 중단 방지)
데이터셋 조회	각 Run Actor 모듈 직후 Get Dataset Items 모듈 추가, Dataset ID = default dataset ID

수치·사례

• LinkedIn Jobs 단일 키워드 기준 약 9,000개 이상 공고 존재 (영상 내 언급)
• 시연 예시: CNN — SEO Analyst, 연봉 $76,000~$141,000 / click click.com — 전화번호·SNS 링크 수집 성공, 이메일 없음
• 설정 소요 시간: 약 30분 (코딩 불필요)

도구·워크플로

[JSON 모듈: 키워드·위치 배열 정의]
  → [Parse JSON]
  → [Iterator: 배열 순회]
  → [Set Variable: LinkedIn 검색 URL 조합 (URL encode 적용)]
  → [Apify: Advanced LinkedIn Job Scraper (sync)]
  → [Get Dataset Items]
  → [Apify: Contact Detail Scraper (sync, URL 동적 주입)]
  → [Get Dataset Items]
  → [Array Aggregator: 기업별 다중 페이지 결과 병합]
  → [Google Sheets: Search Rows (domain 기준)]
  → [Router]
      ├─ [행 없음] → Google Sheets: Add Row
      └─ [행 있음] → Google Sheets: Update Row

Google Sheets 적재 컬럼: company name, website, phone, email, LinkedIn, TikTok, Facebook, Instagram, search query, location, job post URL, job title