How To Web Scrape Anything On Twitter In 5 Minutes

원본 영상: How To Web Scrape Anything On Twitter In 5 Minutes

한 줄 요약

Apify Tweet Scraper v2로 코드 없이 Twitter 게시물·계정·검색결과를 대량 수집할 수 있으며, 비용은 1,000건당 $0.30이다.

핵심 내용

1. Apify 스토어에서 “Tweet Scraper V2 (pay per result)” 액터를 선택
2. 스크래핑 소스 선택: 개별 트윗 URL / 특정 계정 페이지 / 검색 쿼리 / 리스트 / 답글
3. 검색 URL을 Twitter에서 복사해 그대로 입력
4. 필터 설정: 인증 계정 여부, 미디어 포함 여부, 최소 리트윗·좋아요·답글 수 등
5. Run Options에서 최대 결과 수 상한을 낮게 설정 후 테스트
6. 결과가 너무 많거나 적으면 필터를 조이거나 완화해 반복 조정
7. 결과는 JSON으로 확인 가능

전술·요소

항목	설명
소스 타입	상태 URL / 계정 페이지 / 검색 쿼리 / 리스트 / 답글 포함
검색어 설정	Twitter 검색 후 URL 복사 → 입력란에 붙여넣기
필터	Twitter Blue 유저, 이미지/동영상/인용 포함, 지오태그(위치+반경), 최소 RT·좋아요·답글 수
테스트 안전장치	Run Options → 최대 결과 수 소량으로 제한해 비용 폭증 방지
결과 포맷	JSON으로 출력, 각 트윗 URL 포함

수치·사례

• 비용: 1,000건당 $0.30 (Apify 공시 요금, 영상 내 언급)
• 수동 처리 시 100건 약 1시간 → Apify로 20~40초 (본인 실측 비교)
• 테스트 실행 결과: 50건 제한 → 42건 반환, 8건은 필터로 자동 제외

도구·워크플로

• Apify (apify.com) — Tweet Scraper V2, pay-per-result 방식
• 워크플로: Twitter 검색 → URL 복사 → Apify 액터 입력 → 필터 설정 → Save & Start → JSON 결과 확인 → 필터 조정 반복