대규모로 Instagram 댓글 스크래핑하는 방법 — 100만 결과와 계속 증가

Source: Dev.to

Instagram의 공식 API는 실제 규모의 댓글 데이터를 필요로 할 경우 거의 쓸모가 없습니다. 레이트 제한이 거의 즉시 적용되고, OAuth 설정이 번거롭으며, 실제로 반환되는 데이터는 크게 필터링됩니다. 감성 분석, 인플루언서 리서치, 리드 생성, 혹은 NLP 파이프라인에 데이터를 공급하려는 사람들에게 공식 API는 전혀 만족스럽지 못합니다.

저는 Apify에서 Instagram 댓글 스크래퍼를 운영해 왔으며, 현재 1백만 개가 넘는 댓글을 수백 개의 포스트와 릴에서 처리했습니다. 이 글에서는 다음 내용을 다룹니다:

• 스크래퍼가 작동하는 방식
• 데이터가 어떤 형태인지
• 자체 Python 파이프라인에서 활용하는 방법

사람들이 실제로 이것을 사용하는 경우

얻는 데이터

각 댓글은 다음 필드들을 포함하는 JSON 객체로 반환됩니다:

{
  "postId": "3627347799613702778",
  "postUrl": "https://www.instagram.com/p/DJW7ZrwxQJ6/",
  "commentId": "17856813987670336",
  "commentUrl": "https://www.instagram.com/p/DJW7ZrwxQJ6/c/17856813987670336/",
  "text": "This is exactly what I was looking for",
  "timestamp": 1772885404,
  "likesCount": 14,
  "userId": "63583756795",
  "username": "example_user",
  "userFullName": "Example User",
  "ownerProfilePicUrl": "https://scontent.cdninstagram.com/…",
  "isVerified": false,
  "repliesCount": 2,
  "replies": [
    {
      "commentId": "17856813987670337",
      "text": "Same here!",
      "username": "another_user",
      "likesCount": 3,
      "timestamp": 1772885500
    }
  ]
}

각 댓글은 전체 텍스트, 타임스탬프, 좋아요 수, 댓글 작성자 사용자명, 인증 여부 및 중첩된 답글을 포함합니다. 전처리가 필요 없으며 — 출력은 깔끔하고 바로 활용할 수 있습니다.

파이썬 시작하기

스크래퍼는 Apify에서 실행됩니다. 무료 계정이 필요합니다 – 모든 계정에 월 $5 크레딧이 제공되며, 이는 테스트용으로 약 10 k개의 댓글을 수집하기에 충분합니다.

Apify 클라이언트 설치

pip install apify-client

기본 실행 – 단일 게시물에서 댓글 스크랩

from apify_client import ApifyClient

client = ApifyClient("YOUR_APIFY_API_TOKEN")

run_input = {
    "postUrls": [
        "https://www.instagram.com/p/YOUR_POST_ID/"
    ],
    "maxCommentsPerPost": 500,
    "sortOrder": "popular"
}

run = client.actor("scrapesmith/instagram-comments-scraper").call(run_input=run_input)

for item in client.dataset(run["defaultDatasetId"]).iterate_items():
    print(item["username"], "|", item["text"][:80])

대량 스크래핑 – 여러 게시물을 한 번에

from apify_client import ApifyClient

client = ApifyClient("YOUR_APIFY_API_TOKEN")

post_urls = [
    "https://www.instagram.com/p/POST_ID_1/",
    "https://www.instagram.com/p/POST_ID_2/",
    "https://www.instagram.com/p/POST_ID_3/",
    # 필요에 따라 추가
]

run_input = {
    "postUrls": post_urls,
    "maxCommentsPerPost": 1000,
    "sortOrder": "newest"
}

run = client.actor("scrapesmith/instagram-comments-scraper").call(run_input=run_input)

dataset = client.dataset(run["defaultDatasetId"])
comments = list(dataset.iterate_items())

print(f"Total comments scraped: {len(comments)}")

비용 예시: $0.50 per 1 000 결과 → 100 000개의 댓글을 스크랩하면 $50이 듭니다. 받게 되는 데이터 양을 고려하면, 이는 어떤 대안보다도 훨씬 저렴합니다.

위 코드 스니펫 외에 추가 코드는 필요하지 않습니다.

대규모 실행 시 실용적인 팁

가격표

Try It

스크래퍼가 Apify 계정에서 실행될 준비가 되었습니다. API 토큰을 가져오고, 클라이언트를 설치한 뒤, 대규모로 댓글 데이터를 수집해 보세요!

Live on the Apify Store

• Instagram Comments Scraper — scrapesmith/instagram-comments-scraper

My full actor catalogue (including YouTube Shorts, Instagram Hashtag, Google Maps Reviews, and more) is available at:
apify.com/scrapesmith

Custom scraper requests
특정 사이트나 워크플로우에 맞춘 맞춤형 스크래퍼가 필요하시면 Apify 프로필을 통해 연락 주세요.

Built and maintained by Scrape Smith

• 2.1K+ users
• 99%+ run success rate