Apify에서 터키 전자상거래 인텔리전스를 위한 3개의 API를 만들었습니다

Source: Dev.to

위 링크에 있는 글 전체를 번역하려면, 번역할 텍스트를 제공해 주시겠어요?
코드 블록이나 URL은 그대로 유지하고, 본문 내용만 한국어로 번역해 드리겠습니다.

터키 마켓플레이스를 위한 구조화된 제품, 판매자 및 리뷰 데이터

터키 전자상거래 플랫폼에서 깨끗하고 구조화된 데이터가 필요하다면, 보통은 부서지기 쉬운 스크래퍼와 일관성 없는 스키마, 플랫폼별 특수성을 맞추느라 고생하게 됩니다.

우리는 이러한 작업을 API처럼 동작하는 세 가지 프로덕션 레디 Apify Actors로 패키징했습니다:

• N11 Product Scraper
• Turkish Marketplace Seller Intelligence
• Turkish E‑Commerce Review Aggregator

JSON 입력을 보내면 깨끗하고 정규화된 출력이 반환됩니다—맞춤 파서도 필요 없고, 수동 정규화도 필요 없으며, 데이터 형태를 추측할 필요도 없습니다.

터키 마켓플레이스 데이터의 문제점

터키 전자상거래는 규모가 크고 활발하며 분산되어 있습니다.

어려운 점은 단순히 페이지를 수집하는 것이 아니라, 마켓플레이스 데이터를 가격 분석, 판매자 평가, 경쟁자 추적 또는 제품 조사에 실제로 활용할 수 있는 형태로 변환하는 것입니다.

일반적인 도전 과제

• 제품 페이지와 리스트 페이지가 서로 다른 필드를 노출합니다.
• 판매자 프로필 페이지는 Trendyol, Hepsiburada, N11마다 크게 다릅니다.
• 리뷰 시스템이 일관성이 없으며, 특히 평점 스케일과 선택적 메타데이터를 정규화하려고 할 때 문제가 됩니다.

페이지를 스크래핑할 수 있더라도, 출력 결과가 대시보드, 알림 또는 하위 AI 워크플로에 바로 연결하기엔 너무 지저분한 경우가 많습니다. 이것이 바로 이러한 행위자들이 메우고자 하는 격차입니다.

우리가 만든 것

1. N11 제품 스크래퍼

N11 검색 결과, 카테고리 페이지, 직접 제품 URL에서 구조화된 제품 데이터를 추출합니다.

반환 필드

• 제품 제목
• 브랜드
• 현재 가격 및 원래 가격
• 평점 및 리뷰 수
• 판매자 이름 및 판매자 URL
• 카테고리 브레드크럼 경로
• 이미지 URL
• 재고 상태
• 사양(가능한 경우)

예시 출력

{
  "platform": "n11",
  "productId": "61465",
  "title": "Logitech MK270 Kablosuz USB Turkce Q Klavye Mouse Seti",
  "price": {
    "amount": 1329.9,
    "currency": "TRY"
  },
  "sellerName": "PETCOM",
  "sellerUrl": "https://www.n11.com/magaza/petcom",
  "inStock": true
}

활용 사례

• 카탈로그 인텔리전스
• 가격 모니터링
• 판매자 매핑
• 어소트먼트 비교
• 마켓플레이스 리서치

가격: $5 per 1,000 제품 레코드

2. 터키 마켓플레이스 판매자 인텔리전스

판매자 정보는 종종 실제 분석 단위가 됩니다. 이 액터는 다음 플랫폼 전반에 걸쳐 판매자와 스토어 프로필을 정규화합니다.

• Trendyol
• Hepsiburada
• N11

추출 필드

• 판매자 이름
• 판매자 URL
• 전체 평점
• 총 제품 수
• 팔로워 수
• 배지
• 가입일자
• 공개 사업 상세 정보(가능한 경우)

예시 출력

{
  "platform": "n11",
  "sellerId": "petcom",
  "sellerName": "PETCOM",
  "sellerUrl": "https://www.n11.com/magaza/petcom",
  "overallRating": 5,
  "totalProducts": 20,
  "badges": [
    "Basarili Magaza",
    "Hizli Gonderim",
    "Ucretsiz Kargo"
  ]
}

활용 사례

• 공급업체 평가
• 마켓플레이스 판매자 점수화
• 브랜드 모니터링
• 경쟁 인텔리전스
• 파트너 스크리닝

가격: $8 per 1,000 판매자 프로필

3. 터키 전자상거래 리뷰 집계기

리뷰는 원시 마켓플레이스 데이터를 운영 인사이트로 전환합니다. 이 액터는 Trendyol, Hepsiburada, N11의 리뷰를 통합 스키마로 가져오고 기본적인 터키어 감성 태깅을 추가합니다.

각 리뷰 레코드에 포함되는 항목

• 제품 URL
• 제품 제목
• 리뷰어 이름
• 평점
• 제목
• 리뷰 본문
• 리뷰 날짜
• 도움이 된 수
• 이미지
• 판매자 이름
• 변형 정보
• 감성 태그

예시 출력

{
  "platform": "n11",
  "productTitle": "Logitech MK270 Kablosuz USB Turkce Q Klavye Mouse Seti",
  "reviewerName": "M*** O***",
  "rating": 5,
  "body": "Iyiydi",
  "sentimentTag": "positive",
  "sellerName": "Techburada"
}

활용 사례

• 감성 분석
• 제품 피드백 모니터링
• 판매자 품질 추적
• 리뷰 마이닝
• 경쟁사 제품 조사

가격: $3 per 1,000 리뷰

왜 이 세 가지 액터가 함께 작동하면 더 좋은가

각 액터는 개별적으로 명확한 문제를 해결합니다. 함께 사용하면, 이들은 컴팩트한 터키 전자상거래 인텔리전스 스택을 형성합니다.

일반적인 워크플로우

1. N11 Product Scraper를 사용하여 카테고리 내 제품을 수집합니다.
2. 해당 제품 레코드에서 판매자 URL을 추출합니다.
3. 판매자 URL을 Seller Intelligence에 전달합니다.
4. 제품 URL을 Review Aggregator에 전달합니다.

제품 URL과 판매자 URL을 기준으로 출력 결과를 결합하면 다음과 같은 질문에 답할 수 있습니다:

• 어떤 판매자가 카테고리를 장악하고 있나요?
• 어떤 판매자가 강력한 신뢰 신호를 가지고 있지만 리뷰 감성은 약한가요?
• 어떤 제품이 공격적인 가격을 책정했지만 부정적인 피드백을 받고 있나요?
• 어떤 브랜드가 여러 판매자에 걸쳐 나타나며 리뷰 패턴이 일관되지 않나요?

API처럼 설계되고, 취미 스크립트가 아니다

많은 스크래퍼가 “내 컴퓨터에서는 동작합니다”에 머무릅니다. 이러한 액터는 프로덕션 API처럼 동작합니다:

• 명확한 영어 오류 메시지를 포함한 입력 검증
• 정규화된 출력 스키마
• 진행 상황 로깅
• 부분 완료 처리
• 최종 실행 요약
• Apify에 배포 준비 완료

그 결과는 다운스트림 시스템을 위한 깔끔한 데이터셋 출력이며, 다음에 적합합니다:

• 내부 도구
• BI 파이프라인
• LLM 워크플로우
• 에이전트 시스템
• 스케줄된 모니터링 작업
• 데이터 정제 파이프라인

왜 Apify인가?

Apify는 크롤러 인프라를 관리하지 않고도 데이터 추출 작업을 실행, 스케줄링 및 활용할 수 있는 깔끔한 방법을 제공합니다. 사용자는 이러한 액터를 바로 사용할 수 있는 API처럼 취급할 수 있습니다:

1. 입력 전송
2. 액터 실행
3. 데이터셋 출력 읽기

출력 스키마가 정의되어 있기 때문에 결과를 인간과 AI 에이전트 모두가 이해하고 연결하기가 더 쉽습니다.

대상

• 데이터 엔지니어가 전자상거래 인텔리전스 파이프라인을 구축
• 신뢰할 수 있는 제품, 판매자 및 리뷰 데이터를 필요로 하는 시장 분석가
• 경쟁사 가격 및 감성을 추적하는 제품 관리자
• 터키 마켓플레이스에서 구조화된 학습 데이터를 필요로 하는 AI/ML 팀
• 터키 전자상거래 데이터 추출을 위한 프로덕션 급 API 스타일 솔루션을 원하는 모든 팀

이 대상이 적합한 경우

• 터키의 전자상거래 운영자
• 마켓플레이스 모니터링을 하는 에이전시
• 판매자와 리뷰를 추적하는 브랜드
• 판매자를 평가하는 소싱 팀
• 카테고리 인텔리전스 대시보드를 구축하는 분석가
• 터키 상거래 데이터를 기반으로 수직형 데이터 제품을 구축하는 창업자

간단히 말하면 피치

터키 마켓플레이스 데이터는 가치가 있지만, 운영하기는 번거롭습니다.

다음 세 가지 요소가 이를 실제로 활용할 수 있는 형태로 변환합니다:

• 상품 기록
• 판매자 프로필
• 감성 분석이 포함된 정규화된 리뷰

터키 전자상거래 인텔리전스를 다루는 경우, 이 스택을 처음부터 다시 구축할 필요가 없습니다.

바로 그것이 제가 이를 구축한 이유입니다.

지금 사용 가능

• N11 제품 스크래퍼
• 터키 마켓플레이스 판매자 인텔리전스
• 터키 전자상거래 리뷰 집계기