Apify로 FCA 레지스터 스크래퍼를 만든 방법 (그리고 아무도 말하지 않는 B2B 데이터 격차)

출처: Dev.to

기회

FCA 금융 서비스 레지스터는 영국에서 금융 서비스를 제공하도록 허가받은 모든 회사를 실시간으로 기록한 레지스터로, 대형 은행부터 1인 IFA에 이르기까지 약 50,000개의 기업이 포함됩니다. 여기에는 규제 허가, 본사 주소, 거래명, 그리고 집행 이력이 포함되어 있어 컴플라이언스 팀, 핀테크 영업, KYC 워크플로우에 필수적입니다.

FCA는 register.fca.org.uk/Developer에서 무료 공식 REST API를 제공합니다. 계정을 등록하고 API 키를 발급받으면 유료 플랜 없이 인증 요청을 할 수 있습니다. 그럼에도 불구하고 레지스터용 Apify 액터가 없었고, 이는 영국 데이터 생태계에 눈에 띄는 빈틈을 남겼습니다.

아키텍처

액터는 순수 HTTP 요청만 사용합니다(Playwright, Cheerio, 브라우저 자동화 없음). 주요 FCA API 엔드포인트는 다음과 같습니다.

모든 엔드포인트는 X-Auth-Email과 X-Auth-Key 헤더가 필요합니다. 속도 제한은 60초당 약 100건으로, 기업당 4번의 API 호출을 고려하면 분당 약 25개의 완전한 기업 정보를 가져올 수 있습니다.

async function fcaFetch(path: string, email: string, apiKey: string): Promise> {
  await rateLimit(); // 700 ms 최소 간격
  const res = await fetch(`${BASE_URL}${path}`, {
    headers: {
      'X-Auth-Email': email,
      'X-Auth-Key': apiKey,
    },
  });
  // ... 오류 처리, 재시도 로직
  return res.json() as FcaApiResponse;
}

주된 과제는 Permissions 엔드포인트를 정규화하는 것이었습니다. 이 엔드포인트는 각 키가 허가명(예: "Accepting deposits")이고 값이 제한사항 배열인 객체를 반환합니다. 액터는 이를 단순한 허가 문자열 리스트로 변환합니다.

두 가지 모드

• searchFirms – "payment institution"이나 "consumer credit" 같은 질의를 제공하면 일치하는 기업의 페이지네이션된 리스트와 전체 프로필을 반환합니다. 잠재 고객 리스트를 만들 때 이상적입니다.
• lookupFirms – FRN 리스트를 직접 전달합니다. 이미 기업의 참조 번호를 가지고 있고 상태와 허가만 확인하면 될 때 KYC 워크플로우에 유용합니다.

결과

각 기업은 다음과 같은 JSON 객체로 출력됩니다.

{
  "frn": "730427",
  "organisationName": "Monzo Bank Limited",
  "status": "Authorised",
  "businessType": "UK Authorised Bank",
  "companiesHouseNumber": "09446231",
  "tradingNames": ["Monzo"],
  "address": {
    "town": "London",
    "postcode": "EC2A 2DA",
    "website": "https://monzo.com",
    "phone": "0800 802 1281"
  },
  "permissions": [
    "Accepting deposits",
    "Dealing in investments as agent",
    "Issuing electronic money"
  ],
  "registerUrl": "https://register.fca.org.uk/s/firm?id=730427"
}

Apify에서 사용 가능

액터는 Apify Store에 라이브로 제공됩니다.

가격은 기업당 $0.10(PPE)으로 설정되어 있어 100개 기업에 대한 컴플라이언스 검사는 총 $11 정도가 됩니다. API 자격증명은 무료이며, 데이터는 프로그래밍 접근을 위해 공개되어 있습니다. 이는 KYC 자동화, 핀테크 CRM, 혹은 규제 부문을 위한 영업 도구를 구축하는 모든 사람에게 실질적인 빈틈을 메워줍니다.