Apify로 Ofsted 학교 데이터 API를 만든 방법 (웹 페이지를 전혀 스크래핑하지 않고)
출처: Dev.to
개요
대부분의 스크래핑 프로젝트는 먼저 스크랩할 웹사이트를 찾는 것부터 시작합니다. 이 프로젝트는 정반대 방향에서 시작했습니다. 데이터가 공식 정부 다운로드 형태로 이미 존재했고, 목표는 이를 깔끔한 API로 제공하는 것이었습니다.
Ofsted(영국 학교 검사 기관)는 매월 관리 정보를 CSV 파일 형태로 GOV.UK에 공개합니다. 이 파일은 영국 잉글랜드에 있는 22,000개가 넘는 국공립 학교들의 최신 검사 등급, 지방 자치단체, 우편번호, 단계, 규모 데이터를 포함하고 있습니다. 파일 크기는 16 MB이며, Open Government Licence v3.0 하에 공개되어 있어 상업적 사용도 명시적으로 허용됩니다.
스크래핑도, 인증도 필요 없으며, CSV 다운로드와 간단한 파싱 로직만 있으면 됩니다.
구현
Apify 액터는 의도적으로 단순한 흐름을 따릅니다:
- Fetch – GOV.UK 통계 페이지를 가져와 현재 월의 CSV URL을 찾습니다(릴리스마다 URL 해시가 바뀝니다).
- Download – CSV 파일(~16 MB,
assets.publishing.service.gov.uk에서) 을 다운로드합니다. - Parse –
csv-parse로 파싱합니다. - Apply – 사용자가 제공한 필터(이름, 지방 자치단체, 지역, 우편번호 접두사)를 적용합니다.
- Push – 일치하는 레코드를 Apify 데이터셋에 저장합니다.
Crawlee, 브라우저, 프록시가 전혀 필요 없으며 fetch()와 CSV 파서만 있으면 됩니다.
// Discover the latest CSV URL
const match = html.match(
/href="(https:\/\/assets\.publishing\.service\.gov\.uk\/[^"]+latest_inspections_as_at[^"]+\.csv)"/
);
// The first match is always the latest release because the GOV.UK page lists files in reverse chronological order.데이터 변경 사항 (2025년 11월)
2025년 11월, Ofsted는 20년간 사용해 온 네 단어 판단 체계(Outstanding / Good / Requires Improvement / Inadequate)를 보고서 카드 형식으로 교체했습니다. 이제는 다섯 단계 척도의 여섯 개 별도 등급 영역이 존재합니다:
- Exceptional
- Strong
- Expected standard
- Needs attention
- Urgent improvement
그리고 별도 Safeguarding 판정( Met / Not met )이 추가되었습니다.
2026년 4월 CSV는 이 변화를 완전히 반영합니다:
- “Overall effectiveness” 열이 사라졌습니다.
- 2025년 11월 이전에 검사를 받은 학교는 새로운 등급 열에
null값이 들어갑니다. - 2025년 11월 이후에 검사를 받은 학교는 새로운 형식의 등급을 가집니다.
솔루션은 여섯 개 등급 열을 그대로 노출하고, 등급이 없는 필드는 null 로 반환합니다. 스키마는 앞으로도 호환됩니다 – Ofsted가 새로운 카테고리를 추가하면 추가 열이 자동으로 나타나고, 원시 행 인터페이스의 [key: string]: string 인덱스 타입이 모든 추가 필드를 처리합니다.
기능
- 영국 잉글랜드 내 모든 학교에 대해 깔끔한 JSON을 반환하며, 지방 자치단체, 지역, 우편번호, 이름으로 필터링할 수 있습니다.
- URN 목록을 이용한 대량 조회를 지원합니다.
- Apify 인프라에서 60 초 이하로 실행됩니다.
- 투명한 요금 정책: 런당 $1.00 + 반환된 학교당 $0.05.
- 세션 토큰, 안티봇 메커니즘, 불안정한 HTML 선택자 등이 전혀 없습니다.
라이브 액터
액터는 Apify Store에서 이용할 수 있습니다: Ofsted School Register Scraper.
라이선스
데이터는 Open Government Licence v3.0 하에 GOV.UK에서 제공됩니다.