실용적인 AWK 벤치마킹: gawk vs mawk vs nawk

Source: Dev.to

소개

AWK, 텍스트‑처리 스크립트 언어는 1970년대부터 우리와 함께해 왔습니다. 오늘날에도 널리 사용되며, Unix 또는 Unix‑like 시스템(Linux, BSD, macOS 등)에서는 기본으로 제공됩니다. 그 중요성은 현대 데이터 파이프라인까지 확장되어, AWK를 효과적인, 스키마‑비종속 전처리기 로 적용할 수 있습니다.

AWK는 POSIX에 의해 표준화되어 있지만, 여러 개별 구현이 존재합니다. 가장 눈에 띄는 구현은 다음과 같습니다:

• gawk (GNU Awk): Arnold Robbins가 유지 관리하는 기능이 풍부한 버전. Arch Linux, RHEL, Fedora의 기본값.
• mawk (Mike Brennan’s Awk): 바이트코드 인터프리터를 사용하는 속도‑지향 구현으로, 현재 Thomas Dickey가 유지 관리합니다. Debian 및 그 파생 배포판의 기본값.
• nawk (The “One True Awk”): 언어 창시자들이 만든 원본 구현으로, Brian Kernighan이 유지 관리합니다. BSD와 macOS의 기본값.

대부분의 Linux 배포판에서 awk 명령은 특정 구현에 대한 심볼릭 링크입니다. 사용 중인 변형을 확인하려면 다음을 실행하십시오:

ls -l $(which awk)

이 성능 비교는 Brian Kernighan의 최근 nawk 업데이트로 인해 촉발되었으며, CSV와 UTF‑8 지원이 추가되었습니다.

벤치마킹 접근법

세 가지 AWK 구현의 성능을 평가하기 위해, 벤치마킹은 총 자원 사용량의 핵심 요소인 실행 시간과 최대 메모리 사용량이라는 두 가지 중요한 지표에 초점을 맞추었습니다.

여섯 개의 적용된 벤치마크는 테스트 데이터셋과 관련된 논리적 데이터 분석 작업을 수행하는 기능적인 원라인 스크립트를 활용합니다. 인위적인 루프나 별도 명령에 의존하는 대신, 이러한 벤치마크는 관용적인 AWK 사용 방식을 반영하도록 설계되었습니다.

자세한 벤치마킹 방법론, 테스트 환경 및 원시 성능 데이터는 Awklab.com에서 확인할 수 있습니다.

Results & Discussion

The results are based on normalized metrics:

• RT – Normalized average runtime. The execution time relative to the fastest implementation (1.0 is the baseline).
• PM – Normalized average peak memory. The peak memory relative to the implementation with the lowest memory footprint (1.0 is the baseline).

To provide a representative comparison across multiple benchmarks, the geometric mean for the normalized RT and PM values was calculated, ensuring that relative improvements are weighted consistently across all tests.

평가 지표

이 정규화된 결과들을 하나의 실행 가능한 점수로 종합하기 위해 두 가지 평가 지표를 적용했습니다:

• Euclidean Distance (d) – “이상점”(1, 1)으로부터의 기하학적 거리를 측정합니다. d 값이 낮을수록 속도와 메모리 모두에서 최적에 가까운 보다 균형 잡힌 구현을 의미합니다.
• Resource Footprint (F) – RT × PM 로 계산됩니다. 이는 전체 자원 발자국을 나타내며, 값이 낮을수록 동일한 작업을 수행하는 데 시스템 자원을 더 효율적으로 사용함을 의미합니다.

요약 표

다음 표는 모든 정규화된 벤치마크의 기하 평균을 기반으로 세 가지 AWK 엔진의 전체 성능을 요약합니다:

정의 – RT: 정규화된 실행 시간; PM: 정규화된 최대 메모리; d: 유클리드 거리; F: 자원 발자국.

Discussion

여섯 가지 다양한 목표에 대한 벤치마크 결과는 각 구현에 대해 명확하고 일관된 성능 프로파일을 보여줍니다:

• mawk는 일관되게 가장 빠른 성능을 보였습니다.
• nawk는 가장 낮은 메모리 사용량을 유지했습니다.
• gawk는 모든 벤치마크에서 가장 높은 메모리를 사용했지만, nawk보다 상대적으로 높은 속도 일관성을 보여주었습니다; 두 번째나 세 번째로 마감하더라도 일반적으로 nawk에서 나타나는 큰 성능 붕괴를 피합니다.

nawk는 수학 논리와 간단한 필드 처리에서는 빠르지만, 정규식 및 문자열 작업, 복잡한 배열 관리에서는 현저히 느립니다.

이러한 개별 성능 패턴은 속도와 메모리 사이의 트레이드‑오프가 정량화되는 종합 메트릭의 기반이 됩니다.

유클리드 거리(d)는 효과성을 가늠하는 유용한 초기 지표를 제공하지만, 그것만으로 판단하면 오해를 불러일으킬 수 있습니다. 예를 들어, gawk(1.25)와 nawk(1.13)의 유클리드 거리는 비교적 가깝지만, 자원 발자국(F)에서는 gawk가 전체 자원을 거의 65 % 더 많이 소비한다는 큰 차이를 보여줍니다.

이 한계 때문에 Pareto frontier를 통한 보다 견고한 분석이 필요합니다.

Visualisation

트레이드‑오프를 시각화하기 위해 정규화된 값을 2‑D 좌표계에 플롯했습니다. x‑축은 정규화된 실행 시간(RT), y‑축은 정규화된 피크 메모리(PM)를 나타냅니다. “Ideal Point”(이상점)는 (1, 1)에 위치하며, 가장 빠르고 가장 메모리 효율적인 구현을 의미합니다.

그래프: AWK 구현들의 Pareto Frontier
실행 속도와 메모리 발자국 사이의 최적 균형 시각화

Pareto frontier는 비우위 솔루션의 경계를 나타냅니다—속도와 같은 한 메트릭을 개선하려면 다른 메트릭(예: 메모리)을 악화시킬 수밖에 없는 구현들입니다. 이 연구에서 mawk와 nawk가 그 경계를 정의합니다:

• mawk – 순수 속도를 위한 선택.
• nawk – 최소 발자국을 위한 선택.

하지만 gawk는 이 경계에서 떨어져 있습니다; mawk보다 느리고 nawk보다 메모리를 많이 사용하기 때문에 비우위이며 순수 자원 효율성 측면에서 최적이 아닌 것으로 간주됩니다.

결론

데이터는 “최고” AWK 구현이 처리량과 자원 오버헤드 사이의 계산된 트레이드‑오프임을 확인합니다. 작업에 맞는 도구를 선택한다는 Unix 철학 안에서 각 엔진은 고유한 운영 프로파일을 제공합니다.

• mawk – 대용량 데이터에 대한 파워하우스입니다. 비록 네이티브 CSV 또는 UTF‑8 지원이 없지만, 실행 속도가 주요 병목일 때 바이트코드 엔진은 타의 추종을 불허합니다. 지속적으로 파레토 프론티어의 선두를 정의하며, 가장 높은 성능‑대‑자원 비율을 제공합니다.
• nawk – 최소주의 환경에 적합한 선택입니다. 무거운 정규식이나 문자열 조작보다 단순성을 우선시하면서도 메모리 사용량이 놀라울 정도로 작고 예측 가능합니다. 메모리 오버헤드가 엄격히 제한된 시스템에 대한 확정적인 선택입니다.
• gawk – 보다 미묘한 가치 제안을 제공합니다. 경쟁자들에 비해 수학적으로 열세이지만, 추가적인 오버헤드가 훨씬 더 넓은 기능 세트를 제공하며, 이는 증가된 자원 소비를 상쇄할 수 있습니다.

다양한 워크플로우—데이터‑사이언스 파이프라인부터 시스템 자동화까지—에서 mawk는 대부분의 표준 작업에 대해 가장 높은 성능 회수를 제공합니다. 궁극적으로 이 결과는 엔진 선택이 신중한 결정이어야 함을 보여줍니다:

• 속도를 위해 mawk를 사용하십시오.
• 가벼운 발자국을 위해 nawk를 사용하십시오.
• 확장된 툴킷이 필요할 때 gawk를 사용하십시오.