F3 - 미래를 위한 오픈소스 데이터 파일 형식

2 hours ago 1

(github.com/future-file-format)

F3는 효율성, 상호운용성, 확장성을 염두에 두고 설계된 데이터 파일 형식임
Parquet 같은 이전 세대 형식의 레이아웃 한계를 바로잡는 데이터 조직 방식을 제공하면서, 내장 Wasm 디코더를 통해 상호운용성과 확장성을 유지함
자체 설명형 F3 파일은 데이터와 메타데이터뿐 아니라 데이터를 디코딩하는 WebAssembly 바이너리를 함께 담는 구조임
파일에 디코더를 내장하는 방식은 킬로바이트 단위의 최소 저장 공간을 요구하며, 네이티브 디코더가 없을 때도 어떤 플랫폼에서든 호환성을 보장하기 위한 설계임
개발자가 새 인코딩 방식을 쉽게 추가할 수 있도록 데이터 조직 구조와 범용 API를 제공하는 Future-proof File Format 프로젝트임
현재 상태는 논문의 아이디어를 검증하는 연구 프로토타입이며, 프로덕션 사용 금지 대상임
빌드는 Intel 머신의 Debian 12에서만 테스트되었고, PoC 패키지 빌드와 단위 테스트는 cargo build -p fff-poc, cargo test -p fff-poc로 실행하는 방식임
파일 형식 정의는 FlatBuffer 기반이며, 주요 코드와 Wasm 디코딩 구현, 논문 실험용 벤치마크와 스크립트를 함께 제공함
라이선스는 MIT License임