오브젝트 스토리지 (Object Storage)
쉽게 풀면
우리가 흔히 쓰는 파일 시스템은 폴더 안에 폴더가 있는 계층 구조를 따르지만, 오브젝트 스토리지는 모든 데이터를 평평한 구조 속에서 고유한 이름표를 가진 독립적인 덩어리(객체)로 저장한다. 아마존 S3가 대표적인 예이다. 이런 방식은 수십억 개의 파일도 효율적으로 관리할 수 있고, 인터넷을 통해 어디서든 접근할 수 있어 대규모 데이터셋이나 모델 체크포인트를 클라우드에 저장할 때 널리 쓰인다.
왜 중요한가
대규모 모델 학습이나 빅데이터 처리 연구에서는 수십억 개에 달하는 파일과 페타바이트급 데이터를 다루어야 하는데, 계층적 파일 시스템은 이런 규모에서 관리 부담이 급격히 커진다. 오브젝트 스토리지는 평평한 구조와 손쉬운 수평 확장으로 이 문제를 해결하기 때문에, 분산 시스템·대규모 데이터 처리·클라우드 아키텍처를 다루는 논문에서 실험 인프라를 설명할 때 자주 언급된다.
논문에서는 이렇게 쓰입니다
실험 결과물을 로컬 디스크가 아니라 클라우드의 오브젝트 스토리지 서비스에 저장해 여러 서버에서 접근할 수 있게 했다는 뜻이다.
자연어처리 데이터 파이프라인 연구에서는 대용량 원시 데이터를 여러 조각으로 나누어 오브젝트 스토리지에 저장하고 병렬 처리하는 구조를 설명할 때 이런 표현을 씁니다.
의료정보시스템 논문에서는 대량의 영상 데이터를 안정적으로 보관하고 빠르게 검색하기 위한 저장 구조 개선 사례로 오브젝트 스토리지를 소개하기도 합니다.
조금 더 깊게 보면
오브젝트 스토리지의 각 객체는 데이터 본체 외에도 태그나 속성 같은 풍부한 메타데이터를 함께 저장할 수 있어, 파일명이나 폴더 경로에 의존하지 않고도 검색과 분류가 가능하다는 점이 특징입니다. 또한 고유 식별자를 기반으로 데이터를 여러 서버에 자동으로 분산·복제하기 때문에 하드웨어 장애에도 데이터 가용성을 유지하기 쉬우며, 이런 특성 때문에 파일을 부분적으로 자주 수정하는 워크로드보다는 한 번 쓰고 여러 번 읽는(write-once, read-many) 형태의 대용량 데이터 보관에 특히 적합하다고 설명됩니다.
주의할 점
오브젝트 스토리지는 파일 시스템처럼 특정 부분만 빠르게 수정하는 데는 적합하지 않으며, 보통 객체 전체를 통째로 읽고 쓰는 방식으로 동작한다.