소셜미디어 API 자료수집 (Social Media API Data Collection)
쉽게 풀면
사람이 직접 화면을 하나씩 캡처하거나 복사-붙여넣기를 하는 대신, 플랫폼 회사가 만들어 둔 "정식 창구"에 프로그램으로 요청을 보내서 원하는 조건(특정 키워드가 들어간 게시물, 특정 기간의 댓글 등)에 맞는 자료를 자동으로 대량 전달받는 방식입니다. 도서관 사서에게 "이 조건에 맞는 책 목록을 뽑아 달라"고 요청하면 사서가 정리된 목록을 건네주는 것과 비슷합니다. 이렇게 API로 받은 자료는 특정 이슈에 대한 여론의 흐름이나 감정을 분석하는 소셜 빅데이터 연구에 널리 쓰입니다.
왜 중요한가
소셜미디어 API를 통한 자료수집은 설문조사로는 포착하기 어려운 실시간의 대규모 여론, 담론, 행동 패턴을 대량으로 확보할 수 있게 해줍니다. 이 때문에 정치커뮤니케이션, 마케팅, 자연어처리 등 여러 분야에서 계산사회과학(computational social science) 연구의 기본 자료수집 방식으로 자리 잡았지만, 동시에 플랫폼 정책 변화에 크게 좌우된다는 점에서 방법론적 논의가 계속되는 주제이기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 수작업으로 게시물을 모은 것이 아니라, 플랫폼이 제공하는 API 창구를 통해 정해진 조건에 맞는 게시물을 프로그램으로 자동 수집했다는 뜻입니다.
미디어 연구에서는 영상 콘텐츠에 대한 시청자 반응을 분석할 때도 API 기반 댓글 수집이 널리 활용된다.
재난안전·정보확산 연구 분야에서는 시공간 메타데이터를 함께 수집해 정보 전파 양상을 분석하는 데 이 방법이 쓰인다.
조금 더 깊게 보면
API를 통한 자료수집은 대개 요청 빈도 제한(rate limit), 접근 가능한 자료의 기간과 범위 제한, 유료 등급별 접근 권한 등 플랫폼이 정한 조건 안에서 이뤄집니다. 최근에는 여러 플랫폼이 API 정책을 유료화하거나 접근 범위를 축소하면서, 연구자들이 특정 시점 이전 자료에 접근하지 못하거나 수집 가능한 자료의 성격이 바뀌는 문제가 논의되고 있습니다. 또한 수집된 자료가 실제 이용자 전체를 대표하지 않는 표본편향 문제, 그리고 플랫폼 이용약관과 연구윤리(개인정보 비식별화, 동의 여부 등)를 함께 고려해야 한다는 점도 방법론 논의에서 자주 지적됩니다.
주의할 점
API로 수집한 게시물이라 해서 그 플랫폼 이용자 전체나 사회 전체의 여론을 대표한다고 보기는 어렵습니다. 특정 플랫폼을 쓰는 연령대·성향이 한쪽으로 쏠려 있을 수 있고, 최근에는 여러 플랫폼이 API 이용 조건과 제공 범위를 자주 바꾸거나 유료화하면서 예전과 같은 방식으로 자료를 받지 못하는 경우도 많습니다. API 대신 화면을 직접 긁어오는 웹 스크레이핑·공개데이터 연구윤리 방식을 쓸 때는 별도의 연구윤리 검토가 추가로 필요합니다.