2021-09-07 일본 도쿄무역관 장보은
– 센서와 데이터를 활용한 AI, AR 등의 기술에 주목 –
– 비대면 상황 하 다양한 기술이 활용, 무관객으로 활용이 어려웠던 기술도 존재 –
지난 2021년 7월 23일부터 8월 8일까지 일본 도쿄를 중심으로 한 수도권 지역에서 ‘2020 도쿄 올림픽(Tokyo 2020)’이 개최됐다. 역대 올림픽에서는 최신 기술을 접목해 중계, 측정 등에 활용하고 있다. 2012년 런던올림픽에서는 HD 고화질 중계, 2018년 평창 동계올림픽에서는 5G 자율주행 버스 등 올림픽은 신기술을 선보이는 장이기도 하다.
코로나19 상황 속 유례없는 무관중으로 경기를 개최한 이번 올림픽에서는 어떠한 기술이 활용됐는지 알아보고자 한다.
센서와 AI로 경기를 바로 재현
도쿄올림픽에서는 육상경기와 수영의 레이스 과정을 재현할 수 있을 정도로 경기를 파악하는 디지털 기술이 크게 진화했다. 비결은 신형 센서와 AI를 통한 영상처리에 있다.
도쿄올림픽 육상대회에서는 올림픽 최초로 출전선수가 몸에 붙여 움직임을 데이터화하는 ‘모션 센서’를 도입했다. 이 모션 센서는 스위스의 OMEGA Timing이 개발해 운용도 담당하였다. 무게는 16g으로 육상선수의 제킨(번호표)에 삽입되어 3축 가속도와 각 가속도 등을 측정한다. OMEGA Timing은 이 센서 데이터와 관객석 및 지붕 등에 설치한 카메라 영상을 AI로 처리한 데이터를 조합시켜 레이스 도중의 주행가속, 레인과 코너를 달리는 선수의 궤도, 선수에게 걸리는 체중부하 등을 계측했다. 데이터화하는 항목은 전부 2000종류에 달하며, 데이터는 경기 후 바로 선수와 코치에 제공돼 분석에 활용된다. 중계방송에서도 경기를 해설하는 리플레이 영상 등에서 사용된다.
[OMEGA Timing의 모션 센서(좌)와 경기용 카메라(우)]
자료: 닛케이 xTech
경기의 데이터화 기술은 TV와 온라인 관전을 즐기는 방법도 변화시켰다. OBS(올림픽방송서비스)는 농구 등 구기종목과 단체경기의 국제 방송을 송출할 때 선수의 움직임을 따라 선수정보 등을 말풍선 형태로 합성해 표시하는 기술을 도입했다. 더불어, 득점 등 중요한 장면은 컷을 바꾸거나 리플레이 영상으로 자세히 분석할 수 있도록 했다.
도입된 기술은 인텔이 개발한 ‘True View’로, 실사에서 3DCG인 Volumetric Video를 만드는 기술이다. 경기장을 둘러싸듯 설치한 수십대의 고해상도 5K 카메라로 코트 전체를 촬영해 가로, 세로, 깊이를 기록한 입체영상데이터(voxel)를 생성한다.
True View의 카메라 촬영 이미지
자료: 인텔
각 카메라는 광회선 케이블로 경기장 내의 전용 서버에 연결돼 있어 영상 데이터는 서버 상에서 저장·처리된다. 이 영상 데이터를 사용함으로써 리플레이 영상과 하이라이트를 방송할 때 시청자는 선수의 시선과 골대에서의 시선 등을 포함한 360도 시점으로 재현된 경기 영상 등을 볼 수 있다. 육안으로는 판정하기 어려웠던 플레이의 확인에도 활용된다고 한다.
무관객의 도쿄올림픽, SNS로 응원 전달
일본 내 코로나19 감염 확대로 전 경기 무관객으로 진행된 도쿄올림픽이었으나 많은 경기장에서는 각국의 응원의 목소리가 전달됐다. 경기장에 설치된 대형 비디오보드와 안내 디스플레이에서 전 세계에서 모인 응원 동영상 메시지가 흘러나왔기 때문이다.
선수에게 응원영상과 글을 전달하는 ‘TOKYO 2020 Share The Passion 프로젝트’는 도쿄 2020 조직위원회가 주체가 되어 트위터 등 이미 보급된 SNS의 활용을 통해 전 세계에서 쉽게 참가할 수 있는 구조를 만들었다.
메시지는 총 3종류로, ‘미리 준비된 음원에 맞춘 댄스와 박수로 선수를 응원하는 15초 이내의 동영상’, ‘자유롭게 촬영한 30초 이내의 동영상’, ‘140 문자 이내로 작성한 텍스트’이다. 이 응원들을 SNS(페이스북, 인스타그램, 틱톡, 트위터)에 올리면, 조직위원회에서 시스템으로 추출해 경기장 비디오보드에서 재생가능한 형태로 편집한다.
작업은 자동으로 이루어지며, 자동작성기능은 대회 스폰서인 중국의 알리바바 그룹의 자회사 알리바바 클라우드가 개발했다. 공공질서와 미풍양속에 반하는 등 이용 규약에 위반되는 동영상을 자동으로 검출, 제외하는 AI 기술 역시 알리바바 클라우드의 기술이다.
열사병과 밀집을 데이터가 경고
코로나19 상황 속에서 한여름에 개최된 도쿄올림픽은 일사병과 사람들의 밀집을 피하기 위한 대책이 필수였다. 야외경기장인 국립경기장에서는 대회관계자 중 주로 야외에서 움직이는 사람 약 1000명에게 센서를 사용한 일사병 대책 시스템을 도입했다. 이 시스템은 귀에 착용해서 체온과 맥박수를 측정하는 생체 센서와 스마트폰 앱을 조합시킨 것으로, ‘안전’에서부터 수분 공급을 촉구하는 ‘주의환기’, 휴식을 촉구하는 ‘경고’, 바로 조치가 필요한 ‘위험’까지 4단계로 상황을 추정하여 적절한 대응을 지시한다.
[알리바바 클라우드의 일사병 대책 생체 센서]
자료: 닛케이 xTech
스마트폰 앱은 체온과 맥박수, 그리고 위치정보를 클라우드 서비스로 상시 전송. 클라우드 서비스 측은 위치정보에서 그 대회 관계자가 있는 장소의 ‘더위 지수’를 참고하여, 체온과 맥박수를 조합시켜 일사병 위험도를 추정한다.
더위 지수는 국립경기장의 14개 장소에 설치된 환경 센서가 기온과 습도, 방사열, 일사량 등을 토대로 산출했다. 이 시스템은 중국 알리바바 산하의 알리바바 클라우드가 도입, 운용을 담당했다.
경기장에 출입하는 차량과 사람의 가시화에도 데이터를 활용했다. 카메라의 영상 데이터와 교통량 및 인파 등을 감지하는 센서 데이터이다. 조직위원회는 경기장 및 주차장, 버스 등에 센서 부착 카메라 등의 IoT 기기를 배치해 익명의 영상 데이터 및 교통량 데이터, 인파 데이터를 수집한다. 이런 데이터를 영상인식 AI 등으로 처리해 그 지역에 있는 사람 수를 계측해 지역의 점유율과 교통량을 파악한다. 대상지역이 수용능력의 임계치에 도달했을 경우 실시간으로 대회 운영 스태프에게 통보하는 구조도 갖추었다.
통보를 받은 스태프는 그 지역의 밀집을 피하도록 유도하거나 인력이 부족한 지역에 스태프를 증원하는 등의 대책을 취하도록 했다. 센서로 수집한 데이터를 가시화해 경기장 운영에 활용한 것은 이번 도쿄올림픽이 최초이다.
시스템의 개발과 운영은 인텔이 담당하였다. IOC는 ‘IOC데이터 활용 프로젝트’를 추진하고 있으며, 인텔은 이 프로젝트에 기술 지원을 하고 있다. 취득한 데이터는 실적으로 축적해서 다음 대회 운영에서도 활용할 예정이다.
다양성을 배려한 얼굴 인증 게이트
경비의 부담을 줄이기 위해 도입되는 얼굴인증 시스템은 도쿄올림픽이 내세운 ‘다양성과 조화(Diversity & Inclusion)’에 부합하도록 진화했다. 시스템을 개발한 NEC는 휠체어에 탄 사람도 매끄럽게 얼굴인증을 할 수 있도록 게이트의 디자인과 기능을 개선했다.
[도쿄올림픽에서 사용된 얼굴인증 게이트]
자료: NEC
도쿄올림픽에서는 모든 경기장의 관계자 대상 입구와 선수촌, 보도관계자와 방송업무 종사자가 모인 MPC 등이 설치된 도쿄 빅사이트 출입구 등에 약 300대의 얼굴인증 게이트가 설치됐다. 얼굴인증 게이트는 시스템과 연동하여 얼굴 사진과 출입카드의 IC칩으로 본인 여부를 확인하며, 대상은 총 10만 명 이상에 이른다.
이 두 가지 요소를 사용한 얼굴인증 게이트는 지금까지도 존재했으나 NEC가 이번에 개발한 게이트는 카메라를 지탱하는 지지대를 유선형으로 움푹 패인 형태의 디자인을 채용했다. 휠체어의 사람도 지장없이 게이트에 다가가서 입장절차를 할 수 있도록 하기 위해서이다. 카드를 대는 부분도 서있는 사람과 휠체어를 탄 사람이 함께 사용하기 쉬운 위치로 조정했다. 카드를 댈 때 얼굴 인증도 필요하나 게이트 상부에 있는 카메라가 다가오는 사람을 파악해 얼굴을 인증하는 기능을 갖추고 있어 얼굴을 가져다 대지 않아도 되도록 했다. NEC는 이번 디자인을 토대로 유니버설 디자인을 채용해 기업과 관공서 등에 제공하겠다는 생각이다.
시사점
당초 2020년 개최 예정이던 도쿄올림픽은 코로나19로 인해 1년 연기됐음에도 불구하고 감염 확대가 계속되면서 결국 축소된 규모로 무관객 개최되었다. 때문에 경기장에서의 쾌적한 관전을 지원할 예정이었던 다양한 IT들은 아쉽게도 크게 활용되지 못했다. 예를 들어, 수영 관전에서 활용 예정이던 AR 글래스와 퍼블릭 뷰잉에서 사용될 예정이던 NTT의 중계영상 전송기술 등은 일반 대중에게 선보일 기회를 잃었다.
도쿄올림픽 도입 시스템 관련 기업 N사의 A부장은 ‘무관객 개최 결정이 늦어지면서 대응할 시간이 매우 부족했다. 보다 많은 경기에서 디지털 기술을 선보일 수 있는 기회가 사라진 것이다’라며 아쉬움을 드러냈다.
한편, 코로나19 감염 대책으로 대회관계자들의 검사 결과와 건강 상태를 전용 정보시스템으로 관리하는 등 기존 올림픽에서는 나설 기회가 없던 기술이 활용되기도 했다.
이처럼 전례가 없는 상황 속에서 개최된 도쿄올림픽은 자국, 타국에 연연하지 않고 첨단기술을 도입한 것으로 보인다. 실제로 미국의 인텔과 중국의 알리바바 그룹의 기술이 핵심적 시스템으로 다수 채용됐으며 삼성을 비롯한 여러 한국 기업 역시 보안, 통신 등 다양한 현장에서 활용됐다.
올림픽은 단순히 경기를 관람하고 즐기는 것이 아닌, 첨단기술을 대중에게 소개하고 선보이는 자리이기도 하다. 이번 올림픽에서도 AI, AR, 5G 등 현재 가장 주목을 받는 기술들을 십분 활용하여 경기를 지원하였다. 2024 파리올림픽과 2028 로스앤젤레스올림픽에서는 과연 어떠한 기술들이 주목을 받고 주류가 될 것인지 벌써부터 그 귀추가 주목되고 있다.
자료: 인텔, NEC 등 각사 홈페이지, Tokyo2020, 닛케이 일렉트로닉스, 닛케이신문, 닛케이Xtech, KOTRA 도쿄 무역관 자료 종합