안녕하세요 :) Cross Planning 본부 이현정입니다.
2025년 6월 2주차 뉴스레터 발송드립니다.📮
<GIANTSTEP News> 빠른 제보는 슬랙 메시지 💌 @XP 사업기획팀 이현정
(📢 매주 목요일 오전까지 접수, 이후 제보는 차주 발행) |
|
|
📢 GEN3C: 정교한 카메라 컨트롤과 일관된 3D 세계로의 초대
(플랫폼실 AI팀 기고) |
|
|
최근 비디오 생성 모델은 그 뛰어난 성능과 다양성으로 세상을 놀라게 하고 있습니다. 광고, 예능, SNS 콘텐츠 등 일상 속에서도 생성형 AI 영상을 접하는 일이 점점 더 자연스러워졌습니다. 하지만, 이러한 발전 속에서도 여전히 비디오 생성 모델은 몇 가지 한계를 가지고 있습니다.
- 장면 내 일관성 부족: 프레임 간 시점 변화나 물체 구조가 3차원적으로 일관되지 못함
- 컨트롤의 어려움: 카메라 위치, 오브젝터의 생성 및 제거 등에 대한 사용자의 의도를 반영하기 어려움
이에 대해 최근 NVIDIA Research에서 발표한 GEN3C는 주목할 만한 해결책을 제시합니다.
📹 정확한 카메라 컨트롤과 3D 일관성을 이루다! |
|
|
GEN3C는 Single-view, Multi-view, 심지어 Dynamic-view로 촬영된 장면에 대해, 사용자가 지정한 카메라 이동 경로를 기반으로 고품질의 일관된 영상을 생성할 수 있습니다.
기존 그래픽스 업계에서는 이러한 결과물을 얻기 위해 먼저 정교한 3D 장면을 구성하고, 각 오브젝트를 개별적으로 모델링한 뒤, 렌더링 과정을 거쳐야 했습니다. 이 과정은 시간과 비용, 기술적 전문성이 크게 요구되는 복잡한 워크플로우였습니다.
GEN3C는 이러한 절차 없이, 최근 비약적으로 발전한 디퓨전 기반 비디오 생성 모델을 적극 활용하여, 보다 간편하게 3D-aware 영상 생성이 가능하도록 설계되었습니다.
⚙️ 어떻게 작동할까?
GEN3C는 3D 정보를 활용해 사용자가 지정한 카메라 경로를 따라 일관성 있는 고화질 비디오를 생성합니다. 이 프레임워크는 다음과 같은 다섯 단계로 구성되어 있습니다:
-
깊이 추정 (Depth Estimation)
입력 이미지(또는 프레임)마다 고성능 Depth 추정 모델을 적용하여 픽셀 단위의 깊이 정보를 예측합니다.
-
3D 캐시 생성 (3D Cache Construction)
예측된 Depth와 RGB 값을 이용해 컬러 포인트 클라우드(Point Cloud)를 생성합니다. 이 3D 캐시는 시간(t)과 뷰포인트(v)에 따라 정렬되어 시공간(spatiotemporal) 3D cache 형태로 저장됩니다.
-
렌더링 및 가시성 분석 (Rendering & Masking)
사용자가 지정한 카메라 궤적을 따라 3D 캐시를 2D 이미지로 렌더링합니다. 이 과정에서 렌더링되지 않는 비가시 영역(disocclusion regions)을 마스크로 식별합니다.
-
비디오 생성 (3D-Informed Video Generation)
위에서 얻은 렌더링 이미지와 마스크를 video diffusion model의 입력 조건(condition)으로 활용합니다. 비가시 영역은 초거대 비디오 생성 모델이 자연스럽게 보간(inpainting)하며, 전체 프레임의 시각적 일관성을 확보합니다.
-
일관성 향상을 위한 반복 (Autoregressive Refinement)
장시간 비디오의 경우, 이미 생성된 프레임에서 새로운 깊이 정보를 추정해 기존 3D 캐시에 추가합니다. 이렇게 점진적으로 캐시를 갱신하며, 긴 시퀀스에서도 일관된 결과를 유지할 수 있습니다.
🎬 GEN3C의 결과는 어떨까?
GEN3C는 다양한 입력 조건과 시나리오에서 기존 방법을 압도하는 성능을 보여주었습니다. 특히 정밀한 카메라 제어, 시각적 일관성, 그리고 sparse-view 일반화 능력에서 두각을 나타냅니다.
|
|
|
이처럼 GEN3C는 최신 비디오 생성 모델과 Novel View Synthesis(NVS) 모델을 압도하는 성능을 보여주는 동시에, 사용자 친화적인 카메라 제어 방식으로 실용성까지 놓치지 않았습니다. 또한, 3D 정보를 활용함으로써, 장면 내의 오브젝트를 자연스럽게 지우거나 이동하는 등의 편집까지 가능함을 보였습니다.
🧾 결론
GEN3C의 놀라운 연구외에도, 최근에는 사용자 편의성과 정밀 제어를 동시에 추구하는 고성능 비디오 생성 기술들이 활발히 연구되고 있습니다. 이러한 흐름은 향후 콘텐츠 제작, 영화, 게임, 자율주행 시뮬레이션 등 다양한 분야로의 확장을 예고하며, 생성형 AI의 실질적 활용 가능성을 높이고 있습니다.
AI팀은 앞으로도 이와 같은 기술들의 발전을 면밀히 지켜보며, 새로운 가능성을 적극적으로 탐색하고자 합니다.
GEN3C 결과와 영상 보기
|
|
|
📢 AI 기술에 대해 궁금한 점이 있으신 분들은 플랫폼실 AI팀으로 문의주시면
언제든 상담이 가능합니다. 💡 |
|
|
📢 "AI가 행동하기 전에 생각하도록 돕는다!"...메타, 차세대 월드 모델 'V-JEPA 2' 오픈소스로 공개
메타가 AI가 실제 물리 세계 상황을 “생각한 뒤 행동”할 수 있도록 돕는 월드 모델 ‘V-JEPA 2(Video Joint Embedding Predictive Architecture 2)’를 발표했습니다. 이 모델은 1.2 B 파라미터 규모로, 영상 데이터 기반의 자체 지도(self-supervised) 학습을 통해 물체의 동작, 충돌, 상호작용 등의 패턴을 이해하고 예측합니다.
전작 V-JEPA 대비 예측 능력이 강화되었으며, 제로샷(zero-shot) 로봇 제어가 가능해졌습니다. 연구실 테스트에서는 낯선 물체를 집어 다른 위치에 놓는 등의 작업 수행이 확인되었고, 비디오 기반 필드 학습에 필요한 1 M 시간 이상의 영상과 수백 시간 분량의 로봇 행동 데이터가 활용되었습니다.
Meta는 이번 발표와 함께 물리 직관(physical reasoning) 능력을 측정할 수 있는 IntPhys 2, MVPBench, CausalVQA 세 가지 벤치마크도 공개했습니다. 이들 벤치마크는 등장 시점을 기준으로 모델과 연구자들이 AI의 세계 이해력을 객관적으로 평가할 수 있는 도구로 작용할 전망입니다. [더보기]
|
|
|
📹 Bing, OpenAI 소라(Sora) 영상 생성 기능 무료 제공 시작
Microsoft는 Bing 모바일 앱에 OpenAI의 Sora 기반 AI 영상 생성 기능 ‘Bing Video Creator’를 새로 도입했습니다. 이제 텍스트 프롬프트만으로 5초 길이의 세로 영상을 무료로 제작할 수 있으며, 최대 3회 동시 생성도 가능합니다. Fast 모드는 초기에 10번 무료로 제공되며, 이후에는 Microsoft Rewards 포인트로 추가 이용할 수 있습니다. 생성된 영상은 앱 내에 최대 90일간 저장되며, 다운로드나 공유도 가능합니다. 향후 가로(16:9) 포맷도 지원될 예정입니다.
현재 제공되는 예시 영상들은 움직임이 다소 부자연스럽고 캐릭터 표현이 만화 같은 수준이라는 평가를 받고 있습니다. Google의 Veo 3와 비교했을 때 품질 차이가 존재하지만, 실제 사용자가 생성한 영상이라는 점에서는 OpenAI의 공식 데모보다 더 현실적인 결과물이라는 평도 나옵니다.
이번 기능은 그동안 유료 구독 사용자에게만 제공되던 AI 영상 생성 기술을 누구나 활용할 수 있도록 개방한 사례로, Microsoft는 생성형 AI 콘텐츠 접근성을 대폭 확장하고 있는 것으로 보입니다. [더보기]
|
|
|
🔮 네이버 리코, 웹툰 캐릭터 기반 AI 사주·타로 서비스 '타로툰' 출시
네이버웹툰은 자회사 스튜디오 리코가 퍼블리싱하고 플랩스 AI에서 개발한 웹툰 캐릭터 기반 신규 웹 서비스 '타로툰'이 정식 출시됐다고 밝혔습니다. 타로툰은 '타로'와 '툰'의 합성어로, 웹툰 속 캐릭터가 사주와 타로 콘텐츠를 전해주는 인공지능(AI) 기반 운세 서비스입니다.
타로툰은 캐릭터의 말투와 성격 등 고유한 특징을 반영해 개별화된 운세 리포트를 제공하는데요, 콘텐츠는 캐릭터의 스토리와 세계관에 맞춘 인터랙티브 구성으로 몰입감을 높였으며, 시나리오 흐름에 따라 타로카드 형태의 선택지가 등장해 독특한 사용 경험을 선사합니다. 또한 전문 사주·타로 데이터를 바탕으로 해석의 신뢰도를 높였습니다.
이용자는 사주 리포트 확인 후 해당 캐릭터가 등장하는 원작 웹툰으로 자연스럽게 연결돼 콘텐츠 간의 연계성과 몰입감을 더욱 강화할 수 있습니다. 출시 초기에는 '냐한남자', '마루는 강쥐', '작전명 순정', '진돌히디만화' 등 4종의 웹툰 지적재산권(IP) 기반 콘텐츠가 제공되며, 향후 라인업을 지속 확대할 예정입니다. [더보기]
|
|
|
💡 '빛의 마술사' 제임스 터렐 17년 만의 한국 개인전 <The Return> 개최
‘빛의 마술사’, ‘빛과 공간의 예술가’로 불리는 미국 작가 제임스 터렐(82)의 개인전 ‘The Return’이 서울 페이스갤러리에서 열립니다. 국내에서는 2008년 이후 17년 만의 개인전으로, 2013년부터 강원도 원주 뮤지엄산 제임스터렐관에서 상설 전시를 통해 깊은 인상을 남긴 그가 다시 한국 관객과 만납니다.
이번 전시에는 신작 ‘웨지워크(Wedgework)’를 포함해 터렐의 대표 설치작 5점이 소개됩니다. 이와 함께 그의 대규모 장기 프로젝트인 ‘로든 크레이터(Roden Crater)’의 구현 과정을 담은 사진, 판화, 조각 등 총 25여 점도 함께 전시돼, 그가 수십 년간 탐구해온 빛과 공간의 상호작용을 다양한 매체로 조망할 수 있습니다.
제임스 터렐은 1960~70년대 미국 캘리포니아 남부에서 시작된 ‘빛과 공간(Light and Space)’ 운동을 대표하는 작가입니다. 이 미술 흐름은 전통적인 조형 방식을 탈피해 자연광, 인공조명, 투명한 소재 등을 활용하며 관람자가 지각과 공간을 직접 체험할 수 있도록 유도합니다. 터렐의 작업은 이후 설치미술과 미디어아트 전반에 영향을 미쳤으며, 미니멀리즘과 개념미술 사이의 연결고리로도 평가받고 있습니다. [더보기]
- 위치 : 한남동 페이스갤러리
- 기간 : ~9/27
- 무료이나 사전 예약 필요
|
|
|
|
