안녕하세요 :) Cross Planning 본부 이현정입니다.
2025년 9월 3주차 뉴스레터 발송드립니다.📮
<GIANTSTEP News> 빠른 제보는 슬랙 메시지 💌 @XP 사업기획팀 이현정
(📢 매주 목요일 오전까지 접수, 이후 제보는 차주 발행) |
|
|
🔍 COLMAP-Free 3DGS: 카메라 없이 만드는 3D
(플랫폼실 AI팀 기고) |
|
|
🌍 세상에 없던 3D 재구성
여러분이 스마트폰으로 방 안을 촬영했다고 상상해보세요. 지금까지는 이런 영상 데이터를 3D로 변환하려면, COLMAP 같은 무거운 전처리 과정이 필요했습니다. 하지만 NVIDIA의 COLMAP-Free 3D Gaussian Splatting(3DGS)은 이러한 과정을 건너뛰고도 영상을 3D로 재구성할 수 있게 합니다.
🔑 무엇이 달라졌나?
기존 방식은 마치 퍼즐을 다 맞추고 나서야 그림이 완성되는 구조였습니다.
- COLMAP: 시간이 오래 걸리고, 비슷한 패턴(예: 흰 벽, 반복 무늬)에서 잘 작동하지 않음
- NeRF: 사실적인 장면을 만들지만 학습 비용이 너무 큼
새로운 방식은 다릅니다. 영상 속 연속적인 프레임의 흐름과 Gaussian이라는 작은 점(입자)들의 집합을 활용해, 퍼즐 조각을 하나씩 붙이듯 장면을 점진적으로 확장해 나갑니다. |
|
|
⚙️ 어떻게 가능할까?
- Local 3DGS: 영상 프레임과 프레임 사이의 차이를 직접 학습해 카메라 움직임을 추정
- Global 3DGS: 축적된 정보를 합쳐 전체 장면을 단계적으로 growing
- 필요한 곳에는 Gaussian을 더 많이 배치하는 “densification”으로 디테일까지 살림
결과적으로, 빠르고 COLMAP 없이도 3D를 만들 수 있는 방법을 제안한 것입니다.
🧪 무엇을 보여줬나?
- RTX 3090 GPU 1장만으로도 실행 가능 → 실용성 확보
- 기존 NeRF보다 학습 속도에서 강점, COLMAP 기반 3DGS와 비교해도 손색없는 성능
🚀 그래서 우리에게 의미하는 것
이번 연구가 의미하는 바는 단순합니다. 이제 우리는 영상만으로도 복잡한 전처리 과정 없이 빠르게 3D 장면을 재구성할 수 있는 길을 보게 되었다는 것입니다. 이는 누구나 직관적으로 이해할 수 있는 변화일 뿐 아니라, 엔지니어 관점에서는 오랫동안 난제로 여겨졌던 camera pose estimation 문제를 풀어낼 새로운 실마리가 될 수 있습니다.
해당 연구를 시작으로 Gaussian Splatting을 기반으로 COLMAP의 틀을 벗어나려는 노력을 담은 많은 연구들이 세상에 나오고 있습니다. 가장 놀라운 것은 이 연구는 단지 시작일 뿐이라는 것! |
|
|
📢 AI 기술에 대해 궁금한 점이 있으신 분들은 플랫폼실 AI팀으로 문의주시면
언제든 상담이 가능합니다. 💡 |
|
|
🧠 Luma AI, 어도비와 손잡고 차세대 영상 생성 모델 Ray3 공개
AI 영상 기업 루마가 어도비와 파트너십을 맺고 새로운 생성형 영상 모델 Ray3를 공개했습니다. Ray3는 어도비 Firefly 유료 고객에게 2주간 무제한 제공되며 이후 유료화되고, 헐리우드 스튜디오 등은 별도로 사용할 수 있습니다. 루마는 2024년 초 Dream Machine을 시작으로 연이어 모델을 내놓으며 구글 Veo, Runway 등과 경쟁을 이어가고 있습니다.
Ray3는 약 10초 길이의 대사 없는 짧은 영상을 사실적으로 구현하며, 복잡한 장면 전환도 처리할 수 있는 ‘추론(reasoning)’ 능력을 강조합니다. 특히 사용자가 이미지 위에 간단히 선을 그리거나 낙서하듯 캐릭터의 이동 경로를 직접 표시하면, 모델이 이를 해석해 해당 움직임이 반영된 영상을 자동으로 생성하는 기능을 제공합니다. 루마 CEO는 이를 “가장 지능적인 영상 모델”이라 소개했고, 어도비는 창작자들의 워크플로우 혁신을 기대한다고 밝혔습니다. [더보기]
|
|
|
(사진=Ray3으로 제작한 이미지/Luma AI) |
|
|
🔍 유튜브, 숏츠 제작자 위해 Veo 3 Fast 포함한 생성형 AI 기능 공개
유튜브가 Made on YouTube 행사에서 숏츠 제작자를 위한 새로운 생성형 AI 도구를 공개했습니다. 이번 업데이트에는 구글의 텍스트-투-비디오 모델 Veo 3의 경량 버전인 Veo 3 Fast가 포함되어 있으며, 낮은 지연 속도로 480p 영상을 소리와 함께 생성할 수 있습니다. 이 기능은 미국, 영국, 캐나다, 호주, 뉴질랜드에서 먼저 도입됩니다. Veo 기반 기능을 활용해 정지 이미지를 영상의 움직임으로 애니메이션화하거나 다양한 시각 스타일과 오브젝트를 텍스트로 추가하는 것도 가능해집니다.
또한 Speech to Song 리믹싱 툴이 새롭게 도입되어 기존 영상의 대사를 음악 트랙으로 변환할 수 있습니다. 구글의 AI 음악 모델 Lyria 2를 활용해 “chill”이나 “danceable” 같은 분위기를 지정할 수 있으며, 곧 미국 내 크리에이터들을 대상으로 시험 운영될 예정입니다. 이와 함께 Edit with AI 기능도 도입되어, 촬영 원본을 자동으로 정리해 음악·전환·음성 해설이 포함된 1차 편집본을 생성합니다. 유튜브는 이를 통해 크리에이터들이 더 쉽게 숏츠 제작을 시작할 수 있을 것으로 기대하고 있습니다. [더보기]
|
|
|
🕶 손짓 하나로 제어…메타, 레이밴 스마트 글래스 첫 공개
메타가 캘리포니아 멘로파크 본사에서 열린 개발자 행사 ‘메타 커넥트 2025’에서 디스플레이를 탑재한 첫 AI 스마트 글래스 메타 레이밴 디스플레이를 공개했습니다. 오른쪽 렌즈에 앱·알림·길안내 등을 표시하며, 손목 밴드 ‘뉴럴 밴드’를 통해 손가락 제스처로 제어할 수 있습니다. 실시간 대화가 가능한 AI 챗봇, 음성 자막과 번역, 영상통화, 사진·영상 촬영까지 지원하며 가격은 799달러입니다.
이와 함께 배터리 사용 시간을 두 배 늘린 레이밴 메타 2세대(379달러)와 운동선수용 오클리 뱅가드(499달러)도 발표했습니다.
또한 메타는 현실 공간을 3D 가상환경으로 재현하는 하이퍼스케이프(Hyperscape) 기술을 베타 버전으로 공개했습니다. 사용자가 앱으로 공간을 스캔하면 약 3분 만에 기본 메쉬가 생성되고, 추가 디테일 스캔 후 데이터가 클라우드에 업로드돼 수 시간 뒤 체험할 수 있습니다. 이번 베타는 퀘스트3 및 퀘스트3S 보유 성인 사용자에게 순차 제공됩니다. [더보기] |
|
|
🌟 디스코드, 메타와 협력…VR 헤드셋 전용 앱 2026년 출시
게임 커뮤니티 플랫폼 디스코드가 메타와 협력해 메타 퀘스트 전용 앱을 개발 중이며, 2026년 출시될 예정입니다. 이번 소식은 메타 커넥트 2025 행사에서 공식 발표됐으며, 메타는 이를 통해 VR 환경에서 소셜 기능을 강화하겠다고 밝혔습니다.
해당 앱이 도입되면 VR 게이머들은 게임 중에도 디스코드를 통해 손쉽게 친구들과 대화할 수 있으며, 메타 퀘스트의 소셜 경험 또한 확장될 전망입니다. 메타는 디스코드의 월간 2억 명 이상 활성 이용자가 VR 경험을 공유하게 되면, 개발자들에게도 더 큰 고객 기반이 열릴 것이라고 설명했습니다. [더보기] |
|
|
|
