AI mới của Nvidia chuyển đổi ảnh thành cảnh 3D trong vòng vài giây

Nhờ công nghệ chúng ta sử dụng trong cuộc sống hàng ngày, chúng ta có thể ghi lại những khoảnh khắc trong thế giới xung quanh dưới dạng ảnh. Tuy nhiên, quá trình này chỉ có thể tạo ra hồi ức 2D về thế giới 3D mà chúng ta thấy. Các nhà khoa học hiện đang cố gắng tạo lại các phiên bản 3D từ những ảnh chụp 2D này và Nvidia có thể đã đưa ra công nghệ đột phá trong lĩnh vực này.

Được gọi là Instant NeRF, công ty đã giới thiệu khả năng mới tại Nvidia GTC, một hội nghị toàn cầu dành cho các nhà phát triển AI. Công nghệ này là một cải tiến đối với NeRF hoặc trường bức xạ thần kinh, được sử dụng để phát triển các cảnh 3D thực tế từ bộ sưu tập hình ảnh 2D. Đối với điều này, một quá trình được gọi là kết xuất ngược được sử dụng trong đó trí tuệ nhân tạo được sử dụng để ước tính cách ánh sáng sẽ hoạt động trên hoặc xung quanh một vật thể trong thế giới thực.

Nvidia nói rằng nhóm nghiên cứu của họ hiện đã phát triển một phiên bản NeRF siêu nhanh. Theo một blog mô tả chi tiết sự phát triển, Nvidia nói rằng công nghệ mới của họ “hoàn thành nhiệm vụ này [inverse rendering] gần như ngay lập tức. “Do đó có tiêu đề” NeRF tức thì. “

Với điều này, Nvidia nói rằng công nghệ của họ là “một trong những mô hình đầu tiên của loại hình này kết hợp đào tạo mạng thần kinh cực nhanh và kết xuất nhanh.” Như đã đề cập trong blog của mình, Instant NeRF có thể tìm hiểu một cảnh 3D có độ phân giải cao trong vài giây và “có thể hiển thị hình ảnh của cảnh đó trong vài mili giây.” Đây được coi là “tốc độ hơn 1.000 lần” so với các quy trình NeRF thông thường được thấy cho đến nay.

Vì vậy, làm thế nào nó hoạt động?

Nvidia nói rằng mô hình AI chỉ cần vài giây để luyện tập trên các bức ảnh tĩnh để đưa ra kết xuất 3D. Đối với điều này, nó cung cấp “vài chục bức ảnh tĩnh” của đối tượng, cũng như dữ liệu về góc máy ảnh mà những bức ảnh này được chụp từ đó. Trong vòng “hàng chục mili giây”, Instant NeRF sau đó có thể hiển thị cảnh 3D dựa trên ảnh 2D.

Công nghệ này có vẻ rất ấn tượng. Nvidia biết điều này và đã không né tránh việc nhấn mạnh tầm quan trọng của nó trong bài thuyết trình và trong blog. David Luebke, phó chủ tịch nghiên cứu đồ họa của NVIDIA, cho biết “NeRF tức thì có thể quan trọng đối với 3D như máy ảnh kỹ thuật số và nén JPEG đối với nhiếp ảnh 2D.” Nhận xét nhắc lại mức độ tốc độ mà mô hình AI mới mang lại cho các kết xuất 3D được tạo ra từ ảnh tĩnh.

Instant NeRF được phát triển bằng Bộ công cụ Nvidia CUDA và thư viện Mạng thần kinh CUDA nhỏ. Với điều này, công ty tuyên bố đây là một mạng nơ-ron nhẹ và do đó có thể chạy trên một GPU Nvidia duy nhất, với khả năng tương thích tốt nhất trên các thẻ có Nvidia Tensor Cores.

Đối với các ứng dụng khả thi của nó, Nvidia đề cập rằng Instant NeRF sẽ giúp “đào tạo robot và ô tô tự lái” dễ dàng hơn để định lượng các đối tượng trong thế giới thực một cách chính xác thông qua các hình ảnh 2D đơn giản của chúng. Nó cũng có thể giúp tạo ra các biểu diễn kỹ thuật số của môi trường thực một cách dễ dàng hơn so với các công nghệ hiện tại. Với metaverse và các công nghệ nhập vai khác đang nhanh chóng đạt được sức hút, Nvidia có thể đã đưa ra một công cụ cực kỳ quan trọng vào đúng thời điểm.