Начало Технологии Иновации INSAIT създаде най-голямата в света отворена 3D база данни за изкуствен интелект,...

INSAIT създаде най-голямата в света отворена 3D база данни за изкуствен интелект, който разбира език и пространство

English below ⤵️

INSAIT, съвместно с водещи международни научни институции, представя SceneSplat-49k, най-голямата публично достъпна колекция от висококачествени и сложни 3D сцени във формат Gaussian Splatting, както и SceneSplat-Benchmark, цялостна платформа за оценка на модели за Language Gaussian Splatting.

SceneSplat-49k включва 48 856 реконструирани сцени от реалния свят, обхващащи както закрити, така и открити пространства, като 12 061 от тях са обогатени с езикови характеристики. Създаването на набора от данни е резултат от значителен човешки труд и изчислителни ресурси в размер на 861 GPU-дни, което гарантира високо ниво на реализъм и разнообразие.

Language Gaussian Splatting позволява на системите с изкуствен интелект да взаимодействат с 3D среди чрез естествен език и да разбират пространствени и семантични отношения директно в три измерения. До момента развитието на такива системи беше ограничено поради липсата на мащабни, висококачествени 3D данни и стандартизирани методи за оценка.

SceneSplat-Benchmark адресира този проблем, като въвежда значително по-реалистични и предизвикателни условия за оценяване. Той обхваща 1 060 сцени и 325 семантични класа и позволява директна оценка на моделите в 3D среда, вместо чрез 2D проекции, което осигурява по-точна и надеждна оценка на разбирането на сцени на ниво пространство.

Проектът е резултат от съвместната работа на INSAIT, Амстердамския университет, ETH Цюрих (Лаборатория по компютърно зрение), Нанкинския университет по аеронавтика и астронавтика, Университета „Джонс Хопкинс“, Университета в Пиза и Университета в Тренто. Той представлява важна стъпка към развитието на следващото поколение 3D системи за изкуствен интелект с приложения в роботиката, виртуалната и добавената реалност и естественото взаимодействие между хора и машини.

Повече информация за проекта: scenesplatpp.gaussianworld.ai

 

English Version

INSAIT Releases the World’s Largest Open-Source 3D Dataset and Benchmark for Language-Aware AI Systems

INSAIT, part of Sofia University “St. Kliment Ohridski” together with leading international research institutions, announces the release of SceneSplat-49k, the largest open-source collection of high-quality, complex 3D scenes in Gaussian Splatting format, along with SceneSplat-Benchmark, a comprehensive evaluation benchmark for Language Gaussian Splatting.

SceneSplat-49k comprises 48,856 reconstructed indoor and outdoor scenes, of which 12,061 scenes are enriched with language features. The dataset was produced through extensive human effort and computational resources amounting to 861 GPU-days, ensuring high realism and diversity of real-world environments.

Language Gaussian Splatting enables natural language interaction within immersive 3D environments, allowing models to reason about spatial relationships and semantic concepts directly in three dimensions. Until now, progress in this field has been constrained by the absence of large-scale, high-quality 3D datasets and standardized evaluation protocols.

To address this gap, SceneSplat-Benchmark introduces substantially more realistic and challenging evaluation settings. It covers 1,060 scenes and 325 semantic classes and evaluates models directly in 3D, rather than relying on 2D projections, enabling a more faithful assessment of 3D scene-level understanding.

This work is the result of a collaboration between INSAIT, the University of Amsterdam, ETH Zurich (Computer Vision Lab), Nanjing University of Aeronautics and Astronautics, Johns Hopkins University, the University of Pisa, and the University of Trento. The project represents an important step toward the next generation of 3D vision-language systems, with applications in robotics, virtual and augmented reality, and human-centered AI.

More information about the project is available at: scenesplatpp.gaussianworld.ai