Giới thiệu Optophonia

Dec 08 2022
Môi trường đồ họa chuyển động thời gian thực cho hình ảnh trực tiếp, NFT và hơn thế nữa
Phần mềm này cung cấp cho các nghệ sĩ kỹ thuật số một môi trường ảo kéo và thả dễ dàng để tạo mô hình nhanh về hình học, ánh sáng, hoạt ảnh, hiệu ứng hình ảnh và đường di chuyển. Để làm điều này, nó bổ sung một bộ đầy đủ các bộ điều khiển tương tác và lập trình tổng quát để tăng thêm độ phức tạp.

Phần mềm này cung cấp cho các nghệ sĩ kỹ thuật số một môi trường ảo kéo và thả dễ dàng để tạo mô hình nhanh về hình học, ánh sáng, hoạt ảnh, hiệu ứng hình ảnh và đường di chuyển. Để làm điều này, nó bổ sung một bộ đầy đủ các bộ điều khiển tương tác và lập trình tổng quát để tăng thêm độ phức tạp. Ứng dụng này cũng kết nối trực tiếp với thị trường NFT, nơi có thể nhập các nội dung duy nhất vào ứng dụng và các tác phẩm đồ họa chuyển động mới có thể được đúc dưới dạng đầu ra NFT trực tiếp từ bên trong ứng dụng.

Dự án của chúng tôi được lấy cảm hứng từ cách tiếp cận khái niệm của Piano quang điện lịch sử , lấy tên từ đó, được phát minh bởi nghệ sĩ và nhà phát minh tiên phong nổi tiếng, Wladimir Baranoff-Rossiné (1888–1944). Nền tảng của chúng tôi, dựa trên những đổi mới chuỗi khối của NFT và DAO, trao quyền cho các nghệ sĩ cộng tác trong việc tạo phương tiện nghe nhìn sống động cho các sự kiện trực tiếp, Metaverse và dưới dạng các tác phẩm truyền thông độc lập.

Được kết hợp với nhau, các phòng trưng bày trực tuyến và cộng đồng người dùng của chúng tôi sẽ khuyến khích sự phát triển của Optophonia như một công cụ sáng tạo chuyên nghiệp và hình thức nghệ thuật trong kỷ nguyên Web3.

Tích hợp NFT

Optophonia là ứng dụng đầu tiên thuộc loại này tích hợp hoàn toàn NFT vào khái niệm và trải nghiệm tổng thể của nó. Tác phẩm nghệ thuật dựa trên NFT hoạt động ở cả đầu vào và đầu ra của ứng dụng. Bạn có thể thu thập NFT làm phương tiện nguồn (mô hình 3D, nghệ thuật 2D, video clip, tệp ghi lại chuyển động, v.v.) và sử dụng chúng làm 'nguyên liệu thô' để đúc đồ họa chuyển động NFT của riêng bạn ở đầu ra.

Optophonia DAO (tổ chức tự trị phi tập trung) hỗ trợ các nghệ sĩ và cộng đồng người dùng thông qua các hoạt động chính như chọn nghệ sĩ để quản lý, giúp chúng tôi quyết định các tính năng mới để tích hợp vào ứng dụng và quyết định nghệ sĩ nào sẽ hỗ trợ và mua tác phẩm nghệ thuật.

Nội dung NFT mở ra nền kinh tế mới cho các nghệ sĩ, bằng cách cho phép họ tiếp tục kiếm tiền bản quyền khi phương tiện của họ được giao dịch. Nếu bạn là người tìm kiếm các vòng lặp VJ, thì phương tiện bạn có được dưới dạng NFT không hoàn toàn là một khoản chi phí, mà trở thành một tài sản do mã hóa của nó trên chuỗi khối. Một vòng lặp kỹ thuật số phiên bản giới hạn mà bạn có được cho hiệu suất của mình có thể được giao dịch sau này, thậm chí là để kiếm lợi nhuận. Nếu bạn là người tạo mô hình 3D, nghệ thuật kỹ thuật số hoặc thậm chí là âm nhạc và video, thì bạn có một thị trường mới do cộng đồng tổ chức để bán các tác phẩm của mình trong đó dành riêng cho việc quảng bá loại hình nghệ thuật này.

Tải xuống sách điện tử miễn phí

Optophonia tổ chức một thị trường để bán các tài sản kỹ thuật số có thể được sử dụng trong sản xuất đồ họa chuyển động. Ví dụ: một biên đạo múa và vũ công có thể kiếm tiền bản quyền khi sản xuất các tệp ghi lại chuyển động khiêu vũ, trong khi một nghệ sĩ 3D khác có thể kiếm tiền bản quyền trên mẫu hình đại diện kỹ thuật số của họ, trong khi một nghệ sĩ khác có thể kiếm tiền bản quyền khi cung cấp quần áo ảo cho hình đại diện đang khiêu vũ. Hợp đồng thông minh cho phép phân chia tiền bản quyền liên tục thuộc loại này được tự động hóa và phá vỡ các mô hình kinh tế hiện tại cho công việc sáng tạo.

NFT với tư cách là tài sản kỹ thuật số trong tác phẩm Quang âm có khả năng nâng cao các hoạt động kinh tế internet hàng thập kỷ ủng hộ sự thống trị của công nghệ khổng lồ và tạo ra các động lực hoàn toàn mới xung quanh việc sản xuất và phân phối nội dung có nhiều khả năng ủng hộ các nghệ sĩ và sự sáng tạo của cá nhân.

Tham quan giao diện người dùng

Ứng dụng hàng đầu của chúng tôi, được thiết kế để hoạt động trên máy tính để bàn và máy tính xách tay, dựa trên năm tab chính cung cấp bộ tính năng hoàn chỉnh cho đồ họa chuyển động trực tiếp — Thư viện, Giai đoạn, Điều khiển, Chương trình và Trình tự, được mô tả chi tiết hơn bên dưới. Chúng tôi cung cấp cho các nghệ sĩ sản xuất phương tiện trực quan cho bối cảnh âm nhạc khả năng tiếp cận trực quan dễ dàng với các khả năng cốt lõi của Unreal mà không cần đến sự phức tạp của việc cần cả một nhóm phát triển hoặc chuyên môn sâu về công cụ trò chơi.

Màn hình thư viện

Tab đầu tiên tổ chức Dự án, Buổi biểu diễn, Bản dựngMints . Với Optophonia, có một số thuật ngữ để làm quen nên đây là một nơi tốt để bắt đầu xác định một số thuật ngữ. Những gì bạn tạo trong Optophonia là Compositions . Nói chung, Dự án gần như đồng nghĩa với Sáng tác, bởi vì Sáng tác là những gì bạn đang tạo trong Dự án. Tất nhiên, một Dự án mới sẽ không có Thành phần nào, vì vậy thuật ngữ phân biệt vẫn hữu ích.

Giả sử rằng ý tưởng về tệp Dự án đã đủ nổi tiếng, chúng ta có thể thảo luận về Biểu diễn. Với Optophonia, Bố cục là một tập hợp hình ảnh chuyển động của các đối tượng và phương tiện ảo có thể phát trong thời gian thực. Bạn có thể tạo bất kỳ số lượng Biểu diễn nào với một Sáng tác. Mặc dù trong hầu hết các ứng dụng, Hiệu suất có thể được nhúng đơn giản vào tệp Dự án, nhưng với Optophonia, do tích hợp NFT, Hiệu suất có thể được tạo ra dưới dạng NFT, đó là lý do tại sao chúng có không gian Thư viện riêng.

Các buổi biểu diễn có hai loại - bản địa Optophonia và video được kết xuất. Có thể mở các Buổi biểu diễn gốc trong ứng dụng để phát lại trực tiếp. Hiệu suất gốc về cơ bản là bản ghi tập hợp các giá trị dữ liệu Thành phần theo thời gian. Các buổi biểu diễn có thể được ghi lại trong màn hình Giai đoạn, Điều khiển và Chương trình, tùy thuộc vào điều gì có ý nghĩa nhất đối với bất kỳ Bố cục cụ thể nào.

Bất kỳ Hiệu suất nào được ghi lại đều có thể được hiển thị dưới dạng tệp video và đến lượt các tệp video này có thể được đúc thành NFT thông qua nút Mint. Optophonia chứa một bộ công cụ tích hợp để tạo các vòng lặp video liền mạch, vì vậy, các Buổi biểu diễn có thể sẵn sàng lặp lại nếu một người muốn có một vòng lặp liền mạch như loại phương tiện NFT.

Loại phương tiện khác có thể được đúc dưới dạng NFT là Bản dựng. Bản dựng là một tệp thực thi độc lập - ứng dụng nhỏ của riêng nó trong Thành phần. Điều này cho phép người dùng đúc NFT của phương tiện tương tác hoặc tạo ra. Các bản dựng được tạo trong màn hình Chương trình, sẽ được thảo luận thêm bên dưới.

Phần cuối cùng của Thư viện tổ chức các phương tiện đã được đúc sẵn. Đây sẽ là các tham chiếu đến các tệp video được kết xuất và các bản dựng đã được xuất ra trước đó từ ứng dụng dưới dạng NFT.

Màn hình sân khấu

Màn hình Giai đoạn là nơi tập hợp các yếu tố cốt lõi của Bố cục. Ở cấp độ cao, có hai loại phần tử chính được sử dụng để tạo Sáng tác: nội dung đã được nhập, ví dụ: từ phòng trưng bày NFT của Optophonia (NFT có thể miễn phí và ứng dụng bao gồm một số nội dung phương tiện NFT để thử nghiệm ngay) và các tài nguyên bên trong môi trường Không thực như hình học, ánh sáng, các thành phần hoạt ảnh và hiệu ứng hình ảnh.

Màn hình Sân khấu hỗ trợ nhiều loại phương tiện có thể được sử dụng làm tài sản đã nhập: nghệ thuật 2D (được sử dụng làm kết cấu), mô hình 3D (thường sẽ là loại tệp .fbx), con người kỹ thuật số, ký tự được sắp xếp, tệp chuyển động, video clip và tập tin âm thanh.

Chế độ xem phân cấp của tất cả các đối tượng trong Thành phần được tổ chức trong bảng Thành phần Thành phần và có thể thao tác các thuộc tính của bất kỳ đối tượng được chọn nào trong bảng Thuộc tính. Khu vực Tổ chức trung tâm — nơi Bố cục được lắp ráp — cũng có một số công cụ để lập mô hình (ví dụ: hàm Boolean, công cụ căn chỉnh và chế độ xem phối cảnh) và để xem các màn trình diễn, chẳng hạn như hiển thị chúng theo các tỷ lệ khung hình khác nhau, cũng như ghi và chơi chúng.

Bạn có thể ghi lại màn trình diễn của các tác phẩm Quang âm trong bất kỳ tab nào trong ba tab trung tâm — Giai đoạn, Điều khiển và Chương trình. Ba khu vực màn hình này cho phép tăng độ phức tạp của Bố cục. Do màn hình Giai đoạn bao gồm một tập hợp các đối tượng hoạt hình, Thành phần đồ họa chuyển động phức tạp và tinh tế có thể được tạo hoàn toàn trong màn hình Giai đoạn bằng cách kéo và thả và hoạt ảnh tích hợp kết hợp với công cụ Đường dẫn (biểu tượng trên cùng bên trái dưới biểu tượng) có thể tạo các đường di chuyển thông qua bố cục cho camera quan sát chính và các yếu tố khác.

Màn hình Giai đoạn (cùng với màn hình Điều khiển và Chương trình) cũng có một hàng gồm 16 nút Ảnh chụp nhanh. Chúng có thể được sử dụng trong hai chế độ chính. Ở chế độ chụp nhanh thông thường, mỗi ảnh chụp nhanh chỉ ghi lại một giá trị đặt sẵn bên trong của tất cả các thuộc tính của đối tượng Thành phần và vị trí camera để người dùng có thể nhanh chóng thay đổi giữa chúng.

Myk Eff @ Optophonia & VJ Loop Zone

Ảnh chụp nhanh cũng có thể được sử dụng làm trình sắp xếp trực quan đồng bộ hóa với dữ liệu MIDI đến để ảnh chụp nhanh có thể được căn chỉnh nhịp theo nhạc. Điều này phù hợp với mô hình phổ biến nhất trong trình tự nhịp trong đó toàn bộ nốt được chia thành mười sáu bước của nốt 1/16. Ứng dụng cũng tạo thông tin nhịp độ bên trong của riêng mình để không phải lúc nào cũng cần có tín hiệu đồng bộ MIDI bên ngoài để thử nghiệm các khả năng trình sắp xếp thứ tự hình ảnh của Optophonia với tính năng Ảnh chụp nhanh.

Màn hình điều khiển

Màn hình Điều khiển là nơi Thành phần có thể được thực hiện tương tác. Có thể thiết lập một giao diện điều khiển tùy chỉnh hoàn toàn, được sử dụng làm thành phần GUI hoặc làm mô phỏng của thiết bị điều khiển bên ngoài được liên kết. Một tập hợp toàn diện các phần tử bộ điều khiển ảo có thể được kết hợp, thông qua kéo và thả, thành các tổ hợp điều khiển duy nhất, nhiều phần tử trong số đó có thể giao tiếp với phần cứng bên ngoài thông qua giao thức MIDI hoặc OSC. Chúng bao gồm: quay số, thanh trượt, nút, bộ kích hoạt bàn phím, ma trận XY, liên kết với bánh xe điều chế và uốn cong cao độ của bàn phím MIDI và công cụ vẽ đường bao. Bàn phím QWERTY và MIDI cũng có thể được sử dụng làm bộ điều khiển, cùng với tín hiệu âm thanh và tệp MIDI.

Một số tùy chọn xem Thành phần cũng có sẵn. Bất kỳ Hiệu suất cụ thể nào cũng có thể được xem trong cửa sổ video nhúng, cửa sổ nổi có thể thay đổi kích thước trên các màn hình khác, trong VR thông qua màn hình gắn trên đầu và cũng được phát trực tiếp tới ứng dụng chia sẻ khung như Siphon (Mac) hoặc Spout ( PC) để ghi dưới dạng tệp video bên trong ứng dụng khác.

Chia sẻ khung hình cũng cho phép nội dung Quang âm được phát trực tiếp tới bản đồ chiếu, VJ và phần mềm phát trực tiếp khác. Và tất nhiên, đầu ra đồ họa chuyển động có thể được phát trực tiếp IRL tới máy chiếu video hoặc màn hình phương tiện trực tiếp khác. Ngoài ra còn có tính năng ghi chú ảo và giao tiếp MIDI/OSC.

Màn hình Điều khiển cung cấp nhiều quyền kiểm soát hơn (đương nhiên!) đối với việc ghi lại các Màn trình diễn, vì bất kỳ thuộc tính nào của đối tượng đều có thể được gán cho đối tượng bộ điều khiển. Thông tin nhịp độ được tạo bên ngoài hoặc bên trong có thể được đồng bộ hóa với các yếu tố điều khiển thích hợp. Vì đầu ra được ghi bằng Quang âm thường sẽ bao gồm phương tiện video lặp lại liền mạch, nên có sẵn bộ công cụ vòng lặp để đảm bảo rằng điểm bắt đầu và điểm kết thúc của Buổi biểu diễn được ghi có thể căn chỉnh các tham số dữ liệu sao cho khung hình đầu tiên và khung hình cuối cùng về cơ bản giống nhau, để tạo ra đầu ra vòng lặp liền mạch.

Màn hình chương trình

Màn hình Chương trình thêm một chiều tổng quát thông qua mô hình lập trình trực quan dựa trên hệ thống Blueprint cơ bản của Unreal. Người dùng quen thuộc với lập trình trực quan sẽ nhận ra mô hình thiết kế nút chung và cáp ảo. Toàn bộ các đối tượng trong bảng Thành phần Thành phần hoặc các thuộc tính riêng lẻ của chúng có thể trở thành các nút trong màn hình Chương trình. Ngoài ra, nhiều tính năng phù hợp nhất của Unreal dành cho đồ họa chuyển động tương tác và sáng tạo có sẵn dưới dạng các nút lập trình bổ sung.

Màn hình Chương trình cũng có một bộ công cụ để kiểm tra Bản dựng và xuất các tệp thực thi cuối cùng, nếu người dùng muốn xuất một tác phẩm tương tác hoặc tổng quát. Vì Unreal là một nền tảng được thiết kế để xuất các ứng dụng quy mô lớn nên nó có khả năng xuất các tệp thực thi độc lập. Người dùng sẽ có thể tạo phương tiện giữ lại các tính năng tương tác hoặc tạo, ngoài các tệp phương tiện tuyến tính được kết xuất của các Buổi biểu diễn đã ghi.

Màn hình tuần tự

Màn hình cuối cùng được xây dựng trên hệ thống điện ảnh của Unreal để cho phép người dùng tạo Chuỗi từ Màn trình diễn của họ, trong đó mỗi Màn trình diễn được coi là một clip trong trình chỉnh sửa dòng thời gian. Đến lượt mình, các Chuỗi biểu diễn mới này có thể được tạo thành các Biểu diễn mới có nguồn gốc từ Optophonia (về bản chất, đây sẽ là các Biểu diễn tổng hợp) hoặc hiển thị một video clip của Chuỗi.

Công cụ Trình tự có thể được sử dụng để tạo các clip dài hơn, chẳng hạn như video ca nhạc hoặc để tạo một clip biểu diễn dài hơn. Nó chứa các công cụ chỉnh sửa tiêu chuẩn như ghép nối, làm mờ chéo, xóa sạch, làm mờ dần và làm mờ dần, nhưng cũng bổ sung một tính năng mới liên quan đến việc tạo các vòng lặp liền mạch, được gọi là Chuyển tiếp nội suy. Điều này cho phép người dùng dễ dàng sắp xếp các giá trị dữ liệu của các điểm vào và ra của clip để các chỉnh sửa có thể được thực hiện trơn tru thông qua phép nội suy dữ liệu của tất cả các giá trị thuộc tính của đối tượng và điều này cũng có thể được áp dụng cho trình tự lắp ráp cuối cùng sao cho chuẩn bị để giật một cách liền mạch.

Người dùng quen thuộc với các ứng dụng chỉnh sửa video cũng sẽ nhận ra bố cục trình xem kép thông thường có hai cửa sổ xem, một cho clip Hiệu suất đã chọn và một cho toàn bộ Chuỗi. Dòng thời gian sắp xếp thứ tự cũng cho phép thêm âm thanh làm tài liệu tham khảo để sắp xếp thứ tự các clip Hiệu suất đã ghi và cũng để thêm vào các phần tử âm thanh ngắn tại các điểm chuyển tiếp chỉnh sửa.

Dòng thời gian cũng có thể hỗ trợ chỉnh sửa dựa trên khung hình chính cho bất kỳ thuộc tính đối tượng nào được chỉ định, để chúng có thể được tự động hóa trong thời gian thực tương tự như ứng dụng đồ họa chuyển động truyền thống như After Effects hoặc DaVinci Resolve's Fusion.

Sách thiết kế âm thanh

Đồ họa chuyển động tương tác và sáng tạo

Optophonia có tích hợp MIDI và OSC đầy đủ, cho phép bạn chơi đồ họa chuyển động giống như một nhạc cụ. Mọi thuộc tính đối tượng của Thành phần có thể được gán cho bộ điều khiển bên ngoài (núm, thanh trượt, phím, nút, miếng đệm, v.v.) hoặc phát bên trong ứng dụng dưới dạng phần tử GUI.

Các thuộc tính và đối tượng cũng có thể được tạo thành các nút trong màn hình Chương trình để lập trình trực quan. Nếu bạn muốn lập trình thông qua tập lệnh, chúng tôi sẽ kết hợp trình chỉnh sửa tập lệnh trong bảng Công cụ để viết mã C++.

cuộn thiết kế

Bằng cách dựa trên Unreal Engine, Optophonia mang đến sự tự do sáng tạo không giới hạn cho hình ảnh âm nhạc có thể lập trình và biểu diễn. Các clip ngắn trong cuộn thiết kế của chúng tôi cho biết có bao nhiêu loại nội dung phương tiện có thể được sử dụng bên trong ứng dụng, bao gồm: nghệ thuật 2D, mô hình 3D, video, âm thanh, ký tự gian lận và tệp chuyển động chẳng hạn như mocap. Ngoài ra, ứng dụng bao gồm một bộ công cụ mạnh mẽ để lập mô hình hình học tùy chỉnh bao gồm Boolean, lưới thông minh và các tính năng căn chỉnh cũng như các plugin hiệu ứng hình ảnh.

Đồ họa 3D trong Hình ảnh Âm nhạc Điện tử

Chúng tôi đã tập hợp một danh sách phát trên kênh YouTube của chúng tôi giới thiệu đồ họa 3D trong hình ảnh âm nhạc điện tử của một số nghệ sĩ và nhạc sĩ hàng đầu trong không gian dành cho nguồn cảm hứng của bạn.

Kết xuất thời gian thực 3D chất lượng cao đang ngày càng đặc trưng cho tương lai của văn hóa thị giác dành cho âm nhạc điện tử. Tính thẩm mỹ trực quan đang thay đổi khi kết xuất thời gian thực 3D có độ phân giải cao trở nên dễ tiếp cận hơn so với việc mua các gói vòng lặp vj kiểu truyền thống và video trực tiếp dựa trên cơ sở dữ liệu Chế biến. Các video minh họa cách kết xuất 3D đang thay đổi diện mạo của hình ảnh âm nhạc điện tử.

Bằng cách xây dựng dựa trên Unreal Engine, chúng tôi đã loại bỏ đường cong học tập dốc của môi trường thiết kế trò chơi bằng cách chỉ trình bày chức năng cốt lõi cần thiết để tạo ra hình ảnh trình diễn cho âm nhạc. Bất kỳ nghệ sĩ nào đã từng sử dụng trình chỉnh sửa video, DAW âm nhạc, công cụ lập trình trực quan, ứng dụng mô hình 3D hoặc bộ điều khiển phần cứng sẽ thấy Optophonia là một công cụ sáng tạo kỹ thuật số trực quan cao với tích hợp nội dung và NFT trực tiếp.

Hướng dẫn Nội dung Hoàn chỉnh về Âm thanh & Thiết kế

20 cuốn sách HCI hay nhất mọi thời đại

Những bài viết liên quan

Startup của tôi có cuộc gặp với Lầu năm góc như thế nào: Báo cáo từ Thung lũng chết

Cách xây dựng màn hình cho thuê vị trí nghe nhìn

Thuê vị trí nghe nhìn | Trình bày chuyên đề nghiên cứu