Das Zürcher Startup Mictic hat ein experimentelles Wearable lanciert, das Gesten und Bewegungen mit Hilfe der von uns entworfenen und entwickelten Mobile App in Musiktöne und Soundeffekte umsetzt. Das Produkt Mictic stiess bei seiner Lancierung 2021 auf grosses Interesse und wurde u.a. auf BBC, Mashable's Future/Blink und Cheddar TV gefeatured.

Audio Augmented Reality

Mictic lässt die Herzen aller Luftgitärreler höher schlagen. Mit den verbundenen Armbändern macht die App aus Bewegung Musik. Die App spielt dabei eine zentrale Rolle, soll für den User während dem Spielen aber komplett im Hintergrund stehen. Einmal verbunden, kann auch mit Mictic gespielt werden, wenn das Smartphone im Sperrzustand ist. Die volle Konzentration gilt der Bewegung und den daraus resultierenden Tönen.

Die präsentierte App ist erst der Anfang. Neue Funktionen, die es mehreren Mictic-Besitzern ermöglichen, sich direkt mit dem Metaverse zu verbinden, sind in Planung. Und auch weitere Anwendungen, welche auf der vorliegenden Technologie basieren, sind denkbar, z.B. in den Bereichen Games oder Reha. Das Potenzial ist riesig. Aber das ist Zukunftsmusik.

Die Features

Sind die Armbänder einmal montiert und mit dem iPhone verbunden, kann der User in der App zwischen verschiedenen Experiences wählen:

Instrumente
Soundscapes
Songs
Games

Die verschiedenen Experiences verlangen von den Usern unterschiedliche Bewegungsmuster und Gesten, die intuitiv verstanden werden (bspw. Cello), da sie sich aus der physischen Natur des jeweiligen Instruments erschliessen. Es gibt jedoch auch komplexere Experiences wie «Soundscapes» (bspw. Hip Hop), deren Bewegungsmuster und Gesten zuerst verstanden und gelernt werden müssen. Für beide Fälle gibt es in der App Tutorialvideos, damit der User diese durch Nachahmen schnellstmöglich erlernen kann.

Während die meisten Instrumente die Rotationsbeschleunigung der Sensoren irgendwo im Raum interpretieren, werden in den Soundscapes rund um den User virtuelle Zonen platziert, in welchen verschiedene Soundeffekte getriggert werden können. Kombiniert mit definierten Gesten (bspw. beide Hände ruckartig nach unten), können zusätzliche Sounds gesteuert werden.

Durch die Unterschiede der einzelnen Experiences ergeben sich verschiedene Detaileinstellungen. So kann beispielsweise die Gitarre auf einen Rechts- oder Linkshänder eingestellt werden. Oder es lassen sich zusätzliche Spielmöglichkeiten ein- oder ausschalten, wie z.B. bei den Drums (Full Drum Set vs. Snare + Basedrum).

Design und Identity

Wir hatten das Glück, Mictic nicht nur bei Design und Entwicklung der App zu begleiten, sondern ausgehend vom Softwareprodukt auch die gesamte Corporate Identity mitzuprägen. Entstanden ist ein dunkles bzw. invertiertes Erscheinungsbild, das mit pinken und blauen Farbhighlights arbeitet.

Die Logoanimation mit den Farbhighlights, welche als App Intro eingesetzt wird.

Die beiden Farbhighlights sind nicht nur eine grafische Spielerei, sondern erfüllen auch eine Funktion. Verbindet man die Armbänder mit der App, wird man aufgefordert, die rechte Hand zu bewegen. Sobald die App so erkannt hat, welches der beiden Armbänder an der rechten Hand ist, färben sich die beiden Punkte auf dem UI entsprechend ein:

Sind die Armbänder mit der App verbunden, bewegen sich die zwei von den Armbändern gesteuerten Farbpunkte im Hintergrund des Hauptmenüs. Dies gibt dem User auf spielerische Weise das Feedback, dass die Armbänder korrekt verbunden sind.

Beim Verbinden der Armbänder übernehmen die Farbhighlights die Rolle des visuellen Feedbacks.

Dieses visuelle Feedback der Bewegung wird in Zukunft auch dazu dienen, in den einzelnen Experience die User zu guiden und die Bewegungsmuster und virtuellen Zonen zu erklären. Dieses Feature ist jedoch noch in Entwicklung.

In der ganzen App wird die Schrift «GT Maru» von der Schweizer Foundry Grilli Type eingesetzt. Die abgerundeten Buchstaben passen hervorragend zu den Icons, welche für jede Experience in der App individuell entworfen und Zwecks Ankündigung neu freigeschalteter Experiences ansprechend animiert haben.

Credits

Unsere Leistungen: Konzeption, UX Research, Ideation, Design, Softwareentwicklung iOS, Testing
Kunde: Mictic AG
Audioengine: Robert Thomas
Sensorentwicklung: Arendi AG
Plattformen: iOS