私のSoundAnalysisの旅

Dec 09 2022
マスターではありませんが、サウンド分析について学びたいと思っています! このマクロ チャレンジで、私のチームは、ダウン症の子供たちが表現力豊かなコミュニケーション スキルを向上させるためのアプリケーションである Komka を作成することにしました。Komka の機能の 1 つはサウンド プラクティスです。

マスターではありませんが、サウンド分析について学びたいと思っています!

このマクロ チャレンジで、私のチームは、ダウン症の子供たちが表現力豊かなコミュニケーション スキルを向上させるためのアプリケーションである Komka を作成することにしました。Komka の機能の 1 つはサウンド プラクティスです。この機能には、子供が単語を発音する方法の類似性に応じて増加する円形の進行状況バーがあります。

音の練習機能

私のチームがこの機能をどのように構築したかを説明しようと思います!

まず、私のチームは createML を使用してモデルをトレーニングします。モデルを作成したら、機能のセットアップを開始します。

最初に行うことは、AVFoundationをインポートするオーディオ ストリーム マネージャーのクラスを作成することです。AVFoundationは iOS のフレームワークで、Apple プラットフォームでオーディオビジュアル メディアの検査、再生、キャプチャ、および処理を行うことができます。

これらは、作成する必要がある変数です。

private var audioEngine: AVAudioEngine?
private var soundAnalyzer: SNAudioStreamAnalyzer?
private var soundClassifierRequest: SNClassifySoundRequest?

また、サウンドを検出する必要がなくなったときにオーディオ セッションを停止する関数も作成する必要があります。オーディオ セッションの使用は、特定の動作やオーディオ ハードウェアとの必要な対話を詳述することなく、アプリのオーディオの一般的な性質をオペレーティング システムに伝えることです。

func stopAudioSession() {
    let audioSession = AVAudioSession.sharedInstance()
    try? audioSession.setActive(false)
}

また、オーディオ エンディングに接続されているライブ オーディオ レコードを停止する別の関数を作成する必要があります。そのため、オーディオ エンジンのノードを必ず削除する必要があります。

func stopLiveRecord(){
    guard let audioEngine = audioEngine else {
        print("ERROR: AudioEngine Unavailable")
        return
    }
    audioEngine.inputNode.removeTap(onBus: 0)
    stopAudioSession()
}

以下の関数は、以前に作成したモデルを使用して soundClassifier を作成する関数です。

private func prepareSoundClassifier(){
    let config = MLModelConfiguration()
    let soundClassifier = try? SoundPracticeModel_Rev(configuration: config)
    
    guard let soundClassifier = soundClassifier else{
        print("ERROR: Model doesn't Exist")
        return
    }
    soundClassifierRequest = try? SNClassifySoundRequest(mlModel: soundClassifier.model)
}

最後に、オーディオ ストリーム マネージャーについてです。ライブ記録を開始する機能を作ります

func startLiveRecord(){
    stopLiveRecord()
    do {
        let audioSession = AVAudioSession.sharedInstance()
        try audioSession.setCategory(.record, options: .mixWithOthers)
        try audioSession.setActive(true)
    } catch {
        stopAudioSession()
        print("ERROR: Stop Live record")
    }
    do{
        let newAudioEngine = AVAudioEngine()
        let busIndex = AVAudioNodeBus(0)
        let audioFormat = newAudioEngine.inputNode.inputFormat(forBus: busIndex)
        soundAnalyzer = SNAudioStreamAnalyzer(format: audioFormat)
        
        newAudioEngine.inputNode.removeTap(onBus: busIndex)
        newAudioEngine.inputNode.installTap(onBus: busIndex, bufferSize: 1024, format: audioFormat) {
            (buffer, time) in
            DispatchQueue.main.async {
                self.soundAnalyzer?.analyze(buffer, atAudioFramePosition: time.sampleTime)
            }
        }
        try newAudioEngine.start()
        prepareSoundClassifier()
    }
    catch {
       print("ERROR: \(error)")
    }
}

モデルの信頼度を確認するために、 SNResultObservingを使用する別のクラスを作成できます。

class SoundAnalyzer: NSObject, ObservableObject, SNResultsObserving {    
    var confidence: Double?
    var confidencePublisher = PublishSubject<Double>()
    
    var currentWord: String = ""
        
    func request(_ request: SNRequest, didProduce result: SNResult) {
        guard let result = result as? SNClassificationResult else{
            return
        }
        
        guard let highestResult = result.classifications.first else{
            return
        }
        
        DispatchQueue.main.async {
            if(self.currentWord == highestResult.identifier){
                self.confidence = highestResult.confidence
                self.confidencePublisher.onNext(self.confidence ?? 0)
            }
        }
    }
}

これで、Sound Analyzer を使用した Sound Practice 機能を構築できました。結局のところ、これは Sound Analyzer の旅をマスターするための基本的なステップにすぎません。

この記事をお読みいただきありがとうございます。Sound Analyzer の習得に役立つことを願っています。