[摘 要] 當(dāng)前，學(xué)習(xí)行為分析已成為研究熱點(diǎn)。基于大數(shù)據(jù)技術(shù)挖掘?qū)W生的學(xué)習(xí)行為特征，能為學(xué)習(xí)過程的改善、學(xué)習(xí)評(píng)價(jià)的優(yōu)化提供重要依據(jù)。然而，現(xiàn)有研究卻存在分析數(shù)據(jù)類型單一、實(shí)時(shí)性不強(qiáng)、結(jié)果準(zhǔn)確度不高、缺乏可解釋性等問題。文章從利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)分析入手，采用HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機(jī))神經(jīng)網(wǎng)絡(luò)模型，建立多模態(tài)學(xué)習(xí)分析模型，為教育技術(shù)領(lǐng)域中利用多模態(tài)大數(shù)據(jù)挖掘?qū)W習(xí)者行為特征提供了新范式;接著從可解釋性分析的角度，闡述利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)行為分析的算法設(shè)計(jì)與實(shí)現(xiàn)過程;通過實(shí)驗(yàn)表明，研究中所采用的方法與技術(shù)路線對(duì)提高學(xué)習(xí)行為分析的可解釋性有較好成效。

　　[關(guān)鍵詞] 深度學(xué)習(xí); 多模態(tài); 學(xué)習(xí)行為分析; 可解釋性

　　一、引 言

　　人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術(shù)的迅速發(fā)展和深入應(yīng)用，給社會(huì)各領(lǐng)域帶來了巨大的變革，同時(shí)也對(duì)教育教學(xué)產(chǎn)生了深遠(yuǎn)影響，推動(dòng)新時(shí)代智慧教育的產(chǎn)生與發(fā)展。當(dāng)前，基于智慧教育環(huán)境的研究重點(diǎn)逐漸從學(xué)習(xí)平臺(tái)開發(fā)、資源與內(nèi)容設(shè)計(jì)、傳統(tǒng)普適性研究、應(yīng)用模式與實(shí)證探究等轉(zhuǎn)向基于行為全過程分析的精準(zhǔn)助教與評(píng)價(jià)研究上。學(xué)生個(gè)體千差萬別，其行為表現(xiàn)一定程度上反映了學(xué)生的學(xué)習(xí)風(fēng)格、心理特征和情感特征，通過智慧課堂感知系統(tǒng)、教學(xué)管理平臺(tái)采集學(xué)習(xí)行為過程數(shù)據(jù)，并通過大數(shù)據(jù)技術(shù)挖掘?qū)W生行為特征，能為學(xué)習(xí)過程的改善提供重要依據(jù)。

　　目前，已有的學(xué)習(xí)行為分析大多針對(duì)各類在線教學(xué)平臺(tái)采集的數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)來源單一、分析指標(biāo)簡單，學(xué)生學(xué)習(xí)行為研究呈現(xiàn)較大的局限性和割裂感(如Abdelrahman等人[1]、Eradze等人[2]、姜強(qiáng)[3]、黃昌勤[4]等)。隨著傳感器、可穿戴設(shè)備、眼動(dòng)儀和腦電儀等智能信息技術(shù)的發(fā)展，學(xué)習(xí)分析領(lǐng)域有了新的突破，研究者逐漸意識(shí)到，只有盡可能捕捉學(xué)生學(xué)習(xí)全過程數(shù)據(jù)(包括聲音、視頻、表情、生理等多模態(tài)數(shù)據(jù))，才能更加全面準(zhǔn)確地了解學(xué)習(xí)過程，挖掘?qū)W生學(xué)習(xí)規(guī)律，拓寬學(xué)習(xí)行為分析研究的深度與廣度，多模態(tài)學(xué)習(xí)分析研究應(yīng)運(yùn)而生。

　　多模態(tài)學(xué)習(xí)分析通過語音、圖形圖像、肢體與面部表情等識(shí)別技術(shù)，充分捕捉或感知各種信息，通過對(duì)這些多模態(tài)數(shù)據(jù)的統(tǒng)一表征，從而更準(zhǔn)確地判定學(xué)情[5]。國內(nèi)主要以北京師范大學(xué)、華東師范大學(xué)、華南師范大學(xué)等師范大學(xué)研究團(tuán)隊(duì)為主，從學(xué)習(xí)科學(xué)的角度進(jìn)行多模態(tài)學(xué)習(xí)分析，研究主要集中于理論探討(如穆肅[6] 、汪維富[7])、框架搭建(如周進(jìn)[8]、張琪[9]、牟智佳[10]、李卿[11]等)，較少從計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)等視角將理論應(yīng)用于實(shí)踐，深化研究。

　　國外有關(guān)多模態(tài)學(xué)習(xí)分析的研究較國內(nèi)成熟，研究多結(jié)合機(jī)器學(xué)習(xí)方法，圍繞學(xué)習(xí)行為建模、模態(tài)傳感器建模、算法模型以及新技術(shù)的介入等形成系列研究。如挪威科學(xué)技術(shù)大學(xué)的研究者收集了自適應(yīng)學(xué)習(xí)活動(dòng)中學(xué)習(xí)者的多模態(tài)數(shù)據(jù)，并采用模糊集定性比較分析(fsQCA)方法來描述學(xué)習(xí)者參與模式與學(xué)習(xí)績效的關(guān)系[12]。Vicente等人提出了基于物聯(lián)網(wǎng)技術(shù)和可穿戴設(shè)備實(shí)時(shí)監(jiān)測數(shù)據(jù)的可穿戴教育物聯(lián)網(wǎng)(WIoTED)系統(tǒng)，并使用機(jī)器學(xué)習(xí)技術(shù)和多模態(tài)學(xué)習(xí)分析方法來構(gòu)建能夠“解釋”學(xué)生參與度的模型。該研究基于一組相關(guān)變量選擇決策樹和規(guī)則系統(tǒng)，獲得的規(guī)則很容易被非專業(yè)人士解釋[13]。

　　學(xué)習(xí)分析多考慮數(shù)據(jù)的“源息性”問題，收集哪些數(shù)據(jù)、采用何種方法分析以全面、準(zhǔn)確地體現(xiàn)學(xué)習(xí)者的全部特性[14]。可見，學(xué)習(xí)分析多關(guān)注數(shù)據(jù)的準(zhǔn)確性、全面性，而可解釋性在傳統(tǒng)技術(shù)上很難實(shí)現(xiàn)，近幾年才越來越受到關(guān)注。可解釋性，是指可以在觀察的基礎(chǔ)上進(jìn)行思考，最終合理地得出事物變化的原因、事物之間的聯(lián)系和事物發(fā)展的規(guī)律的一種性質(zhì)。如Kaur等人采用局部可解釋不可知模型(LIME)，通過在本地訓(xùn)練可解釋模型，以可解釋的方式分析預(yù)測模型[15]。有研究者采用LSA(滯后序列分析法)[16]、K-Means算法[17]等解釋了學(xué)習(xí)行為與學(xué)習(xí)成績之間的變化關(guān)系，有助于研究者對(duì)學(xué)習(xí)行為的過程與機(jī)理的了解。

　　本研究基于多模態(tài)數(shù)據(jù)(包括各類學(xué)習(xí)平臺(tái)、教室視像信息和各種傳感器信息等)，將最大限度采集發(fā)生在各種時(shí)空維度割裂的學(xué)習(xí)行為數(shù)據(jù)結(jié)合關(guān)聯(lián)起來，以教育心理學(xué)和行為科學(xué)為依據(jù)，構(gòu)建能更貼近真實(shí)的學(xué)習(xí)情境的學(xué)習(xí)行為數(shù)據(jù)模型。然后在數(shù)據(jù)模型上提高數(shù)據(jù)分析的可解釋性，使得人們不僅知道分析的結(jié)果，也清楚結(jié)果產(chǎn)生的原因，從而更有針對(duì)性地為學(xué)生提供指導(dǎo)與幫助，進(jìn)而提高學(xué)生學(xué)習(xí)成效。

　　二、基于深度學(xué)習(xí)算法的多模態(tài)

　　學(xué)習(xí)行為數(shù)據(jù)分析模型研究

　　學(xué)習(xí)行為分析是一個(gè)復(fù)雜的高維的分析過程，傳統(tǒng)分析方法對(duì)多模態(tài)數(shù)據(jù)分析比較困難，大數(shù)據(jù)與智能算法的出現(xiàn)，給學(xué)生學(xué)習(xí)特征分析、教育大數(shù)據(jù)挖掘提供了新方法。本文提出利用深度學(xué)習(xí)算法進(jìn)行多模態(tài)學(xué)習(xí)分析，為教育技術(shù)領(lǐng)域中利用多模態(tài)教育大數(shù)據(jù)挖掘?qū)W習(xí)者行為特征提供了新范式。

　　(一)深度學(xué)習(xí)支持下的學(xué)習(xí)行為分析模型設(shè)計(jì)

　　深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過程中獲得的信息對(duì)文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。構(gòu)建面向多模態(tài)學(xué)習(xí)行為數(shù)據(jù)的大數(shù)據(jù)采集框架，采集實(shí)時(shí)的課堂、實(shí)驗(yàn)室和教學(xué)平臺(tái)等時(shí)序多模態(tài)數(shù)據(jù)，根據(jù)數(shù)據(jù)模態(tài)特征及因素特點(diǎn)，對(duì)多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行清洗與預(yù)處理，再使用智能算法進(jìn)行淺層特征分析，然后將他們進(jìn)行歸一化與深度融合。依據(jù)高維數(shù)據(jù)處理需求構(gòu)建一種新型的流形深度學(xué)習(xí)分析模型，對(duì)深度融合的多模態(tài)數(shù)據(jù)進(jìn)行分析。鑒于HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機(jī))神經(jīng)網(wǎng)絡(luò)具有降維、分類、回歸、協(xié)同過濾、特征學(xué)習(xí)以及主題建模等優(yōu)勢，集合了目前主流深度學(xué)習(xí)的特征提取、高精度和速度等優(yōu)點(diǎn)，是目前最適合處理多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)框架。因此，本研究中運(yùn)用HDRBM神經(jīng)網(wǎng)絡(luò)處理智慧學(xué)習(xí)環(huán)境下多模態(tài)學(xué)習(xí)行為數(shù)據(jù)，以此建立多模態(tài)學(xué)習(xí)行為分析模型(如圖1所示)，并進(jìn)行學(xué)習(xí)者行為特征分析。