隨著全球人口老齡化的加劇，以阿爾茨海默病為代表的認(rèn)知癥被認(rèn)為是二十一世紀(jì)最大的健康危機之一。近期，微軟亞洲研究院與上海市精神衛(wèi)生中心展開聯(lián)合研究，借助微軟 Azure OpenAI 服務(wù)中的多模態(tài)大模型以及智能代理(AI agent)技術(shù)，開發(fā)了個性化認(rèn)知訓(xùn)練框架“憶我”(ReMe)，擴展了自動化認(rèn)知訓(xùn)練的訓(xùn)練范圍，為數(shù)字化認(rèn)知訓(xùn)練提供了新方法，有望幫助延緩認(rèn)知下降。這項創(chuàng)新工具將助力推進認(rèn)知訓(xùn)練研究，為各類認(rèn)知障礙，包括輕度認(rèn)知障礙的早期預(yù)防和非藥物干預(yù)提供新的方法。

　　多模態(tài)大模型帶來更全面的認(rèn)知訓(xùn)練方法

　　認(rèn)知癥，也稱認(rèn)知障礙，是一類影響思維、記憶、注意力、理解、判斷力和語言等認(rèn)知功能的疾病，包括阿爾茨海默病、帕金森病、路易體癡呆、腦血管性認(rèn)知障礙等。認(rèn)知癥的發(fā)展是一個漸進且不可逆的過程，雖然目前臨床上還沒有完全能夠治愈該疾病的藥物，但及早診斷和提前干預(yù)有助于延緩認(rèn)知功能的衰退，而認(rèn)知訓(xùn)練已被證實是緩解病程進展的有效手段。

　　伴隨多模態(tài)大模型的不斷發(fā)展，其新能力也在不斷涌現(xiàn)，如提供即時的多模態(tài)分析、實現(xiàn)基于世界知識的開放式問答、提供充滿情感的語音交互、整合處理多種感知數(shù)據(jù)等。微軟亞洲研究院的研究員們由此提出了一個設(shè)想：多模態(tài)大模型或許能在認(rèn)知訓(xùn)練方面發(fā)揮重要作用。

　　帶著這一想法和諸多疑問，微軟亞洲研究院與上海市精神衛(wèi)生中心展開了深入探討與合作。上海市精神衛(wèi)生中心(俗稱“600號”)系上海交通大學(xué)醫(yī)學(xué)院附屬醫(yī)院，有著雄厚的技術(shù)實力和豐富的臨床經(jīng)驗。開發(fā)個性化認(rèn)知訓(xùn)練框架“憶我”主要與老年精神科團隊合作，該科室作為上海交通大學(xué)阿爾茨海默病診治中心，是全國最早從事阿爾茨海默研究的科室，2022年被評為國家核心高級認(rèn)知障礙診療中心(全國唯一獲批精神?？漆t(yī)院)，并獲得“全國優(yōu)秀記憶門診”、“記憶門診培訓(xùn)基地”稱號。圍繞阿爾茨海默病發(fā)病機制這一課題，該科室展開了卓有成效的工作，形成了一定的研究特色。團隊對于認(rèn)知障礙的診治，倡導(dǎo)“從不太早，永不言遲”，并創(chuàng)新地提出“老年認(rèn)知障礙防治上海防治模式”，希望為健康老齡提供切實有用的幫助。

　　通過與中心專家的交流，研究員們了解到，當(dāng)前臨床上的認(rèn)知訓(xùn)練主要依靠照護者或治療師自行開展，或使用軟件驅(qū)動的數(shù)字療法開展。前者依賴大量人力，成本高昂，給照護者帶來了沉重的負(fù)擔(dān);后者則往往類似于標(biāo)準(zhǔn)化考試，缺乏靈活性，患者僅能解答預(yù)設(shè)的謎題，與提高認(rèn)知所需的記憶訓(xùn)練相去甚遠。此外，現(xiàn)有的數(shù)字療法在軟件應(yīng)用的便捷性、互動性和直觀性方面也存在一定不足，影響了患者的依從性(病人按照醫(yī)生規(guī)定進行治療的行為)。就認(rèn)知障礙患者而言，持之以恒的訓(xùn)練對于緩解癥狀至關(guān)重要。

　　上海市精神衛(wèi)生中心老年科副主任醫(yī)師岳玲指出：“認(rèn)知障礙影響的記憶類型多樣，包括工作記憶、情景記憶和語義記憶等，但現(xiàn)有訓(xùn)練任務(wù)的設(shè)計較為單一，限制了訓(xùn)練內(nèi)容的廣度，很多老人也曾反映游戲內(nèi)容‘枯燥’、‘沒意思’。在多模態(tài)大模型出現(xiàn)之前，軟件驅(qū)動的認(rèn)知訓(xùn)練主要集中于工作記憶訓(xùn)練，而對于與患者日常生活密切相關(guān)的情景記憶和語義記憶訓(xùn)練則鮮有涉及。特別是對于阿爾茨海默病患者，最早受損的往往是與自我相關(guān)的記憶。多模態(tài)大模型的智能化和個性化特點，為認(rèn)知訓(xùn)練提供了新的可能性，使其更貼近日常生活?！?/p>

　　漲知識：

　　工作記憶：指進行臨時信息處理的能力，如心算或復(fù)述新聞內(nèi)容。當(dāng)這部分記憶受損時，患者可能在對話中忘記早先提及的信息。

　　情景記憶：涉及自我的記憶，例如記得早餐吃了什么，到過某地或與某人的對話內(nèi)容等。

　　語義記憶：也稱為知識記憶，涵蓋廣泛的事實性知識，例如知道法國的首都是巴黎。

　　基于微軟Azure OpenAI服務(wù)，讓認(rèn)知訓(xùn)練既通用又個性化

　　綜合上海市精神衛(wèi)生中心專家的建議與患者的需求，微軟亞洲研究院的研究員們從易用性、界面友好性、功能專業(yè)性和入門難易度等多個維度出發(fā)，開發(fā)了個性化認(rèn)知訓(xùn)練框架“憶我”(ReMe)。該工具以微軟 Azure OpenAI 服務(wù)為基礎(chǔ)模型，具備即時交互響應(yīng)功能，支持文字、圖像、語音等多種模態(tài)的輸入輸出，以對話機器人的形式為用戶提供全新的認(rèn)知訓(xùn)練體驗。

　　“憶我”應(yīng)用界面

　　“將多模態(tài)大模型的通用能力與專業(yè)知識相結(jié)合，應(yīng)用到認(rèn)知訓(xùn)練領(lǐng)域，打造一個專業(yè)的領(lǐng)域智能體，是我們面臨的一個挑戰(zhàn)?！蔽④泚喼扪芯吭焊呒壯芯繂T王子龍表示，“此前，我們已經(jīng)開展了一系列研究，探索如何通過思維鏈(Chain of Thoughts)、檢索增強生成(Retrieval Augmented Generation, RAG)等技術(shù)，使多模態(tài)大模型能夠更好地整合專有領(lǐng)域知識，從而優(yōu)化智能代理的行為邏輯和性能。這些研究確保了智能代理能夠使用更新和更全面的領(lǐng)域知識，保持其在特定領(lǐng)域中發(fā)揮最前沿的能力，更好地進行交互和訓(xùn)練任務(wù)?！?/p>

　　從使用流程和功能來看，個性化認(rèn)知訓(xùn)練框架“憶我”首先通過手機或可穿戴設(shè)備上傳個人記憶內(nèi)容，隨后采用更貼近生活的方式，進行個體化的情景記憶或世界知識的開放性記憶訓(xùn)練。研究員們還提供了一個訓(xùn)練框架，讓該領(lǐng)域的醫(yī)生等研究者可以利用內(nèi)置的認(rèn)知游戲模板快速創(chuàng)建個性化的訓(xùn)練游戲。除此之外，該工具還包括交互式的評估，以便追蹤患者的認(rèn)知水平，并根據(jù)需要調(diào)整訓(xùn)練任務(wù)。

　　不僅如此，微軟亞洲研究院與上海市精神衛(wèi)生中心還在不斷向該訓(xùn)練框架擴展更多訓(xùn)練功能和任務(wù)，除了開放性的和個體化的訓(xùn)練任務(wù)外，通過語音對話的自然交互體驗，也兼容并實現(xiàn)已被驗證有效的成熟認(rèn)知訓(xùn)練任務(wù)。例如鍛煉思維靈活性的顏色識別、鍛煉工作記憶的數(shù)學(xué)運算等。同時，微軟亞洲研究院也在嘗試基于傳感器技術(shù)，通過可穿戴設(shè)備以機會感知(opportunistic sensing)的方式記錄日常生活中的重要節(jié)點和事件，促進更便捷的個性化個人記憶訓(xùn)練。

　　推進臨床證據(jù)獲得，釋放人工智能在醫(yī)療領(lǐng)域的更大價值

　　“在此次合作中，微軟亞洲研究院所展現(xiàn)出的開放合作精神、專業(yè)技術(shù)實力和快速創(chuàng)新能力，給我們留下了深刻的印象。這些特質(zhì)對于推動技術(shù)在醫(yī)療健康領(lǐng)域的應(yīng)用至關(guān)重要。接下來，上海市精神衛(wèi)生中心計劃以此框架為基礎(chǔ)，設(shè)計認(rèn)知訓(xùn)練的新方法，開展一系列嚴(yán)謹(jǐn)?shù)呐R床實驗，驗證這種個性化認(rèn)知訓(xùn)練框架的有效性，以獲得更多的臨床證據(jù)。”岳玲醫(yī)生表示。

　　隨著證據(jù)的逐步積累，微軟亞洲研究院將持續(xù)對個性化認(rèn)知訓(xùn)練框架“憶我”進行改進和迭代，期望該工具能夠逐漸擴展應(yīng)用范圍，最終能夠在社區(qū)和家庭環(huán)境中幫助提升認(rèn)知障礙患者的健康水平，減輕看護人員和家屬的負(fù)擔(dān)。

　　除了認(rèn)知訓(xùn)練，基于多模態(tài)大模型的代理干預(yù)技術(shù)未來有望應(yīng)用于更廣泛的領(lǐng)域，例如情緒調(diào)節(jié)、習(xí)慣改善以及孤獨癥等輔助干預(yù)。微軟亞洲研究院副院長邱鋰力博士表示，微軟亞洲研究院將繼續(xù)通過研究與創(chuàng)新，推動人工智能技術(shù)在臨床決策、疾病預(yù)測、藥物發(fā)現(xiàn)等醫(yī)療健康領(lǐng)域的應(yīng)用，進而幫助醫(yī)療機構(gòu)提高醫(yī)療服務(wù)的質(zhì)量和效率，為患者帶來更精準(zhǔn)、更個性化的治療方案。

　　注：本文所述的微軟亞洲研究院在醫(yī)療健康領(lǐng)域的研究均為科研探索性質(zhì)，且均在專業(yè)醫(yī)療和醫(yī)學(xué)研究機構(gòu)的合作指導(dǎo)下進行，旨在推動科學(xué)進步并為人類未來的醫(yī)療健康應(yīng)用提供理論和技術(shù)支持。所有研究均嚴(yán)格遵守微軟負(fù)責(zé)任的 AI 流程的指導(dǎo)，并遵循公平、包容、可靠性與安全性、透明、隱私與保障、負(fù)責(zé)的原則。文中所提及的技術(shù)和方法目前均處于研究和開發(fā)階段，尚未形成商業(yè)產(chǎn)品或服務(wù)，也不構(gòu)成任何醫(yī)療建議或治療方案。我們鼓勵讀者在面對健康問題時咨詢合格的醫(yī)療專業(yè)人士。