情感感情計算的概念相關文獻有哪些情感眉毛計算機(情感感情計算的研究方向)

情感感情計算的“情感感情計算”的危機危難與哲學錯誤

目前，計算機理論界所開展的針對各式生理指標方面的“情感感情計算”方法，主要存在如下危機危難根本無法解決：

1。要建立情感感情的識別系統和表達系統，就必須對情感感情的基本類型進行劃分，以確立情感感情的基本模態。不過，情感感情的基本類型究竟應該依據什麼原則和標準來劃分，有何理論依據？

2。對於同一類型情感感情，不管是情感感情感受強度，還是情感感情表達強度和情感感情生理喚醒程度，皆可以采用不同的生理指標進行計算和測量，究竟應該選用哪一個生理指標為主要尺度呢？

3。對於同一類型情感感情采用同一個生理指標進行測量和計算時，因為受到很多環境因素、人體其它生理因素和精神因素的作用與影響，其測量值的差別性和波動性怎樣消除。

4。不同的感情類型所產生的區別生理指標之間常常沒有通約性，那麼，不同類型的感情之間怎樣進行相互比較和統一度量？

5。人的感情內容和感情方式是極其富饒的，各式情感感情之間相互滲透、相互作用、相互轉化，常常有著相當復雜而且變化頻繁的關系，那麼對於情感感情的計算就需要真真正正天文數字般的感情數據資源庫，還need海量的計算模型與計算工作量，而人腦為啥呢並不需要？

6。有些復雜而微妙的感情，如懷疑、猶豫、迷茫、憐憫、尷尬、自我表現等，其生理指標的變化常常極為微弱而且短暫，對於它們的計算和測量怎樣進行？

7。有些情感感情（如“對敵人的仇恨”與“對親人的生氣”）常常具有相同或相近的生理指標，但兩者所表達的價值內涵常常相差非常大，怎樣進行區別？

8。情感感情的感受強度和表達強度與各式生理指標的變化量度通常不是成線性函數關系，多數都是呈非線性的、不連續的、模糊的、概率性的、波動的函數關系，因此采用生理指標的變化量來計算情感感情的感受強度和表達強度，怎樣消除其誤差性和不確定性。

9。如果能夠計算出人的感情感受強度、表達強度和生理喚醒程度，這幾個計算值又代表著怎樣的客觀價值意義？怎樣使電腦或機器人具有和諧、友好、靈活的人機界面？

也就是說，對於情感感情的感受強度、表達強度和生理喚醒指標的計算事實上隻是對於情感感情的表面形式的計算，而不是對於情感感情的客觀內容的計算，因此沒有可能實現真真正正意義的“情感感情計算”。 目前，“情感感情計算”理論中主要存在如下唯心主義和形而上學的哲學錯誤，必須進行深刻的反思：

1。唯心主義錯誤。當前的“情感感情計算”理論以唯心主義的看法來看待情感感情的哲學本質，把情感感情與它所相應的客觀存在割裂開來，局限於在主觀領域內來剖析情感感情現象與情感感情規律。唯心主義者往往把主觀與客觀割裂開來，它否認，任何主觀意識都產生於客觀存在，都是人腦對某一種客觀存在的反映，那怕有時是一種不真實的、不正確的、不算很全面的、甚至是顛倒的反映；它不曉得，要認識一種主觀意識的哲學本質必須從它所反映的客觀存在中找答案，要剖析一種主觀意識的變化規律性應該從它所反映的客觀存在的規律性上著手；它不曉得，情感感情作為人腦的一種主觀心理活動，必然對應著某一種客觀存在，必定是人腦對某一種客觀存在的主觀反映；它在剖析情感感情現象與情感感情規律時，總是試圖在“需要”、“欲望”、“體驗”、“態度”等主觀心理領域內找答案，而不能從其所反應的客觀存在中找答案。

2。形而上學的表面性錯誤。當前的“情感感情計算”理論以形而上學的表面性看法來看待情感感情的客觀內容，混淆瞭情感感情的客觀內容與其表現形式的根本區別，它認為情感感情計算的核心就是對情感感情所激發的生理指標的計算。形而上學的表面性看法總是傾向於從事物的表現形式（或外部現象）來認識事物。它否認，事物的表現形式與其客觀內容有著本質的不同，事物的表現形式通常隻能片面地、不準確地、不穩定地反映事物的客觀內容；它總是把情感感情的表現形式當作情感感情的客觀內容本身。

3。形而上學的孤立性錯誤。當前的“情感感情計算”理論以形而上學的孤立性看法來看待情感感情的運行流程，把情感感情與認知及意志割裂開來，認為情感感情是單獨運行的，與人的認知過程和意志過程無關。形而上學的孤立性看法總是傾向於依據事物本身的運動與變化情況來認識該事物，而不是依據事物與其它事物的相互聯系與相互作用與影響上來認識該事物。他們隻看見瞭情感感情對於人的活動的作用與影響與制約作用，常常看不見情感感情與認知、意志的相互聯系與相互作用與影響。

人為瞭生存和發展就必須first of all感知和瞭解各式事物的事實關系，其次要掌握這幾個事物對於人的價值關系，第3要掌握人的每個反作用於這幾個事物的生產行為或生活行為的價值關系，並且判斷、選擇、組織和實施一個最友好的行動方案。第1步由認知活動來完成，第2步由情感感情活動來完成，第3步由意志活動來完成，因此從見識到情感感情，再從情感感情到意志，是一條基本的、不可分割的人類自控行為的流水線。

由此看來，僅僅進行狹義的、孤立的感情計算，仍然不能解決人的心智活動的全部計算問題，還need實施對意志的計算，並實施對知情意的交互計算。因為意志是一種特殊情感感情，因此意志計算以及知情意的交互計算都是廣義的感情計算。

4。形而上學的片面性錯誤。當前的“情感感情計算”理論以形而上學的片面性看法看待情感感情的客觀目的，認為 “情感感情計算”的研究著重是基於兩個現實目的：一是建立和諧的人機交互環境，使計算機或機器人具有良好的人機界面，以降低使用者的勞動強度，提高使用者的工作效率，解放人的雙手；二是制作可穿戴式的計算機，以替代、補償與增強人的輔助感知功能和行為功能，尤其是幫助提高殘疾人的感知功能和行為功能。

情感感情計算的人機交互中的“情感感情計算”

守舊的人機交互，主要通過鍵盤、鼠標、屏幕等方式進行，隻追求便利和準確，無法理解和適應人的情緒或心境。而假如缺乏這種情感感情理解和表達能力，就非常難指望計算機具有類似人相同的智能，也非常難期望人機交互做到名符其實的和諧與自然。因為人類之間的溝通與交流是自然而富有感情的，於是，在人機交互的過程中，人們也很自然地期望計算機具有情感感情能力。情感感情計算（Affective Computting）就是要付與計算機類似於人相同的觀察、理解和生成各式情感感情特征的能力，最終使計算機像人一樣能進行自然、親切和生動的交互。 有關人類情感感情的進一步鉆研，早在19世紀末就進行瞭。不過，除瞭科幻小說當中，過去極少有人將“感情”和無生命的機器聯系在一起。隻有到瞭現代，隨著數字信息技術的發展，人們才開始設想讓機器（計算機）也具備“感情”。從感知信號中提取情感感情特征，剖析人的感情與各式感知信號的關聯，是國際上近幾年剛剛興起的研究方向（圖1）。

人的情緒與心境狀態的變化總是伴隨著某些生理特征或行為特征的起伏，它受到所處環境、文化背景、人的性 格等一系列因素的作用與影響。要讓機器處理情感感情，我們first of all必須探討人與人之間的交互過程。那麼人是怎樣表達情感感情，又怎樣精確地洞察到它們的呢？人民經過一系列的面部表情、肢體動作和語音來表達情感感情，又通過視覺、聽覺、觸覺來感知情感感情的變化。視洞察覺則主要通過面部表情、姿態來進行；語音、音樂那麼是主要的聽覺途徑；觸覺則包括對愛撫、沖擊、汗液分泌、心跳等現象的處理。

情感感情計算鉆石的重點就在於通過各式傳感器獲取由人的感情所引起的生理及行為特征信號，建立“情感感情模型”，從而創建感知、識別和理解人類情感感情的能力，並能針對用戶的感情做出智能、敏銳、友好反應的個人計算系統，縮短人機之間的距離，營造真真正正和諧的人機環境（圖2）。 在生活之中，人們非常難保持一種僵硬的臉部表情，通過臉部表情來展現情感感情是人們經常使用的較自然的表現方式，其情感感情表現區域主要包括嘴、臉頰、眼睛、眉毛和前額等。人在表達情感感情時，隻稍許改變一下面部的局部特征（譬如皺一下眉毛），便能反映一種心態。在1972年，著名的學者Ekman提出瞭臉部情感感情的表達方法（臉部運動編碼系統FACS）。通過不同編碼和運動單元的組合，即能在臉部形成復雜的表情變化，譬如幸福、憤怒、悲傷等。該成果已經確定被大都研究人員所接受，並被應用在人臉表情的自動識別與合成（圖3）。

隨著計算機技術的飛一般地發展，為瞭滿足通信的需要，人們進一步將人臉識別和合成的工作溶入到通信編碼中。最典型的便是MPEG4 V2視覺標準，其中定義瞭3個重要的參數集：人臉定義參數、人臉內插變換和人臉動畫參數。表情參數中具體數值的大小代表人激動的程度，可以組合多種表情以模擬混合表情。

在當前的人臉表情處理技術中，多側重於對三維圖像的更加細致的描述和建模。通常采用復雜的紋理和較細致的圖形變換算法，達到生動的感情表達效果。在此基礎上，不同的算法形成瞭不同水平的應用系統（圖4，圖5） 人的姿態一般伴隨著交互過程而發生變化，它們表達著一些信息。例如手勢的加強通常反映一種強調的心態，身體某一部位不停地擺動，則通常具有情緒緊張的傾向。相比於語音和人臉表情變化來說，姿態變化的規律性較難獲取，但因為人的姿態變化會使表述更加生動，因而人們依然對其預示瞭強烈的註意和關註。

科學工作者針對肢體運動，專門設計瞭一系列運動和身體信息捕獲設備，例如運動捕獲儀、數據手套、智能座椅等。國外一些著名的大學和跨國公司，例如麻省理工學院、IBM等則在這幾個設備的基礎上構築瞭智能空間。並且也有人將智能座椅使用於汽車的駕座上，用於動態監測駕駛人員的情緒狀態，並提出適時警告。意大利的一些科學工作者還通過一系列的姿態剖析，對辦公室的工作人員進行情感感情自動剖析，設計出更舒適的辦公環境。 在人類的交互過程中，語音是人們最直接的交流通道，人民經過語音能夠明顯地感受到對方的情緒變化，例如通過特殊的語氣詞、語調發生變化等等。在人們通電話時，固然彼此看不見，但能從語氣中感覺到對方的情緒變化。例如同樣一句話“你真行”，在運用不同語氣時，可以使之成為一句贊賞的話，也可以使之成為諷刺或妒忌的話。

目前，國際上對情感感情語音的研究主要側重於情感感情的聲學特征的剖析這方面。一般而講，語音中的感情特征常常通過語音韻律的變化展現出來。例如，當一個人發怒的時刻，講話的速率會變快，音量會變大，音調會變高等，同時一些音素特征（共振峰、聲道截面函數等）也能反映情感感情的變化。中國科學院自動化研究所模式識別國傢重點實驗室的專業人士們針對語言中的焦點現象，first of all提出瞭情感感情焦點生成模型。這為語音合成中情感感情狀態的自動預測推算提供瞭根據，結合高質量的聲學模型，使得情感感情語音合成和識別率先達到瞭現實操作水平。 固然人臉、姿態和語音等均可以單獨地預示一定的感情，但人在相互交流的過程中卻總是通過上面信息的綜合表現來進行的。所以，惟有實現多通道的人機界面，才是人與計算機最為自然的交互方式，它集自然語言、語音、手語、人臉、唇讀、頭勢、體勢等多種交流通道為一體，並對這幾個通道信息進行編碼、壓縮、集成和融合，集中處理圖像、音頻、視頻、文本等多媒體信息。

目前，多模態技術本身也正在成為人機交互的研究熱點，而情感感情計算融合多模態處理技術，那麼可以實現情感感情的多特征融合，能夠有力地提高情感感情計算的研究深度，並促使出現高質量、更和諧的人機交互系統。

在多模態情感感情計算研究中，一個特別重要的研究分支就是情感感情機器人和情感感情虛擬人的研究。美國麻省理工學院、日本東京科技大學、美國卡內基·梅隆大學均在此范疇做出瞭較好的演示系統。目前中科院自動化所模式識別國傢重點實驗室已將情感感情處理溶入到瞭他們已有的語音和人臉的多模態交互平臺中，使其結合情感感情語音合成、人臉建模、視位模型等一系列前沿技術，構築瞭栩栩如生的感情虛擬頭像，並正在積極轉向嵌入式平臺和遊戲平臺等現實操作（圖6）。 情感感情狀態的識別和理解，那麼是付與計算機理解情感感情並做出恰如其分反應的關鍵步驟。這個步驟通常包括從人的感情信息中提取用於識別的特點，例如從一張笑臉中辨別出眉毛等，接著讓計算機學習這幾個特征以便日後能夠準確地識別其情感感情。

為瞭使計算機更好地完成情感感情識別任務，科學工作者已經對人類的感情狀態進行瞭合理而清晰的分類，提出瞭幾類基本情感感情。目前，在情感感情識別和理解的方式方法上運用瞭模式識別、人工智能、語音和圖像技術的大量研究成果。比如：在情感感情語音的聲學剖析的基礎上，運用線性統計方法和神經互聯網模型，實現瞭基於語音的感情識別原型；經過對面部運動區域進行編碼，采用H妹子等不同模型，建立瞭面部情感感情特征的識別方法；經過對人姿態和運動的剖析，探索肢體運動的感情類別等等。

然而，受到情感感情信息的捕獲技術的作用與影響，並缺乏大規模的感情數據資源，有關多特征融合的感情理解模型的研究還有待深入。隨著未來的技術進展，還將提出更有效的機器學習機制。 情感感情計算與智能交互技術試圖在人和計算機之間建立精確的自然交互方式，將會是計算技術向人類社會全面滲透的重要手段。未來隨著技術的不斷沖破，情感感情計算的應用勢在必行，其對未來平時生活的作用與影響將是方方面面的，目前俺們是可以預見的有：

情感感情計算將有效地改變過去計算機呆板的交互服務，提高人機交互的親切性和準確性。一個擁有情感感情能力的計算機，能夠對人類的感情進行獲取、分類、識別和響應，進而幫助使用者獲得高效而又親切的體驗感覺，並有效減輕人們使用電腦的挫敗感，甚至幫助人們便於理解自己和他人的感情世界。

它還可以幫到我們增添使用設備的安全性（例如當采用此類技術的系統探測到司機精力不集中時可以及時改變車的狀態和反應）、使經驗人性化、使計算機作為媒介進行學習的功能達到最佳化，並從我們身上收集反饋信息。例如，一個研究項目在汽車中用電腦來測量駕車者感受到的壓力水平，以幫助解決所謂駕駛者的“道路狂暴癥”問題。

情感感情計算和相關研究並可以給涉及電子商務范疇的企業帶來實惠。已經有研究顯示，不同的圖像可以喚起人類不同的感情。例如，蛇、蜘蛛和槍的圖片能引起畏懼，而有大量美元和金塊的圖片那麼可以讓人產生相當強烈的積極反應。假如購物網站和gupiao交易網站在規劃時研究和考慮這幾個因素的意義，將對客流量的上升產生相當積極的作用與影響。

在信息傢電和智能儀器中，增添自動感知人們的情緒狀態的功能，可以提供更好的服務。

在信息檢索應用中，通過情感感情剖析的概念解析功能，可來提升智能信息檢索的精度和效率。

在遠程教導平臺中，情感感情計算技術的應用能增添教學效果。

利用多模式的感情交互技術，可以構築更貼近人們生活的智能空間或虛擬場景等等。

情感感情計算還能應用在機器人、智能玩具、遊戲等相關產業中，以構築更加擬人化的風格和更加逼真的場景。 因為缺乏較大規模的感情數據資源，情感感情計算的發展受到一定的限制，而且多局限在語音、身體語言等具體而零散的研究范疇，僅僅依靠這幾個還難以準確地推斷和生成一自個的情感感情狀態，並進行有效的感情交互。目前，科學工作者們正在積極地探索多特征融合的感情計算理論模型。許多人認為，今後幾年情感感情計算將在這幾個方面需要取得沖破：

更加細致和準確的感情信息獲取、描述及參數化建模。

多模態的感情識別、理解和表達（圖像、語音、生理特征等）。

自然場景對生理和行為特征的作用與影響。

更加適用的機器學習算法。

海量的感情數據資源庫。 不久前，為瞭推動我國在這一范疇的研究，探討情感感情計算和智能交互技術的發展動態與趨勢，促進我國科研人員在此范疇的交流與合作，中國科學院自動化研究所、中國自動化學會、中國計算機學會、中國圖象圖形學會、中國中文信息學會、國傢自然科學基金委員會和國傢863計劃計算機軟硬件技術主題作為主辦單位，在北京主辦瞭第1屆中國情感感情計算與智能交互學術會議。

事實證明，情感感情計算的概念盡管誕生不久，但已受到學術界和產業界的高度關註，相關范疇的研究和應用正方興未艾，國傢自然科學基金委也將其列入重點項目的指南中。值得註意和提防的是，近幾年來，與情感感情計算有密切關系的普適計算和可穿戴式計算機的研究也已得到瞭興旺發達，並同樣獲得瞭國傢的大力支持。這為情感感情信息的實時獲取提供瞭非常大的便利條件，也為情感感情計算在國內的發展提供瞭更好的發展平臺。

情感感情計算的“情感感情計算”的基本內容

人們期盼著能擁有並使用更為人性化和智能化的計算機。在人機交互中，從人操作計算機，變為計算機輔助人；從人圍著計算機轉，變為計算機圍著人轉；計算機從認知型，變為直覺型。顯然，為實現這幾個轉變，人機交互中的計算機應具有情感感情能力。情感感情計算研究就是試圖創建一種能感知、識別和理解人的感情，並能針對人的感情做出智能、敏銳、友好反應的計算系統。

情感感情被用以預示各式不同的內心體驗（如情緒、心境和偏好），情緒被用以預示非常短暫但強烈的內心體驗，而心境或狀態則被用以描述強度低但持久的內心體驗。情感感情是人與環境之間某種關系的維持或改變，當客觀事物或情境與人的需要和願望符合時會引起人積極肯定的感情，而不符合時則會引起人消極否定的感情。

情感感情具有三種成分：⑴主觀體驗，即個體對不同情感感情狀態的自我感受；⑵外部表現，即表情，在情感感情狀態發生時身體各部分的動作量化形式。表情包括面部表情（面部肌肉變化所組成的模式）、姿態表情（身體其他部分的表情動作）和語調表情（言語的聲調、節奏、速度等方面的變化）；⑶生理喚醒，即情感感情產生的生理反應，是一種生理的激活水平，具有不同的反應模式。

概括來講，情感感情的重要作用主要表此刻四個方面：情感感情是人適應活著的心理工具，能激發心理活動和行為的動機，是心理活動的組織者，也是人際通信交流的重要手段。從生物進化的角度俺們是可以把人的情緒分為基本情緒和復雜情緒。基本情緒是先天的，具有單獨的神經生理機制、內部體驗和外部表現，以及不同的適應功能。人有五種基本情緒，它們分別為當前目標取得進展時的快樂，自我保護的目標受到威脅時的焦慮，當前目標不能實現時的悲傷，當前目標受挫或遭遇阻礙時的憤怒，以及與味覺（味道）目標相違背的厭惡。而復雜情緒那麼是由基本情緒的區別組合派生出來的。

情感感情測量包括對情感感情維度、表情和生理指標三種成分的測量。例如，我們要明確一自個的焦慮水平，應該使用問卷測量其主觀感受，通過記錄和剖析面部肌肉活動測量其面部表情，並用血壓計測量血壓，對血液樣本進行化驗，檢測血液中腎上腺素水平等。

確定情感感情維度對情感感情測量有重要意義，由於隻有確定瞭情感感情維度，才能對情感感情體驗做出較為準確的評估。情感感情維度具有兩極性，例如，情感感情的激動性可分為激動和平靜兩極，激動指的是一種強烈的、外顯的感情狀態，而平靜指的是一種平安穩定安靜的感情狀態。心理學的感情維度理論認為，幾個維度組成的空間包括瞭人類所有的感情。不過，情感感情到底是二維，三維，還是四維，研究者們並未達到完成共識。情感感情的二維理論認為，情感感情有兩個重要維度：⑴愉悅度（亦有人提出用趨近-躲避來代替愉悅度）；⑵激活度，即與情感感情狀態相聯系的機體能量的程度。研究發現，驚反射可用做測量愉悅度的生理指標，而皮膚電反應可用做測量喚醒度的生理指標。

在人機交互研究中已使用過許多種生理指標，例如，皮質醇水平、心率、血壓、呼吸、皮膚電活動、掌汗、瞳孔直徑、事件相關電位、腦電EEG等。生理指標的記錄需要特別規定的設備和技術，在進行測量時，研究者有時非常難分離各式混淆因素對所記錄的生理指標的作用與影響。情感感情計算鉆石的內容包括三維空間中動態情感感情信息的實時獲取與建模，基於多模態和動態時序特征的感情識別與理解，及其信息融合的論理與方法，情感感情的自動生成理論及面向多模態的感情表達，以及基於生理和行為特征的大規模動態情感感情數據資源庫的建立等。

歐洲和美國的各大信息技術實驗室正加緊進行情感感情計算系統的研究。劍橋大學、麻省理工學院、飛利浦公司等通過實施“環境智能”、“環境識別”、“智能傢庭”等科研項目來開辟這一范疇。例如，麻省理工學院媒體實驗室的感情計算小組研制的感情計算系統，通過記錄人面部表情的攝像機和連接在人身體上的生物傳感器來收集數據，緊接著由一個“情感感情助理”來調節流程以識別人的感情。假如你對電視講座的一段內容展現出困惑，情感感情助理會重放該片段或者給予解釋。麻省理工學院“氧工程”的研究人員和比利時IMEC的一份工作小組認為，開發出一種整合各式應用技術的“瑞士軍刀”或許是提供移動情感感情計算服務的關鍵。而目前國內的感情計算研究關鍵在於，通過各式傳感器獲取由人的感情所引起的生理及行為特征信號，建立“情感感情模型”，從而創建個人情感感情計算系統。研究內容主要包括臉部表情處理、情感感情計算建模方法、情感感情語音處理、姿態處理、情感感情剖析、自然人機界面、情感感情機器人等。

情境化是人機交互研究中的新熱點。自然和諧的智能化的人機界面的溝通能力特征包括：⑴自然溝通：能看，能聽，能說，能觸摸；⑵主動溝通：有預期，會提問，並及時調整；⑶有效溝通：對情境的變化敏感，理解用戶的情緒和意圖，對不同用戶、不同環境、不同任務給予不同反饋與支持。而實現這幾個特征在相當大的程度上依賴於心理科學和認知科學對人的智能和情感感情研究所取得的新進展。我們需要曉得人是怎樣感知環境的，人會產生怎樣的情感感情和意圖，人怎樣做出恰當的反應，從而幫助計算機正確感知環境，理解用戶的感情和意圖，並做出合適反應。於是，人機界面的“智能”不但應有高的認知智力，也應有高的情緒智力，從而有效地解決人機交互中的情境感知問題、情感感情與意圖的產生與理解問題，以及反應應對問題。

顯然，情感感情交流是一個復雜的過程，不但受時間、地點、環境、人物對象和經歷的作用與影響，而且有表情、語言、動作或身體的接觸。在人機交互中，計算機需要捕捉關鍵信息，洞察人的感情變化，形成預期，進行調整，並做出反應。例如，經過對不同類型的用戶建模（例如，操作方法、表情特點、態度喜好、認知風格、知識背景等），以識別用戶的感情狀態，利用有效的線索選擇適合的用戶模型（例如，依據可能的用戶模型主動提供相應有效信息的預期），並以適合當前類型用戶的方式呈現信息（例如，呈現方式、操作方法、與知識背景有關的決策支持等）;在對目前的操作做出即時反饋的並 且，還要對情感感情變化背後的目的形成新的預期，並激活對應的數據庫，及時主動地提供用戶所需的新信息。

情感感情計算是一個高度綜合化的技術范疇。通過計算科學與心理科學、認知科學的結合，研究人與人交互、人與計算機交互過程中的感情特點，設計具有情感感情反饋的人機交互環境，將有可能實現人與計算機的感情交互。迄今為止，有關研究已在人臉表情、姿態剖析、語音的感情識別和表達方面取得瞭一定的進展。

目前情感感情計算研究面臨的挑戰仍為多方面的：⑴情感感情信息的獲取與建模，例如，細致和準確的感情信息獲取、描述及參數化建模，海量的感情數據資源庫，多特征融合的感情計算理論模型；⑵情感感情識別與理解，例如，多模態的感情識別和理解；⑶情感感情表達，例如，多模態的感情表達（圖像、語音、生理特征等），自然場景對生理和行為特征的作用與影響；⑷自然和諧的人性化和智能化的人機交互的實現，例如，情感感情計算系統需要將大量廣泛分佈的數據整合，緊接著再以個性化的方式呈現給每個用戶。

情感感情計算有寬廣的應用前景。計算機經過對人類的感情進行獲取、分類、識別和響應，進而幫助使用者獲得高效而又親切的體驗感覺，並有效減輕人們使用電腦的挫敗感，甚至幫助人們理解自己和他人的感情世界。計算機的感情化設計可以幫到我們增添使用設備的安全性，使經驗人性化，使計算機作為媒介進行學習的功能達到最佳化。在信息檢索中，通過情感感情剖析的概念解析功能，可來提升智能信息檢索的精度和效率。

展望現代科技的潛力，我們預期在未來的world世界中將也許會充滿運作良好、操作容易、甚至具有情感感情特點的計算機。

情感感情計算的“情感感情計算”的相關研究

目前人工智能的研究發展已經達到瞭較高的水平，同時它的研究內容也在一步步擴展和延伸。對人的感情和認知的研究是人工智能的高檔階段，它的研究將會大大促進擬人控制理論、情感感情機器人、人性化的商品設計和市場開發等方面的進展，為最終營造一個人與人、人與機器和諧的社會環境做出貢獻。心理學傢認為，人工智能下一個重大沖破性的發展可能來自與其說付與機器更加的多的邏輯智能，倒不如說付與計算機更加的多的感情智能。對人的感情和認知的研究是在人工智能理論框架下的一個質的進步。由於從廣度上講它擴展並包容瞭感情智能，從深度上講感情智可以在人類智能思維與反應中展現瞭一種更高層次的智能。對人的感情和認知的研究必將為計算機的未來應用體現一種全新的方向。在這個范疇的研究中主要包括情感感情計算（Affective Computing）、人工心理（Artificail Psychology）和感性工學（Kansei Engineering）等。

人工心理理論是由中國北京科技大學教授、中國人工智能學會人工心理與人工情感感情專業委員會主任王志良教授提出來的。他指出，人工心理就是利用信息科學的手段，對人的心理活動（主要是人的感情、意志、性格、創造）的更全面再一次人工機器（計算機、模型算法等）模擬，其目的在於從心理學廣義層次上研究人工情感感情、情緒與認知、動機與情緒的人工機器實現的問題。

日本從上世紀九十年代就開始瞭感性工學（Kansei Engineering）的研究。所謂感性工學就是將感性與工程結合在一直的技術，是在感性科學的基礎上，通過剖析人類的感性，把人的感性需要加入到商品設計、制造中去，它是一門從工程學的角度實現能給人類帶來喜悅和滿足的商品制造的技術科學⓸。日本已經形成舉國研究感性工學的高潮。

歐盟國傢也在積極地對情感感情信息處理技術（表情識別、情感感情信息測量、可穿戴計算等）進行研究。歐洲很多大學成立瞭情感感情與智能關系的研究小組。其中比較著名的有：日內瓦大學 Klaus Soberer領導的情緒研究實驗室。佈魯塞爾自由大學的D。 Canamero領導的情緒機器人研究小組以及英國伯明翰大學的A。 Sloman領導的 Cognition and Affect Project。在市場應用方面，德國Mehrdad Jaladi-Soli等人在2001年提出瞭基於EMBASSI系統的多模型購物助手。EMBASSI是由德國教導及研究部（BMBF）資助並由20多個大學和公司共同參與的，以考慮消費者心理和環境需求為研究目標的互聯網型電子商務系統。

我國對人工情感感情和認知的論理和技術的研究始於20世紀90年代，多數研究工作是針對人工情感感情單元理論與技術的實現。哈爾濱工業大學研究多功能感知機，主要包括表情識別、人臉識別、人臉檢測與跟蹤、手語識別、手語會成、表情合成、唇讀等內容，並與海爾公司合作研究服務機器人。清華大學進行瞭基於人工情感感情的機器人控制體系結構的研究。北京交通大學進行多功能感知機和情感感情計算的融合研究。中國科學院自動比研究所主要研究基於生物特征的身份驗證。

當前國際人工智能范疇對人工情感感情合認知范疇的研究日趨活躍。美國人工智能協會（AAAI）在1998，1999和2004年連續組織召開專業的學術會議對人工情感感情和認知進行研討，國內的研究者也開展瞭很多的研究工作和學術活動。2003年12月在北京召開瞭第1屆中國情感感情計算及智能交互學術大會。2005年10月在北京召開的第1屆情感感情計算和智能交互國際學術會議，集合瞭世界一流的感情計算、人工情緒和人工心理鉆石的著名專業人士學者。這說明咱們國的人工情感感情和人工心理的研究在一步步展開並向國際水平看齊。

對情感感情計算的研究大體可以分為情感感情識別、情感感情建模和情感感情反應三多數，這其中情感感情識別無疑是最基礎，也是最要緊的部分。

總的來說，對人的感情和認知的研究，包括對情感感情識別的研究，不管在按道理來講還是實踐中都業已受到瞭研究者寬廣的關註，對這一問題的研究具有重要的論理和應用價值。對這一問題的研究將最終推動人工智能的進一步發展，實現人機和諧的目標。

情感感情計算的人機交互中的“情感感情計算”

守舊的人機交互，主要通過鍵盤、鼠標、屏幕等方式進行，隻追求便利和準確，無法理解和適應人的情緒或心境。而假如缺乏這種情感感情理解和表達能力，就非常難指望計算機具有類似人相同的智能，也非常難期望人機交互做到名符其實的和諧與自然。因為人類之間的溝通與交流是自然而富有感情的，於是，在人機交互的過程中，人們也很自然地期望計算機具有情感感情能力。情感感情計算（Affective Computting）就是要付與計算機類似於人相同的觀察、理解和生成各式情感感情特征的能力，最終使計算機像人一樣能進行自然、親切和生動的交互。 有關人類情感感情的進一步鉆研，早在19世紀末就進行瞭。不過，除瞭科幻小說當中，過去極少有人將“感情”和無生命的機器聯系在一起。隻有到瞭現代，隨著數字信息技術的發展，人們才開始設想讓機器（計算機）也具備“感情”。從感知信號中提取情感感情特征，剖析人的感情與各式感知信號的關聯，是國際上近幾年剛剛興起的研究方向（圖1）。

人的情緒與心境狀態的變化總是伴隨著某些生理特征或行為特征的起伏，它受到所處環境、文化背景、人的性 格等一系列因素的作用與影響。要讓機器處理情感感情，我們first of all必須探討人與人之間的交互過程。那麼人是怎樣表達情感感情，又怎樣精確地洞察到它們的呢？人民經過一系列的面部表情、肢體動作和語音來表達情感感情，又通過視覺、聽覺、觸覺來感知情感感情的變化。視洞察覺則主要通過面部表情、姿態來進行；語音、音樂那麼是主要的聽覺途徑；觸覺則包括對愛撫、沖擊、汗液分泌、心跳等現象的處理。

情感感情計算鉆石的重點就在於通過各式傳感器獲取由人的感情所引起的生理及行為特征信號，建立“情感感情模型”，從而創建感知、識別和理解人類情感感情的能力，並能針對用戶的感情做出智能、敏銳、友好反應的個人計算系統，縮短人機之間的距離，營造真真正正和諧的人機環境（圖2）。 在生活之中，人們非常難保持一種僵硬的臉部表情，通過臉部表情來展現情感感情是人們經常使用的較自然的表現方式，其情感感情表現區域主要包括嘴、臉頰、眼睛、眉毛和前額等。人在表達情感感情時，隻稍許改變一下面部的局部特征（譬如皺一下眉毛），便能反映一種心態。在1972年，著名的學者Ekman提出瞭臉部情感感情的表達方法（臉部運動編碼系統FACS）。通過不同編碼和運動單元的組合，即能在臉部形成復雜的表情變化，譬如幸福、憤怒、悲傷等。該成果已經確定被大都研究人員所接受，並被應用在人臉表情的自動識別與合成（圖3）。

隨著計算機技術的飛一般地發展，為瞭滿足通信的需要，人們進一步將人臉識別和合成的工作溶入到通信編碼中。最典型的便是MPEG4 V2視覺標準，其中定義瞭3個重要的參數集：人臉定義參數、人臉內插變換和人臉動畫參數。表情參數中具體數值的大小代表人激動的程度，可以組合多種表情以模擬混合表情。

在當前的人臉表情處理技術中，多側重於對三維圖像的更加細致的描述和建模。通常采用復雜的紋理和較細致的圖形變換算法，達到生動的感情表達效果。在此基礎上，不同的算法形成瞭不同水平的應用系統（圖4，圖5） 人的姿態一般伴隨著交互過程而發生變化，它們表達著一些信息。例如手勢的加強通常反映一種強調的心態，身體某一部位不停地擺動，則通常具有情緒緊張的傾向。相比於語音和人臉表情變化來說，姿態變化的規律性較難獲取，但因為人的姿態變化會使表述更加生動，因而人們依然對其預示瞭強烈的註意和關註。

科學工作者針對肢體運動，專門設計瞭一系列運動和身體信息捕獲設備，例如運動捕獲儀、數據手套、智能座椅等。國外一些著名的大學和跨國公司，例如麻省理工學院、IBM等則在這幾個設備的基礎上構築瞭智能空間。並且也有人將智能座椅使用於汽車的駕座上，用於動態監測駕駛人員的情緒狀態，並提出適時警告。意大利的一些科學工作者還通過一系列的姿態剖析，對辦公室的工作人員進行情感感情自動剖析，設計出更舒適的辦公環境。 在人類的交互過程中，語音是人們最直接的交流通道，人民經過語音能夠明顯地感受到對方的情緒變化，例如通過特殊的語氣詞、語調發生變化等等。在人們通電話時，固然彼此看不見，但能從語氣中感覺到對方的情緒變化。例如同樣一句話“你真行”，在運用不同語氣時，可以使之成為一句贊賞的話，也可以使之成為諷刺或妒忌的話。

目前，國際上對情感感情語音的研究主要側重於情感感情的聲學特征的剖析這方面。一般而講，語音中的感情特征常常通過語音韻律的變化展現出來。例如，當一個人發怒的時刻，講話的速率會變快，音量會變大，音調會變高等，同時一些音素特征（共振峰、聲道截面函數等）也能反映情感感情的變化。中國科學院自動化研究所模式識別國傢重點實驗室的專業人士們針對語言中的焦點現象，first of all提出瞭情感感情焦點生成模型。這為語音合成中情感感情狀態的自動預測推算提供瞭根據，結合高質量的聲學模型，使得情感感情語音合成和識別率先達到瞭現實操作水平。 固然人臉、姿態和語音等均可以單獨地預示一定的感情，但人在相互交流的過程中卻總是通過上面信息的綜合表現來進行的。所以，惟有實現多通道的人機界面，才是人與計算機最為自然的交互方式，它集自然語言、語音、手語、人臉、唇讀、頭勢、體勢等多種交流通道為一體，並對這幾個通道信息進行編碼、壓縮、集成和融合，集中處理圖像、音頻、視頻、文本等多媒體信息。

目前，多模態技術本身也正在成為人機交互的研究熱點，而情感感情計算融合多模態處理技術，那麼可以實現情感感情的多特征融合，能夠有力地提高情感感情計算的研究深度，並促使出現高質量、更和諧的人機交互系統。

在多模態情感感情計算研究中，一個特別重要的研究分支就是情感感情機器人和情感感情虛擬人的研究。美國麻省理工學院、日本東京科技大學、美國卡內基·梅隆大學均在此范疇做出瞭較好的演示系統。目前中科院自動化所模式識別國傢重點實驗室已將情感感情處理溶入到瞭他們已有的語音和人臉的多模態交互平臺中，使其結合情感感情語音合成、人臉建模、視位模型等一系列前沿技術，構築瞭栩栩如生的感情虛擬頭像，並正在積極轉向嵌入式平臺和遊戲平臺等現實操作（圖6）。 情感感情狀態的識別和理解，那麼是付與計算機理解情感感情並做出恰如其分反應的關鍵步驟。這個步驟通常包括從人的感情信息中提取用於識別的特點，例如從一張笑臉中辨別出眉毛等，接著讓計算機學習這幾個特征以便日後能夠準確地識別其情感感情。

為瞭使計算機更好地完成情感感情識別任務，科學工作者已經對人類的感情狀態進行瞭合理而清晰的分類，提出瞭幾類基本情感感情。目前，在情感感情識別和理解的方式方法上運用瞭模式識別、人工智能、語音和圖像技術的大量研究成果。比如：在情感感情語音的聲學剖析的基礎上，運用線性統計方法和神經互聯網模型，實現瞭基於語音的感情識別原型；經過對面部運動區域進行編碼，采用H妹子等不同模型，建立瞭面部情感感情特征的識別方法；經過對人姿態和運動的剖析，探索肢體運動的感情類別等等。

然而，受到情感感情信息的捕獲技術的作用與影響，並缺乏大規模的感情數據資源，有關多特征融合的感情理解模型的研究還有待深入。隨著未來的技術進展，還將提出更有效的機器學習機制。 情感感情計算與智能交互技術試圖在人和計算機之間建立精確的自然交互方式，將會是計算技術向人類社會全面滲透的重要手段。未來隨著技術的不斷沖破，情感感情計算的應用勢在必行，其對未來平時生活的作用與影響將是方方面面的，目前俺們是可以預見的有：

情感感情計算將有效地改變過去計算機呆板的交互服務，提高人機交互的親切性和準確性。一個擁有情感感情能力的計算機，能夠對人類的感情進行獲取、分類、識別和響應，進而幫助使用者獲得高效而又親切的體驗感覺，並有效減輕人們使用電腦的挫敗感，甚至幫助人們便於理解自己和他人的感情世界。

它還可以幫到我們增添使用設備的安全性（例如當采用此類技術的系統探測到司機精力不集中時可以及時改變車的狀態和反應）、使經驗人性化、使計算機作為媒介進行學習的功能達到最佳化，並從我們身上收集反饋信息。例如，一個研究項目在汽車中用電腦來測量駕車者感受到的壓力水平，以幫助解決所謂駕駛者的“道路狂暴癥”問題。

情感感情計算和相關研究並可以給涉及電子商務范疇的企業帶來實惠。已經有研究顯示，不同的圖像可以喚起人類不同的感情。例如，蛇、蜘蛛和槍的圖片能引起畏懼，而有大量美元和金塊的圖片那麼可以讓人產生相當強烈的積極反應。假如購物網站和gupiao交易網站在規劃時研究和考慮這幾個因素的意義，將對客流量的上升產生相當積極的作用與影響。

在信息傢電和智能儀器中，增添自動感知人們的情緒狀態的功能，可以提供更好的服務。

在信息檢索應用中，通過情感感情剖析的概念解析功能，可來提升智能信息檢索的精度和效率。

在遠程教導平臺中，情感感情計算技術的應用能增添教學效果。

利用多模式的感情交互技術，可以構築更貼近人們生活的智能空間或虛擬場景等等。

情感感情計算還能應用在機器人、智能玩具、遊戲等相關產業中，以構築更加擬人化的風格和更加逼真的場景。 因為缺乏較大規模的感情數據資源，情感感情計算的發展受到一定的限制，而且多局限在語音、身體語言等具體而零散的研究范疇，僅僅依靠這幾個還難以準確地推斷和生成一自個的情感感情狀態，並進行有效的感情交互。目前，科學工作者們正在積極地探索多特征融合的感情計算理論模型。許多人認為，今後幾年情感感情計算將在這幾個方面需要取得沖破：

更加細致和準確的感情信息獲取、描述及參數化建模。

多模態的感情識別、理解和表達（圖像、語音、生理特征等）。

自然場景對生理和行為特征的作用與影響。

更加適用的機器學習算法。

海量的感情數據資源庫。 不久前，為瞭推動我國在這一范疇的研究，探討情感感情計算和智能交互技術的發展動態與趨勢，促進我國科研人員在此范疇的交流與合作，中國科學院自動化研究所、中國自動化學會、中國計算機學會、中國圖象圖形學會、中國中文信息學會、國傢自然科學基金委員會和國傢863計劃計算機軟硬件技術主題作為主辦單位，在北京主辦瞭第1屆中國情感感情計算與智能交互學術會議。

事實證明，情感感情計算的概念盡管誕生不久，但已受到學術界和產業界的高度關註，相關范疇的研究和應用正方興未艾，國傢自然科學基金委也將其列入重點項目的指南中。值得註意和提防的是，近幾年來，與情感感情計算有密切關系的普適計算和可穿戴式計算機的研究也已得到瞭興旺發達，並同樣獲得瞭國傢的大力支持。這為情感感情信息的實時獲取提供瞭非常大的便利條件，也為情感感情計算在國內的發展提供瞭更好的發展平臺。

人類的感情是否能被計算

能被計算，處於發展之中，情感感情計算是人工智能研究中最關鍵部分之一，實際上對於情感感情不要求精確統一的計算，而要加入隨機值。情感感情分原發性與繼發性情感感情是對強AI最有用的分法，原發性情感感情是設計者所要完成設計的一部分，繼發性情感感情那麼是AI教導訓練人員要培養AI發展、變動的一部分。情感感情計算與欲望也可以這樣說動機明確相關，人或智能選擇當前最要緊任務序列時，判斷的根據就是情感感情欲望計算的最終，驅動人或智能主動做事的動力也是它運算得到的最終，所以，要實現強人工智能，就務必要有情感感情計算。但要註意和提防，機器不必照搬人類所有情感感情，例如xingyu不必有，能理解人或動物的就行，要讓智能認識到智能不需要性，性的數據結構及運算隻用於生物對象，非生物是不執行性的運算的。