知覺信息的表達是知覺研究的基本問題，是研究其它各個層次認知過程的基礎。 知覺過程是從那里開始的？外在物理世界的那些變量具有心理學的知覺意義？ 作為知覺的計算模型計算的對象是什么？這些圍繞知覺信息表達的問題是建立任何知覺和跟知覺有關的學說和理論模型， 無論是人類的還是計算機的，都必須首先回答的問題。知覺信息表達的研究可以有不同層次的問題， 包括諸如知覺組織的問題、知覺學習的問題、知覺動態記憶的問題、以及面孔識別的問題等。
將在計算理論層次、 腦的知識表達層次和計算機實現層次上， 把認知神經科學實驗研究和計算機視覺研究結合起來，將對上述科學問題提出嶄新的理論（或思想）和解決的方法。

學習是基本的認知活動,是經驗與知識的積累過程，也是對外部事物前后關聯地把握和理解的過程，以便改善系統行為的性能。
學習的神經生物學基礎是神經細胞之間的聯系結構突觸的可塑性變化， 已成為當代神經科學中一個十分活躍的研究領域。突觸可塑性條件即在突觸前纖維與相聯的突后細胞同時興奮時, 突觸的連接加強。1949年，加拿大心理學家Hebb提出了Hebb學習規則，他設想在學習過程中有關的突觸發生變化， 導致突觸連接的增強和傳遞效能的提高。Hebb學習規則成為連接學習的基礎。 神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡。Kohonen提出自組織映射網絡。 Haken根據協同形成結構，競爭促進發展的規律，將協同的非線性動力理論與神經網絡有機結合， 提出了協同聯想記憶網絡。Amari提出用微分流形和統計推理來研究神經網絡。 在Amari理論的基礎上史忠植等提出了一種神經場模型，由場組織模型和場效應模型構成。
感知學習是發生在感知水平上的學習,主要研究如何從低級的傳感器輸入的原始數據獲取相關的抽象數據。感知學習主要考慮通過視覺和聽覺的學習，研究從非結構與半結構信息到結構信息變換方法，研究圖像的語義描述及其快速提取技術，研究感知學習中的注意機制與元認知等。
認知學習理論認為在人的行為背后都有一個相應的思維過程，行為的變化是可觀察的，并且通過行為的變化也可以推斷出學習者內心的活動。在認知學習理論中，如Ausubel提出的有意義學習理論（又稱同化理論），其核心思想是獲得新信息主要取決于認知結構中已有的有關觀念；意義學習是通過新信息與學習者認知結構中已有的概念相互作用才得以發生；由于這種相互作用的結果，導致了新舊知識意義的同化。Gagne提出的信息加工學習理論則將學習過程類比成計算機的信息加工過程，學習結構由感受登記器、短時記憶、長時記憶、控制器、輸出系統組成，認知過程可分為選擇性接收、監控、調節、復述、重構。在這個信息加工過程中，非常關鍵部分是執行控制和期望。執行控制是指已有的學習經驗對當前學習過程的影響，期望是指動機系統對學習過程的影響，整個學習過程都是在這兩個部分的作用下進行的。
內省學習是一種自我反思、自我觀察、自我認識的學習過程。在領域知識和范例庫的支持下，系統能夠自動進行機器學習算法的選擇和規劃，更好進行海量信息的知識發現。
內隱學習就是無意識獲得刺激環境復雜知識的過程。在內隱學習中，人們并沒有意識到或者陳述出控制他們行為的規則是什么，但卻學會了這種規則。在80年代中期之后，內隱學習成了心理學界、尤其是學習和認知心理領域最熱門和最受關注的課題，成了將對認知心理學的發展產生深遠影響的最重要課題之一。內隱學習具有以下三個特點：

人類進化過程中，語言的使用使大腦兩半球功能分化。語言半球的出現使人類明顯有別于其他靈長類。一些研究表明，人腦左半球同串行的、時序的、邏輯分析的信息處理有關，而右半腦同并行的、形象的、非時序的信息處理有關。
語言是以語音為外殼、以詞匯為材料、以語法為規則而構成的體系。語言通常分為口語和文字兩類。口語的表現形式為聲音，文字的表現形式為形象。口語遠較文字古老，個人學習語言也是先學口語，后學文字。
語言是最復雜、最有系統、而應用又最廣的符號系統。語言符號不僅表示具體的事物、狀態或動作，而且也表示抽象的概念。漢語以其獨特的詞法和句法體系、文字系統和語音聲調系統而顯著區別于印歐語言，具有音、形、義緊密結合的獨特風格。概念是反映事物的特有屬性的思維形態，概念與語詞有密切的聯系。概念的產生和存在，必須依附于語詞。語詞所以能夠表示其它事物，就是由于人們頭腦中有相應的概念。所以，語詞是概念的語言形式，概念是語詞的思想內容。
從神經、認知和計算三個層次上研究漢語，給予我們開啟智能之門極好的機遇。漢語的認知心理學研究已有多年歷史，取得了世界一流的研究成果。但這些研究多側重于漢字與詞匯，對更高層次的句法和語句加工尚需深入探討。對整個言語鏈的研究還不夠系統，特別是對腦的語言加工機制知之不多。在智能系統領域，我國對漢語計算機信息處理極為重視，曾投入大量資金，支持計算語言學、機器翻譯和自然語言理解系統的研究和開發，取得了一大批重要成果。但就整體而言，語言信息的智能處理存在許多懸而未決的問題，其解決必須需要以認知科學的研究為基礎，以新的理論為指導才有可能取得突破。
1991年Mayeux 和Kandel在Wernicke-Geschwind模型基礎上提出新的語言信息處理模型。聽覺輸入的語言信息由聽皮層傳至角回，然后至Wernicke區，再傳到Broca區。視覺輸入的語言信息直接從視覺聯合皮層傳至Broca區。對一個詞的視知覺與聽知覺是由感覺模式不同的通路相互獨立地處理的。這些通路各自獨立地到達Broca區，以及與語言含義和語言表達相關的更高級區域。大腦中語言處理通路的每一步工作機理都有待深入研究.
用數學方法研究語言，尋找語言結構的形式、模型和公式，使語言的語法規則能象數學符號和公式一樣具有系統化、形式化的特點，可以用來生成無限的句子。美國著名語言學家Chomsky于1956提出了語言的形式文法,為語言信息處理建立了理論基礎。 1996年，Yip和Sussman提出在語音學規則中使用雙向約束傳播機理，可以解釋神經水平的聽覺信號怎樣對應思維層次的符號。

記憶是人腦對過去經驗中發生過的事物的反映，是新獲得行為的保持。由于記憶，人才能保持過去的反映，使當前的反映在以前反映的基礎上進行，使反映更全面、更深入。也就是有了記憶，人才能積累經驗，擴大經驗。
人類記憶有三種類型：感覺記憶、短時記憶和長時記憶。刺激作用停止后，它的影響并不立刻消失，可以形成后象。視覺后象最為明顯。后象可以說是最直接、最原始的記憶。后象只能存在很短的時問，如最鮮明的視覺后象也不過持續幾十秒鐘，這就是感覺記憶。短時記億的時間間隔比感覺記憶的要長些。但是，存儲材料的時間也只有一分鐘左右，或者甚至更短些。長時記憶是指保持時間在一分鐘以上信息存儲。人類的記憶可以分為過程記憶和命題記憶。過程記憶是保持有關操作的技能，主要由知覺運動技能和認知技能組成。命題記憶是存儲用符號表示的知識，反映事物的實質。命題記憶更進一步分為情景記憶和語義記憶。前者是存儲個人發生的事件和經驗的記憶形式。后者是存儲個人理解的事件的本質的知識，即記憶關于世界的知識。
1974年，Baddeley和Hitch在模擬短時記憶障礙的實驗基礎上提出了工作記憶的三系統概念，用“工作記憶”代替了原來“短時記憶”的概念。Baddeley認為工作記憶指的是一種系統，它為復雜的任務比如言語理解、學習和推理等提供臨時的儲存空間和加工時所必需的信息，工作記憶系統能同時儲存和加工信息，這和短時記憶概念僅強調儲存功能是不同的。工作記憶分成三個子成分，分別是中樞執行系統、視空初步加工系統和語音環路。大量行為研究和神經心理學上的許多證據表明了三個子成分的存在，有關工作記憶的結構和作用形式的認識也在不斷地豐富和完善。人們發現工作記憶與語言理解能力、注意及推理等聯系緊密，工作記憶蘊藏智能的玄機。

50年代中期以來，隨著認知心理學的興起，人們重新認識注意在人類大腦信息加工中的重要性，提出了若干注意模型。其中有代表性的是注意的過濾模型和衰減模型，它們屬于知覺選擇模型。這兩種模型把注意機制定位于信息加工的知覺階段，在識別之前實現信息選擇。與知覺選擇模型形成對照的是反應選擇模型，它認為注意的作用不是選擇刺激，而是選擇對刺激的反應。該模型認為，所有的信息都可以進入高級處理階段，但只有最重要的信息才會引起中樞系統的反應。這兩類模型的側重點不同，知覺選擇模型強調集中注意，而反應選擇模型則注重分配注意。兩者爭論的焦點是注意機制在信息加工中的位置。注意的中樞能量模型就是在這一背景下產生的。該模型的理論基礎是信息系統的有限加工能力。它避開了注意機制在信息加工中的位置這個難題，使知覺選擇模型和反應選擇模型的實驗結果在形式上得到了統一；但缺點是沒有揭示注意所涉及的信息加工過程。
隨著腦成像技術和神經生理研究的迅速發展，使得把注意網絡從其他信息處理系統中分離出來的努力成為現實。利用正電子斷層掃描(PET)和功能磁共振成像(fMRI)技術，可以較精確地測量在完成特定的注意任務時大腦各區域腦血流的變化(rCBF)，從而確定各個注意子網絡的功能結構和解剖定位。 80年代初期，Treisman提出的特征整合模型把注意和知覺加工的內部過程緊密地結合起來，并用“聚光燈”形象地比喻注意的空間選擇性。根據這一模型，視覺處理過程被分為兩個相互聯系的階段，即預注意和集中注意階段。前者對視覺刺激的顏色、朝向和運動等簡單特征進行快速、自動的并行加工，各種特征在大腦內被分別編碼，產生相應的“特征地圖”。特征地圖中的各個特征構成預注意的表象。預注意加工是一個“自下而上”的信息處理過程，并不需要集中注意。特征地圖中的各個特征在位置上是不確定的，要獲得物體知覺就需要依靠集中注意，通過“聚光燈”對“位置地圖”進行掃描，把屬于被搜索目標的各個特征有機地整合在一起，實現特征的動態組裝。1989年， Gray指出集中注意可以引起與被注意事件相關的神經元的同步發放，同步發放通常表現為40周左右的同步振蕩。這一發現為注意的特征整合模型提供了神經生理證據。
根據已有的研究結果，Posner把注意網絡分為三個子系統：前注意系統、后注意系統和警覺系統。前注意系統主要涉及額葉皮層、前扣帶回和基底神經節。后注意系統主要包括上頂皮層、丘腦枕核和上丘。警覺系統則主要涉及位于大腦右側額葉區的藍斑去甲腎上腺素到皮層的輸入。這三個子系統的功能可以分別概括為定向控制、指導搜索和保持警覺。

意識也許是人類大腦最大的奧秘和最高的成就之一。自1879年現代心理學建立以來，意識就成為心理學的主要研究對象。 James認為，心理學是研究意識的科學。但由于方法問題，不可能對意識進行具體的科學研究。 20世紀20年代興起的行為主義心理學，不承認意識的存在。50年代出現的認知心理學重新提出意識問題，并且從知覺和覺知入手研究意識。對知覺的研究已取得較大的進展，但目前對覺知及其它問題的研究仍處于初步階段。
對意識給予統一、確切的科學定義在當前是十分困難的。不同的領域，對意識的理解也是不同的。諾貝爾獎獲得者Crick認為，意識所涉及的是注意和短時記憶相結合的神經機制，可以用科學的方法去研究[4]。Crick關于意識的驚人假設和通過視覺注意和短時記憶研究視覺意識的具體建議，引起了大批認知心理學家、神經科學家和計算神經科學家的廣泛興趣。
80年代末90年代初在視覺生理研究方面有一個重大的發現：從不同的神經元的發放中記錄到同步振蕩現象，這種大約40Hz的同步振蕩現象被認為是聯系不同圖像特征之間的神經訊號。Crick和Koch提出視覺注意的40Hz振蕩的模型。并推測神經元的40Hz同步振蕩可能是視覺中不同特征進行“捆綁”的一種形式。至于“自由意志”，Crick認為它與意識有關，牽涉到行為和計劃的執行。
另一位諾貝爾獎獲得者Eccles，熱衷于意識問題的研究。他與哲學家Popper合著的“自我與大腦”一書中，發表了“三個世界”的哲學觀點。認為世界1包括所有物質世界(大腦也在內)，世界2包括人的精神世界，世界3包括人的社會、語言、科學、文化等活動。他后期的著作中，根據神經系統的結構和功能，提出“樹突子”(dendron)的假設，樹突子是神經系統的基本結構和功能單元，由100 個左右頂部樹突構成。估計在人腦中有40萬個樹突子。他進而又提出“心理子”(Psychon)的假設，世界2的心理子與世界1的樹突子相對應。由于樹突中的微結構與量子尺度相近，所以量子物理有可能用于意識問題。
意識是一個復雜的問題，應該找一個切入點，并且結合當前可用的技術手段進一步深入地研究。研究意識可以將覺知（awareness）和非覺知作為切入點，找到神經相關物在腦活動中的區別。