Work package 2

Работен пакет 2

Постигнати резултати през I етап

След анализ на съществуващите данни за структурата и връзките на мозъчните области, участващи в съзнателното възприемане на зрителната информация, беше решено да се използва атлас на човешкия мозък със свободен достъп, тъй като в него има данни не само за мозъчната кора, а и за дълбоките мозъчни структури, вземащи участие в този процес. Разработена е архитектура на spike timing невронен модел, включваща всички структури на човешкия мозък, с използване на данни от атласа Talairah със свободен достъп. Използвана е частта от съществуващ наш модел за преобразуване на зрителните стимули във входен сигнал за модела. Връзките в модела са пластични, което позволява неговото обучение с подходящ входен сигнал.

Резултатите са представени на една международна конференция и са приети за публикуване в поредица с ИР. Част от резултатите са описани в доклад, подаден за рецензиране в конференция, която е реферирана в Scopus.

Фигура 1. Структура на тримерния модел на мозъка. Сините точки показват позициите на невроните, а червените звезди – позициите на EEG електродите по повърхността на скалпа на човека.

Фигура 2. Разположение на фоторецепторните клетки върху равнината на зрителния стимул и проекциите на таламуса.

Моделът е имплементиран на езика Python с библиотеката NEST Simulator и е обучен с EEG данни от първия пилоте експеримент. Изследвано е разпределението на началните и обучените параметри на модела. Изследвана е активността в областите на EEG електродите при стимулация на модела със запис на мозъчната активност при изпълнение на зрителна задача. Изследвана е активността в модела, както и в отделни негови структури (таламуса и зрителната кора, както и позициите на електордите) при подаване на сигнал от зрителен стимул.

За целите на синхронизацията и обработката на експерименталните данни е разработена база данни.

Резултатите са публикувани в една статия с ИФ, а част от тях са описани в докалд, приет за представяне на международна конференция, материалите от която предстои да бъдат публикувани в издание с ИР. Част от резултатите са описани в доклад, подаден за рецензиране в конференция, която е реферирана в Scopus.

Фигура 2. Активност в областите на 19-те EEG електрода по време на зрителната стимулация.

Фигура 4. Схема на базата от данни "PPSCPCRVIDB".

Сайтът на проекта е създаден и се обновява периодично.

Постигнати резултати през II етап

Моделът е имплементиран и на двата суперкомпютъра в ИИКТ-БАН. ▶ Демо

Извършен е класификационен анализ на EEG записите от проведените опити. Получени са класификационни резултати след прилагане на базови класификатори: Liner discriminant analysis (LDA), Support vector machine (SVM) и Logistic regression (LogReg) върху скаларни ERP и спектрални признаци.

SNN моделът е обучен с EEG записите от експерименталните данни, тестван е с входен сигнал, генериран от зрителните стимули и е извършено сравнение на честотните характеристики на модел по време и след обучението. Установено е, че STDP правилото позволява моделът да се научи да реагира на зрителна стимулация посредством записите от повърхността на мозъчната кора.

На база на EEG записите са получени и топографски карти, отразяващи свързаните със събития потенциали (event related potentials (ERP)) на мозъчната кора. Макар те да могат да послужат за анализ на измерваната EEG активност, информацията за дълбоките мозъчни структури не може да бъде наблюдавана на тях.

Изследване на процеса на обучение при хората, базиран на класификацията на характеристиките на единичен стимул – доминиране и групиране на цветовете, както и на тяхната комбинация посредством правила за сливане на информация, способни да обработват и обединяват двусмислени, неточни и дори противоречиви данни: правилото за нормализиран конюнктивен консенсус (НКК), дефинирано в теорията за Бейс, и съвременното вероятностно правило за пропорционално преразпределение на конфликта № 5 (ВППК5), дефинирано в рамките на теорията на Дезер-Смарандачи за правдоподобни и парадоксални разсъждения.

За целите на обработката и достъпа до създадената на I етап база данни беше разработена Web услуга, чиято работа беше анализирана.

Предвидени бяха 2 публикации в реферирани издания за този етап. Резултатите са публикувани в една статия с ИФ, две приети за публикуване статии в издания с SJR и един доклад в реферирана в Scopus конференция. Резултатите от симулационните изследвания на SNN модела бяха докладвани на международна научна конференция в началото на септември и предстои да бъдат подготвени като публикация, която да се рецензира и евентуално приеме за публикуване в издание с SJR. Резултатите са популяризирани с 3 доклада на две международни научни конференции. Успешно е разработен преддипломен проект на тема “Класификационен анализ на ЕЕГ сигнали от визуално-моторна задача“ от студент в магистърска програма по Информатика, ФМИ СУ. Работата по тематика продължава в рамките на текущо разработвана от него дипломна работа.

Тази дейност ще се извършва периодично при получаване на нови резултати.

Work package 2

Results achieved during stage I

After analyzing the existing data on the structure and connections of the brain areas involved in the conscious perception of visual information, it was decided to use an atlas of the human brain with free access, since it contains data not only on the cerebral cortex, but also on the deep brain structures taking part in this process. A spike timing neural model architecture was developed, including all structures of the human brain, using data from the open-access Talairah atlas. The part of an existing model of ours was used to convert the visual stimuli into an input signal for the model. The connections in the model are plastic, allowing it to be trained with an appropriate input signal.

The results have been presented at an international conference and have been accepted for publication in an SJR series. Part of the results are described in a paper submitted for peer review at a conference that is referenced in Scopus.

Figure 1. Структура на тримерния модел на мозъка. Сините точки показват позициите на невроните, а червените звезди – позициите на EEG електродите по повърхността на скалпа на човека.

Figure 2. Разположение на фоторецепторните клетки върху равнината на зрителния стимул и проекциите на таламуса.

The model is implemented in the Python language with the NEST Simulator library and trained with EEG data from the first pilot experiment. The distribution of the initial and trained parameters of the model was investigated. The activity in the areas of the EEG electrodes during stimulation of the model with a recording of the brain activity while performing a visual task was investigated. The activity in the model, as well as in its separate structures (the thalamus and the visual cortex, as well as the positions of the electrodes) during the presentation of a signal from a visual stimulus, was investigated.

A database has been developed for the purpose of synchronization and processing of experimental data.

The results have been published in an article with IF, and some of them are described in a paper accepted for presentation at an international conference, the materials of which are to be published in an edition with SJR. Part of the results are described in a paper submitted for peer review at a conference that is referenced in Scopus.

Figure 2. Activity in areas of 19 EEG electrodes during visual stimulation.

Figure 4. Schema of the "PPSCPCRVIDB" database.

The project site has been created and is updated periodically.

Results achieved during stage II

The model has been implemented on both supercomputers at IICT-BAS. ▶ Demo

A classification analysis of the EEG recordings from the conducted experiments was performed. Classification results were obtained by applying baseline classifiers—Linear Discriminant Analysis (LDA), Support Vector Machine (SVM), and Logistic Regression (LogReg)—to scalar ERP and spectral features.

The SNN model was trained using EEG recordings from experimental data and tested with an input signal generated by visual stimuli; the frequency characteristics of the model were then compared before and after training. It was found that the STDP rule enables the model to learn to respond to visual stimulation based on recordings from the surface of the cerebral cortex.

Based on the EEG recordings, topographic maps reflecting the event-related potentials (ERPs) of the cerebral cortex were also generated. Although these can be used to analyze the measured EEG activity, information regarding deep brain structures cannot be observed in them.

An investigation into the human learning process, based on the classification of single-stimulus characteristics—specifically color dominance and grouping—as well as their combination via information-fusion rules capable of processing and integrating ambiguous, imprecise, and even contradictory data: the Normalized Conjunctive Consensus (NCC) rule, defined within Bayesian theory, and the modern probabilistic rule for the proportional redistribution of conflict No. 5 (PRPC5), defined within the framework of the Dezert-Smarandache theory of plausible and paradoxical reasoning.

For the purposes of processing and accessing the database created during the first stage, a web service was developed, the operation of which was analyzed.

Two publications in peer-reviewed journals were planned for this stage. The results have been disseminated through one article in a journal with an Impact Factor (IF), two articles accepted for publication in journals indexed with an SJR (SCImago Journal Rank) indicator, and one paper presented at a conference indexed in Scopus. Findings from the simulation studies of the SNN (Spiking Neural Network) model were presented at an international scientific conference in early September; these are currently being prepared for submission, with the aim of undergoing peer review and subsequent publication in an SJR-indexed journal. Furthermore, the results were showcased via three presentations at two international scientific conferences. A pre-graduation project titled “Classification Analysis of EEG Signals from a Visuomotor Task” was successfully developed by a student in the Master’s program in Informatics at the Faculty of Mathematics and Informatics, Sofia University (FMI SU). Work on this topic is continuing as part of the student’s ongoing Master’s thesis.

This activity will be performed periodically as new results are received.