Курс "Управление знаниями"

Часть 1 - Краткое содержание курса

~
Лекция 1 - 15 февраля 2003 г.

Управление Знаниями - общие сведения.

Общая структура курса.
1. Общие закономерности и представления о природе и структуре знаний. Проблемы формализации знаний. Науки о знаниях (эпистемология, онтология, гносеология и т.д.)
2. Построение обобщенной модели обработки знаний как объекта ИИ в парадигме ООП (данные как знания плюс методы их обработки) на примере экспертной системы и других систем.
3. Применение этой обобщенной модели в бизнес приложениях (business intelligence - BI).

Взаимодействие всех трех компонент курса в рамках парадигмы мыследеятельности Г.П. Щедровицкого (см его сайт)

Определения знания -

Функциональное -

З - это то, что дает возможность КС (киб системе) действовать. Область определения и контекст этого определения. Недостатки этого определения. Приемлемость для конкретных приложений.

Разновидности З -

ЕН (ест-научное) и гуманитарное знание.
ЕН факт и гуманитарный факт.

Трудность (невозможность) наблюдать то и другое в чистом виде - рассмотрение ЕН и гуманитарное знания как составной части всякого знания.

Источники Знания - (по Сковороде) - R, M, S (Reality, Mind, Sign structures)

Проблемы извлечения З из каждого источника.

Ошибки отождествления З и источника З. Текст (как знаковая структура - S) - это НЕ знание, а только его источник.

Врожденное и приобретенное З.

Рекурсивное определение З -

Определение соотношения знания и информации через приращение - формула Брукса:

K(S) + delta(I) = K(S + delta(S))

Обсуждение формулы Брукса.

Обобщение формулы Брукса - знания-данные (S) могут быть неаадитивны и знания-методы обработки (K) могут также изменяться при поступлении новой информации:

K(S) + delta(I) = K1(S1)

Лекция 2 - 22 февраля 2003 г

Стратегии получения знаний.

Проблема отчуждения знаний. Усвоение (приобретение) неотчужденных знаний – подражание, примеры.

М1-S-М2 - Обучение знаниям при помощи учителя.

Схемы отчуждения и кодирования знаний из трех источников (М, R.S) (реификация) :

М1-S1-М2-S2 - приобретение знаний эксперта (М1) при помощи посредника (инженера знаний - М2) и их кодирование (S2) для КС.

R-М-S - приобретение знаний из внешнего мира (R) и их кодирование (S) при помощи посредника (инженера знаний). Познание внешнего мира.

S1-М-S2 - - приобретение знаний из знаковых структур (текстов) (S1) и их кодирование (S2) при помощи посредника (инженера знаний). Обучение знаниям по уже существующим текстам.

Вместо инженера знаний человек в этих схемах может выступать и в других ролях - исследователя, студента и т.д. - в зависимости от контекста.

ООП парадигма построения процессора знаний (данные-знания плюс методы их обработки). Соответствие этой парадигмы формуле Брукса.

Проблема кибернетизации (усвоения процессором знаний) художественных текстов (ХТ). ХТ как сложные методы обработки сложных знаний (теорема существования). Эффект Марка Твена.

Акт номинации как первичнй акт усвоения знаний.

Три формы работы сознания (по терминологии средневековой схоластики - три действия разума): порождение новых знаний из уже существующих:
- понятие
- суждение
- умозаключение

Соответствие этих схем вырожденной формуле Брукса
K(S) = K1(S1)

Лекция 3. - 1 марта 2003 г.

ОНТОЛОГИЯ, РЕИФИКАЦИЯ И ФОРМАЛИЗАЦИЯ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ.

Определение онтологии, реификации.

Типы формализмов для описания знаний :

- формальная логика (начиная от силлогизмов Аристотеля и до языка пролог),
- фреймы (Марвин Минский)
- семантические сети или концептуальные графы (Джон Сова)
- продукционные модели (сети "если-то" - если "машина не заводится" - то "вставлен ли ключ зажигания" - если "вставлен ли ключ зажигания" то "..." и т.д.)
- тройки объект-свойство-значение (SVO - subject-verb-object или SPV - subject-property-value см часть 2)
- нейронные сети (например - сети Кохонена)

Лекция 4. - 15 марта 2003 -

SEMANTIC WEB

Понятие предметной области - ПО (knowledge domain). Инженерия знаний как конструирование ПО в машинном формате.

Науки о знаниях. Общее понятие об онтологии.

Semantic Web

Еще раз о формализмах представления знаний (фреймы, предикаты, семантические сети, и т.д.)

Semantic Web - новый бандвагон
"Старый" WWW - его семиотика - HTML - его достоинства и недостатки.

Дивный новый мир WWW - Semantic Web - его семиотика:
Cинтактика - XML,
Cемантика - RDF
и
Прагматика - агенты.

Онтология - формальное описание ПО.
Язык Protege-2000 - язык описания онтологий в формате RDF (базируется на тройках - object-attribute-value - например - яблоко-цвет-красный). Иногда эти тройки трактуют как простейшие атомы или скорее молекулы знания типа "Маша ела кашу" - subject-verb-object. В любом случае их легко обрабатывать.

Пример онтологии из сайта Protege - онтология редакции газеты.

Ссылки на Protege-2000 и близкие темы -

Rykov-prt.narod.ru

Лабораторная работа 3. Закодировать на Protege-2000 простейшую онтологию (подробнее cм на сайте Лабораторные работы).

Лекция 5. - 22 марта 2003

Экспертные системы

ЭС как заменитель эксперта в ПО (самое общее определение). ЭС первого рода и второго рода. Классическая схема ЭС. ЭС Мицар. Ее особенности. Лабораторная работа 2.

Более подробно об ЭС см ниже - в части 2 -
Отрывок из бакалаврской работы Дениса Захожего с обзором ЭС (2003 г.)

Лекция 6. - 5 апреля 2003

Языки кодирования знаний высокого уровня

Язык KNOW. Лабораторная работа 1.
Кодирование простейших единиц знания - отдельных слов, понятий. Как они объединяются в элементарные структуры. Концептуальные графы Д. Совы.

Некоторые результаты гносеологии - 1. Куб Эшера. Границы познания.
(Графическое творчество этого математика легко найти в любой "искалке" по его фамилии - например - из http://mkesher.chat.ru/:
Однажды мне позвонила одна дама и сказала:
"Господин Эшер, я восхищаюсь Вашими произведениями. В Вашем произведении "Рептилиии" мне представляется реинкорнация" (так на сайте - правильно "реинкарнация").
Я ответил:
"Мадам, если Вы это видите, то это так и есть".)
Кстати, в этом диалоге затрагивается еще одна проблема гносеологии.

Лекция 7 и 8. - 12 апреля 2003

ДВОЙНАЯ ЛЕКЦИЯ

Управление знаниями в бизнесе.

KM2B


Управление знаниями в бизнесе (KM2B). KM2B - это технология, включающая в себя комплекс формализованных методов по: поиску и извлечению знаний, структурированию и систематизации знаний, анализу знаний, обновлению (актуализации) знаний, распространению знаний, генерации новых знаний.

Базовые характеристики знания в KM2B:
- содержательный компонент (идея и контекст применения)
- актуальность (знания должны быть "живыми" - сохранять полезность для субъекта)
- отчуждаемость,
- повторяемость результатов использования знаний при использовании их другими людьми.

Виды знаний в организации - невыявленные, выявленные, но не отчужденные (записки), выявленные и отчужденные. Способы отчуждения, выявления знаний в производственном коллективе и вовлечения их в коллективное пользование.
Как коллектив организации умеет работать со знаниями, генерировать новые. Способы создания среды, в которой возможно было бы формальное и неформальное обучение и передача знаний, организации общения людей друг с другом, нахождение человека, обладающего нужным знанием.



Применение изученных парадигм определения знания к особенностям их обработки в экономических системах.

Блеф, блеск, нищета и завышенные ожидания начального периода KM2B.

Различение информации и знания. Знание как ресурс.

Единицы знания в экономике. Бизнес объекты (ВО). Особенности представления знаний в ВО. Эффект задачи о родственниках (задача поручика Ржевского).


Некоторые результаты гносеологии - 2. Материальность сознания, как объективно существующей сущности гетерогенной физическим структурам человека (мышцам, нервам, биотокам, нейронам, физико-химическим процессам в нейронах).

...

...
" Знания есть совокупность понятий и представлений об объективной действительности, их внутренне взаимосвязанных систем (суждений, положений, концепций, теорий и т.д.), вырабатываемых обществом в процессе познания и преобразования мира. Зародившееся в эпоху первобытного духовно-физического синкретизма трудовой деятельности человека и продуцируемое в последующем в специализированной - научной - деятельности общества в первую очередь для достижения практических целей знание все шире охватывает объект, все глубже проникает в его тайны, т.е. развивается как в экстенсивном, так и в интенсивном плане ... "
...
А.П. Хилькевич. Проблема расширения традиционной силлогистики, -Минск: Изд БГУ, 1981. - стр. 115.

Пример общефилософского, достаточно корректного, но довольно бесполезного для практических приложений определения.
...

Термин "инженерия знаний" был изобретен Фейгенбаумом в 70-е годы.

...

RDF Triples

Сейчас самая популярная система кодирования знаний (тройками).
Info (вернее знания) expressed as triples:

Subject - Verb - Object
Or:
Subject - Property - Value

Например - - чтобы закодировать элементарное знание в виде предиката - "яблоко - красное" - нужно сначала породить такую тройку -
"яблоко-цвет-красное" - это и есть RDF triple типа Subject - Property - Value
а "Маша ела кашу" - это тройка Subject - Verb - Object

Subject, Verb and Object can all be URIs.

Ссылка на хороший курс "RDF для носорогов" (правда - на английском) содержится на сайте этого курса.

Эту ссылку можно активизировать и отсюда -

http://ryk-kypc2.narod.ru/kk.html

...

Прекрасный сайт на русском языке нашего диссидента Валентина Турчина

О КИБЕРНЕТИЧЕСКОЙ ЭПИСТЕМОЛОГИИ

В. Турчин - автор языка РЕФАЛ (см. также его шуточный текст о защите диссертации на сайте курса 1).

http://www.refal.ru/origins/epystmlg/epystmlg.htm

Содержит изложение ключевых понятий эпистемологии, прикладной философии и лингвистики и многое другое.

...

Отрывок из бакалаврской работы Дениса Захожего с обзором ЭС (2003 г.)

1. Введение
1.1 Краткий обзор области экспертных систем*.
За период с середины 60-х годов в области искусственного интеллекта достигнуты значительные успехи в создании и совершенствовании экспертных систем. Основные усилия были сосредоточены на создание высокоэффективных программ для специализированных, профессиональных предметных областей, что, с одной стороны, привело к особому вниманию к знаниям, лежащим в основе экспертной деятельности человека, но одновременно снизило интерес к проблемно-независимой теории решения задач.
Предметом теории экспертных систем служат методы и приемы конструирования человеко-машинных систем, компетентных в некоторой узкоспециальной области.
На Международной объединенной конференции по искусственному интеллекту в 1977 году Э. Фейгенбаум высказал основополагающие соображения об экспертных системах, смысл которых состоит в следующем. Большие возможности экспертной системы определяются теми знаниями, которыми она располагает, а не конкретными формализмами и схемами вывода, которые она использует. Это новое понимание отражает существенное изменение во взглядах ученых, работающих в области искусственного интеллекта. Так, например, в первом периоде исследований в области AI доминировала наивная вера в то, что немногочисленные законы логических рассуждений в сочетании с мощными вычислительными машинами позволят работать на уровне эксперта и даже превзойти человеческие возможности. По мере накопления опыта строго ограниченные возможности универсальных стратегий решения задач привели к пониманию того, что они являются слишком слабыми для решения большинства сложных задач. В результате многие исследователи, ощутив эту ограниченность, начали работать над узко очерченными прикладными задачами.
К середине 70-х годов появляются первые экспертные системы. Несколько ученых, осознавших, что знания занимают в этих системах центральное место, предприняли попытку построить исчерпывающие теории представления знаний и создать соответствующие универсальные системы. Всего несколько лет спустя стало ясно, что эти системы многого не достигли по причинам, аналогичным тем, которые обрекли на неудачу первые чересчур универсальные системы решения задач. «Знание» как цель исследования – слишком обширное и неоднородное понятие, и попытки решать основанные на знаниях задачи в общем виде являются преждевременными. С другой стороны, несколько разных подходов к представлению знаний оказались полезными в тех экспертных системах, где они были применены. Из этого опята был извлечен урок, который Фейгенбаум выразил следующим образом: знания эксперта являются решающими для высококвалифицированной деятельности, тогда как представление знаний и схемы логического вывода служат механизмами, позволяющими их использовать. Экспертные знания сами по себе представляются и необходимыми, и почти достаточными для построения экспертной системы. Это не тавтология, а эмпирический факт.
«Видимо, удел машин, не обладающих достаточными знаниями, - выполнять простейшие в интеллектуальном аспекте задачи. При наличии знаний и умелом их применении машины, суды по всему, могут сравняться или даже превзойти достижения, на которые способны специалисты люди. Знания дают силу для работы; инженерия знаний - это технология, обещающая сделать знания ценным промышленным товаром.»[1]


1.2 Цель данной работы
...
2. Экспертные системы
2.1 Инженерия знаний
Исследователи, работающие в области экспертных систем, для описания своей сферы деятельности приняли термин инженерия знаний, в котором сочетаются научный, технический и методологический аспекты. В основе инженерии (технологи) знаний лежит следующий принцип: работа на уровне хорошего эксперта редко может быть сведена к некоторому строгому алгоритмическому процессу, но, тем не менее, такая деятельность поддается компьютеризации. Выявление знаний эксперта-специалиста, их четкая формулировка и внесение их в вычислительную машину составляют главные задачи в этой области.
2.2 Что такое экспертная система?
2.2.1 Фундаментальные свойства экспертных систем
В литературе по ЭС термин «экспертная» употребляется как существенная характеристика системы. Однако в различных проектах, по-видимому, принимается как само собой разумеющееся, что важнейшие черты «экспертности» действительно могут быть указаны. Например, хотя высокое качество работы является важной характеристикой эксперта, самого по себе его недостаточно. Исследователи в области AI не будут считать экспертными системами программы для быстрого преобразования Фурье, несмотря на то, что эти программы намного лучше справляются с преобразованием Фурье, чем, скажем, система DENDRAL с задачей выявления структуры молекул. Таким образом, каковы же предположения относительно экспертов и проводимой ими работы, которые не высказаны явно, но являются центральными?
Перечислим некоторые черты, которые мы интуитивно ожидаем от эксперта. Сначала, разумеется, следует упомянуть качество поведения. Независимо от того, насколько быстро решается задача, никого не удовлетворит, если результат окажется неверным или неточным. С другой стороны, скорость, с которой достигается решение, также является существенным фактором (например, установление диагноза больного). Главным обстоятельством, влияющим на относительную скорость экспертного принятия решения, по-видимому, является тот уровень, на котором правила принятия решений и картины симптомов, которые нужно распознать. Считается что, чем выше уровень той структуры, которая распознается, тем более концептуальным будет каждый шаг логического рассуждения. Одной интересной характеристикой правил, нашедших применение в ЭС, является то, что в сущности они являются набросками, часто они берутся из самых общих соображений (т.е. являются эвристиками).
Одна характерная особенность экспертности – то, что она часто касается узких, высокоспециализированных областей. Специализация здесь, по-видимому, отражает определенное равновесие между глубиной и широтой знаний: можно много знать только относительно небольшого числа вещей.
Хотя, разумеется, в работах по ЭС главное внимание уделяется экспертности, такие системы часто проявляют и общую эрудицию. Например, хотя обычно кажется, что эксперты по чтению спектрограмм пользуются только правилами из физики и химии, но, несомненно, время от времени они обращаются к общематематическим соображениям и прибегают к несложным соображениям из области здравого смысла. Отсюда возникает требование способности тиках систем к объяснению. Сами объяснения могут служить нескольким целям, среди которых - возможность убедить наблюдателя в оправданности предпринятой цепочки рассуждений. Однако простое прослеживание тех экспертных правил, которые были использованы в данном случае, - одно из наименее удовлетворительных объяснений, которые может дать экспертная система. Интуиция человека в отношении того, что система понимает решаемую задачу, в значительно большей степени подкрепляется объяснением, даваемым в терминах основных принципов из рассматриваемой предметной области. Это соображение диктует необходимость создания ЭС, основывающих свои решения на твердом знании фундаментальных моментов из области экспертного рассмотрения.
2.2.2 Определение ЭС
Существует, по крайней мере, дюжина определений ЭС. Каждое из них по своему верно – просто это зависит от того, какую конкретную систему разрабатывал человек, дававший определение. Проще всего дать это определение, перечислив характеристики, которыми может (или скорее должна) обладать экспертная система:
· Экспертность. Высокоуровневые правила, отсутствие слепого (ненаправленного) поиска и высокое качество работы.
· Рассуждение на основе символьных вычислений.
· Интеллект. Фундаментальные принципы из предметной области и «слабые» методы логического рассуждения.
· Трудность и сложность.
· Способность переформулировать. Преобразование описания на свободном языке в форму, пригодную для применения правил.
· Рассуждения разного типа о собственной работе, в частности с целью объяснения.
· Характер задачи.
2.3 Типы экспертных систем.
Большинство применений инженерии знаний может быть отнесено к одному из нескольких типов, перечисленных ниже.

Тип - Адресуемые задачи

Интерпретация - Построение описаний ситуации по наблюдаемым данным
Прогноз - Вывод вероятных следствий из заданных ситуаций
Диагностика - Заключения о нарушениях в системе исходя из наблюдений
Проектирование - Построение конфигураций объектов при ограничениях
Планирование - Проектирование плана действий
Мониторинг - Сравнение наблюдений с критическими точками плана
Отладка - Выработка рекомендаций по устранению неисправностей
Ремонт - Выполнение плана применения выработанной рекомендации
Обучение - Диагностика, отладка и исправление поведения ученика
Управление - Интерпретация, прогноз, мониторинг поведения системы и ее ремонт

(Список открытый - приведены наиболее распространенные "классические" приложения)

3. Jess – Java Expert System Shell
3.1 Что такое Jess?
Jess – это оболочка для разработки экспертных систем, написанная Эрнестом Фридманом-Хиллом (Sandia National Laboratories in Livermore, CA) полностью на языке Java компании Sun Microsystems. Jess изначально являлся производной языка CLIPS , но вскоре вырос в полную, отдельную, динамическую среду. Используя Jess, можно построить Java приложение с возможностью обработки данных на основе знаний, представленных в виде правил. На данный момент, Jess - один из наиболее легких и быстрых оболочек для экспертных систем.
Скриптовый язык Jess все еще совместим с CLIPS, т.е. большинство скриптов Jess будут работать в CLIPS и наоборот. Как и CLIPS, ядро Jess использует Rete алгоритм для обработки фактов и правил, который является очень эффективным и быстродействующим при решении задач множественного сравнивания (many-to-many matching problem). Jess также включает в себя возможность создания, управления и вызова методов Java объектов.
3.2 Принятия решений в Jess
Понимание данного алгоритма может быть полезным для планирования ЭС. Типичные ЭС имеют установленное множество правил, в то время как база знаний(фактов) может меняться. Очевидным решением является создание списка правил и постоянное его просматривание на предмет совпадения условий правила с существующими в системе фактами. Но данное решение неэффективно, так как в большинстве случаев результат цикла будет повторяться довольно часто. Вместо этого используется более эффективный Rete алгоритм. Он запоминает результат последнего тестирования знаний и заново проверяет только вновь появившиеся факты.
Данный алгоритм реализован с помощью построения системы узлов, каждый из которых представляет одно или несколько проверок фактов для каждого правила. Факт, который добавляется или удаляется из базы знаний, обрабатывается этой системой узлов. В основе этой системы лежат конкретные действия. Когда набор фактов доходит до основания системы, запускается действие из этого правила (которому и удовлетворяет система фактов). Сама по себе система состоит из двух типов узлов: с одним входом и с двумя входами. Узлы с одним входом осуществляют проверку отдельных фактов, с двумя - параллельные проверки и группирующие функции. Например, условие существования фактов ((x) (y) (z)) и ((x) (y)) будут обрабатываться следующим образом...
...

...

Работы сдавших зачет - на сайте - http://ryk-kypc2.narod.ru/zct.html

~
З - знание
КС - кибернетическая система
ООП - объектно-ориентированная парадигма
ЕН - естественно-научное
ИИ - искусственный интеллект
ЭС - экспертная система
ПО - проблемная область
SW - Semantic Web
~

RDF для оленей и носорогов в 500 слов (английских)



===========

The Resource Description Framework in 500 Words

In RDF, a resource is something that can be identified on the web, and a
description is something said about a resource.

Resources have a universal identifier, their URI, which in the case of web
pages will be the same as their address (URL). Pretty much anything else
(people, places, concepts) can be identified in this way by assigning URIs.

Descriptions are made in RDF using statements. A statement has three parts:
the thing being described, the characteristic of interest and the value of
that characteristic. For example, the thing being described might be a book,
say "A Christmas Carol" the characteristic of interest (property) the
author, and the value would be the name of the author, "Charles Dickens". In
RDF jargon these three parts are the subject, predicate and object, and
together they form a triple. The subject is a resource, the predicate is a
special kind of resource and the object can either be another resource or
literal text.

As resources, the predicates are also unambiguously identified using URIs,
but the same predicate can be reused - when we ask who the author of a book
is, we are asking the same question whichever book we are talking about or
whoever happens to be the author. If we want to say more about a particular
book, we can use its identifier in another statement with a different
predicate (property) and object (value). The basic nature of resources and
predicates are defined with the help of a small set of terms in the RDF
specifications. This set of terms allows us to give more information in our
descriptions, so we could define a classification 'paperback' and say that
this is a kind of book. The class 'book' would in turn be described as a
kind of resource.

In this example we have identified the author by the text of their name, but
usually it is more useful to use a URI as that will be unambiguous, and
allow us to say things about the author as well. So we could have another
statement that says that this author's favourite colour is blue. Our
knowledge can be expressed as these two statements, but as the author is a
common feature in this we can visualise the knowledge as the three resources
linked by the connection from the book to the author and from the author to
the colour blue. This structure is an example of an RDF graph. There may be
other resources that we can link in as well, like books by the same author
or the book's publisher.

It isn't entirely always necessary or even possible to identify resources.
Let's say we have identified the book and the colour blue. We can still make
two statements, "A Christmas Carol" was written by X, and the X's
favourite colour is blue. This can still be visualised as a graph with three
items and two connections, and in the jargon X is known as a blank node.

rdfs:seeAlso http://w3.org/RDF


--------------------------------

I know this would be 1000 times better with pictures, but the challenge was for
something that could work on mailing list.

If anyone would care to write another 500 words covering reification, FOL and
the syntaxes, I'll happily append them.

Danny 2002-11-17

Comments appreciated

http://dannyayers.com/docs/rdf500.htm

Рекомендуется посмотреть сам сайт Danny http://www.dannyayers.com

///