Форум Сообщества Аналитиков

Дисциплины => Обучение => Тема начата: Galogen от 05 Сентября 2008, 18:13:24

Название: Дисциплина "Управление данными"
Отправлено: Galogen от 05 Сентября 2008, 18:13:24
Так случилось, что в этом году мне придется читать данный предмет и лекции, и практику.

К большому несчастью, преподаватель, который читал этот курс, скоропостижно скончался. Светлая ему память.

Дисциплина оказалась бесхозной. Читать кроме меня некому. Я вел лабораторный практикум. Он был направлен на освоение FoxPro. На мой взгляд он не отвечает цели и назначению курса.

Материалы лекционного курса отсуствуют. Есть только программа (http://dit.isuct.ru/index.php?option=com_content&task=view&id=13&Itemid=28)

Привожу выдержку и ГОС:
Основные понятия банков данных и знаний; информация и данные; предметная область банка данных; роль и место банков данных в информационных системах; пользователи банков данных; преимущества централизованного управления данными; база данных как информационная модель предметной области; система управления базой данных (СУБД); администратор базы данных; архитектура банка данных; инфологическое проектирование базы данных; выбор модели данных; иерархическая, сетевая и реляционная модели данных, их типы структур, основные операции и ограничения; представление структур данных в памяти ЭВМ; современные тенденции построения файловых систем; обзор промышленных СУБД; тенденции развития банков данных.

Поскольку курс будет читаться в следующем семестре, то у меня примерно 5 месяцев на подготовку лекций и возможно нового практикума.

Если внимательно посмотреть на программу курса и то, что сказано в ГОСе, то можно увидеть явное рассхождение.
Мне не нравится ни ГОС, ни программа.

Но ГОС "что дышло, куда повернул туда и вышло"

Программа же, как мне кажется, не отвечает заявленным целям и при этом базируется на не существующих знаниях
Цитировать
на знании принципов ООП, методов визуального программиро-вания в средах Visual FoxPro и Delphi, навыков программирования в среде ОС Windows 9X\NT\XP
Правда параллельно курсу идет курс по ООП. Но реально там далеко не ООП, а скорее как работать в Дельфи, что конечно не одно и тоже.

Кроме того, хотя мне и приходилось вести лабораторный практикум и я знаю FoxPro достаточно, чтобы не краснеть перед студентами, но тем не менее он мне не очень интересен. Хотя в пользу выбора его говорит тот факт, что мы имеем право его использовать в учебном процессе на законном основании.

Сам практикум тоже в большей степени ориентирован на овладение работой в среде FoxPro, а не принципы работы с данными как таковыми. Кроме того, как я полагаю, изучая параллельно Delphi, тогда уж лучше сделать курс по использованию Delphi для создани приложений баз данных.

На мой взгляд очень мало уделяется внимание работы с языком SQL. Хотя я пытался самолично внедрять задачи, связанные с приобретением навыков использования SQL, это не очень приветствовалось вторым преподавателем - лектором. Потому пришлось отказаться...

Совершенно не уделялось внимание проектированию БД, созданию схем БД и использованию языка манипуляций DDL.

Потому обращаюсь к аудитории за помощью. Поскольку есть возможность сделать сбалансированный крус, соответствующий современному понимаю управления данными.

Нужно - темы и краткое содержание для лекций, темы темы по лабораторным работам и возможно советы по инструментарию.

Курс рассчитан на 15 лекций (пара) и 15 лабораторных (пара) + курсовая работа по проектированию БД и приложения.

Предложения по лабораторным работам:
1. Оставить FoxPro, на лекциях рассматривать примеры управления данными на базе FoxPro. Включить работу по использованию DDL и SQL - опыт есть на базе упражнений с сайта sql-ex.ru

2. Создать практикум на базе Delphi (источник Фаронов Программирование баз данных в Delphi 7). Использовать InterBase или FireBird. Включить такие элементы как триггеры, хранимые процедуры, UDF

Жду предложений...

Название: Re: Дисциплина "Управление данными"
Отправлено: Виктор Малышко от 06 Сентября 2008, 15:20:22
Galogen, могу лишь поделиться сведениями, что у нас курс для "программистов" читает небезызвестный профессор С. Д. Кузнецов, а для "математиков" профессор А. С. Марков, сведения по их программам опубликованы тут: http://sp.cmc.msu.ru/courses/progs/database.doc (http://sp.cmc.msu.ru/courses/progs/database.doc). Кузнецовский курс "заточен" в сторону внутреннего устройства БД и СУБД, марковский -- в сторону математики, из которой растут ноги БД. Оба курса без практикумов. На цитфоруме опубликована книга Кузнецова -- своего рода конспект его лекций.
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 06 Сентября 2008, 18:18:07
Galogen, могу лишь поделиться сведениями, что у нас курс для "программистов" читает небезызвестный профессор С. Д. Кузнецов, а для "математиков" профессор А. С. Марков, сведения по их программам опубликованы тут: http://sp.cmc.msu.ru/courses/progs/database.doc (http://sp.cmc.msu.ru/courses/progs/database.doc). Кузнецовский курс "заточен" в сторону внутреннего устройства БД и СУБД, марковский -- в сторону математики, из которой растут ноги БД. Оба курса без практикумов. На цитфоруме опубликована книга Кузнецова -- своего рода конспект его лекций.

Спасибо, Виктор. К сожалению ссылка не работает. Да Кузнецова знаю.
В принципе у меня нет информационной проблемы по чтению курса, я скорее хотел обогатится идеями, советами и рекомендациями, чтобы сформировать "идеальный" курс. Раз уж пошла такая пьянка.

А вот в чем идеальность не очень пойму.
1. если удариться в математику - что ж хорошо, но насколько в математику какую математику. Хотелось бы оценить хотя бы программу и посмотреть на экзаменационные вопросы

2. если удариться в физику - т.е. как все это устроено - думаю мало интересно.

3. вероятно нужно что-то по середине. В принципе концепции моделирования данных я даю в курсе теория информационных систем. Здесь можно дать принципы реализации этих моделей и принципы  работы с ними
Название: Re: Дисциплина "Управление данными"
Отправлено: Виктор Малышко от 08 Сентября 2008, 13:56:00
Упс.
http://sp.cmc.msu.ru/courses/progs2006/database.doc (http://sp.cmc.msu.ru/courses/progs2006/database.doc)
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 08 Сентября 2008, 14:20:53
Упс.
http://sp.cmc.msu.ru/courses/progs2006/database.doc (http://sp.cmc.msu.ru/courses/progs2006/database.doc)
Да почитал программу для 1и 2 потока -  стало грустно :) Мне кажется это не для наших, это что-то ближе к научно-практическим задачам, вторая ясно ближе к инженерным и примерно, так и читается. Хотя у нас только 30 часов, но можно учесть, что часть вопросов можно читать в курсе теория ИС и процессов
Название: Re: Дисциплина "Управление данными"
Отправлено: Виктор Малышко от 12 Сентября 2008, 23:15:23
Рискую надоесть, но все же. Сегодня Сергей Дмитриевич начал выкладывать слайды к лекциям: http://sp.cmc.msu.ru/courses/db/ (http://sp.cmc.msu.ru/courses/db/)
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 13 Сентября 2008, 23:00:48
Рискую надоесть, но все же.
Ну что Вы, Виктор. Отличное подспорие. Причем от человека, который гораздо больше меня в этом работает и понимает.
Тем более что если я и знаю определенные теоретические основы и практику, то все-таки не в таком систематическом виде.
Хотя я активно использовал книгу Крёнке, но я заострял в своем курсе Теория информационных процессов и систем внимание на моделировании, а не практическом использовании моделей. Физику вообще не трогал, оставляя это будущим курсам других преподавателей.
Книгу Третий манифест имею, читал с удовольствием.

За ссылку большое спасибо. Полезно, интересно, бережет время :)
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 22 Марта 2009, 00:39:56
Ну через полгода тему поднимать глупо немного, наверное, но тем не менее --- как в итоге отчитался курс? :)

И возник вопрос сразу ---а подходы к хранению структурированной/неструктурированной информации в него не входят? В смысле хранилища данных для BI/OLAP и их характеристики и требования, enterprise content management systems как хранилище неструкт. информации, нереляционные бд (key-value хранилища разнообразные вроде couch db и, частично, memcached)?
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 22 Марта 2009, 14:07:29
Ну через полгода тему поднимать глупо немного, наверное, но тем не менее --- как в итоге отчитался курс? :)
Курс читается прямо сейчас. Да и не новый это курс в абсолютном смысле. Мне его пришлось читать как новый.

Цитировать
И возник вопрос сразу ---а подходы к хранению структурированной/неструктурированной информации в него не входят? В смысле хранилища данных для BI/OLAP и их характеристики и требования, enterprise content management systems как хранилище неструкт. информации, нереляционные бд (key-value хранилища разнообразные вроде couch db и, частично, memcached)?
Эти вопросы затрагиваются, но пока не слишком подробно. Все-таки следует учитывать ограниченность круса по времени, достаточно обширный материал курса: тут и назначение СУБД, и элементы реляционной алгебры и теории  отношений, SQL, приницпы работы с реляционными БД, способы доступа к реляционной БД, использование SQL в приложениях и т.п. Ясно, что поднятые Вами вопросы требуют рассмотрения, но...
Правда эти вопросы также затрагиваются и в других курсах. Например в КИС, в теории и информационных систем
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 23 Марта 2009, 04:39:32
Все-таки следует учитывать ограниченность круса по времени, достаточно обширный материал курса: тут и назначение СУБД, и элементы реляционной алгебры и теории  отношений, SQL, приницпы работы с реляционными БД, способы доступа к реляционной БД, использование SQL в приложениях и т.п. Ясно, что поднятые Вами вопросы требуют рассмотрения, но...
Правда эти вопросы также затрагиваются и в других курсах. Например в КИС, в теории и информационных систем
аха
у нас-то на тему БД было два отдельных курса -- собственно БД и SQL
поэтому и подумал, что широкое название "управление данными" предполагает и охват чего-то менее тривиального.

Ну не знаю, насколько Вам это интересно будет, но, например, про OLAP и многомерную модель данных можно рассказать-показать на примере Jedox Palo. Это free software-olap серверок, подцепляется к excel, при этом многопользовательский, поддерживает write-back и обвязочки для некоторых языков программирования тоже имеет.

Показать на примере, что такое multidimensional данные и типовые операции на них --- хорошая штука.
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 23 Марта 2009, 12:36:18
у нас-то на тему БД было два отдельных курса -- собственно БД и SQL
поэтому и подумал, что широкое название "управление данными" предполагает и охват чего-то менее тривиального.
Да два курса иметь лучше чем один. Правда тут можно поиграть где-то рассказывать.
У нас такая последовательность - есть курс теория информационных процессов и систем, в котором пр желании можно рассматривать что угодно, главное понять что:) Например теорию баз данных, моделирование данных и т.п. Правда разрыв между этими знаниями в виде сессии не очень хорошо, но возможно

Цитировать
Ну не знаю, насколько Вам это интересно будет, но, например, про OLAP и многомерную модель данных можно рассказать-показать на примере Jedox Palo. Это free software-olap серверок, подцепляется к excel, при этом многопользовательский, поддерживает write-back и обвязочки для некоторых языков программирования тоже имеет.
Показать на примере, что такое multidimensional данные и типовые операции на них --- хорошая штука.
Это может быть вполне интересным, если Вы укажите ссылку :) И возможно поделитесь своим опытом или заданиями на расскрутку. Вполне возможно включить в практикум
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 23 Марта 2009, 17:02:37
Цитировать
Это может быть вполне интересным, если Вы укажите ссылку. И возможно поделитесь своим опытом или заданиями на расскрутку. Вполне возможно включить в практикум
я просто с политикой ссылок не знаком местной пока :)  Jedox Palo (http://www.jedox.com/en/products/palo_olap_server/download.html)
вот неплохая вводная статейка про это всё OLAP без слова OLAP (http://ko-online.com.ua/node/30215)
ну а в целом ими занимается Корус в России, вроде как, хотя материалов у них там (http://koruscpm.ru/products/jedox/screens/) не много

Что-то своё, если получится, чуть позже докину, конечно
Название: Re: Дисциплина "Управление данными"
Отправлено: bas от 23 Марта 2009, 18:01:39
я просто с политикой ссылок не знаком местной пока :)
Политика указана здесь (http://www.uml2.ru/forum/index.php?topic=1197.0).
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 25 Марта 2009, 03:54:06
Политика указана здесь (http://www.uml2.ru/forum/index.php?topic=1197.0).
Благодарю за ликбез, поправил :)
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 11 Марта 2010, 03:13:56
Вот кстати, в "Управление данными" по определению отлично и небесполезно ложатся master data management/customer data integration, процессы ETL, вопросы профилирования, качества и оценки данных.
Ну и, кроме того, проектирование таксономий в ИС --- то есть то самое хромое конструирование справочников и классификаторов.
Название: Re: Дисциплина "Управление данными"
Отправлено: Galogen от 11 Марта 2010, 08:08:27
Ну и, кроме того, проектирование таксономий в ИС --- то есть то самое хромое конструирование справочников и классификаторов.
Расшифруйте плиз, "а что Вы имели в виду" (c)
Название: Re: Дисциплина "Управление данными"
Отправлено: zzr от 14 Сентября 2010, 19:46:57
Прошу прощения за долгое молчание, переезд равен потопу, наводнению и чему угодно, а вкупе с учебными и рабочими трепыханиями -- так вообще.

За это время по рассматриваемому вопросу появилось переиздание полезной книжки "Бизнес-аналитика: от данных к знаниям", в которой работе с данными посвящено полтора-два раздела:

Цитировать
1.3. Структурированные данные
1.4. Подготовка данных к анализу
...
Глава 2. Консолидация данных
2.1. Задача консолидации
2.2. Введение в хранилища данных
2.3. Основные концепции хранилищ данных
2.4. Многомерные хранилища данных
2.5. Реляционные хранилища данных
2.6. Гибридные хранилища данных
2.7. Виртуальные хранилища данных
2.8. Нечеткие срезы
2.9. Введение в ETL
2.10. Извлечение данных в ETL
2.11. Очистка данных в ETL
2.12. Преобразование данных в ETL
2.13. Загрузка данных в хранилище
2.14. Загрузка данных из локальных источников
2.15. Обогащение данных

Глава 3. Трансформация данны
3.1. Введение в трансформацию данных
3.2. Трансформация упорядоченных данных
3.3. Группировка данных
3.4. Слияние данных
3.5. Квантование
3.6. Нормализация и кодирование данных

И, в принципе, если есть курс/часть курса по базам данных/sql, то в управлении данными я бы остановился именно на том, как при проектировании системы не заложить бомб в виде "плохих" данных, которые сделают невозможным сколько-нибудь адекватную аналитику на их базе, затронул бы интеграцию данных/хранилища и их типы и, как говорил ниже, концепции вроде master data management/customer data integration (более относящиеся к логической, смысловой ценности). Что до классификаторов, что вот, в целом про это пишут http://www.intuit.ru/department/se/devis/9/#sect3 (http://www.intuit.ru/department/se/devis/9/#sect3).

Но интересно услышать, к какому содержанию в итоге пришёл курс сейчас.