پروژه وب کاوی

عنوان پروژه: وب کاوی

قالب بندی: word

تعداد صفحات: 41

فهرست مطالب:

1- مقدمه

2- مراحل وب کاوی

3- وب کاوی و زمینه های تحقیقاتی مرتبط

3-1- وب کاوی و داده کاوی

3-2- وب کاوی و بازیابی اطلاعات

3-3- وب کاوی و استخراج اطلاعات

3-4- وب کاوی و یادگیری ماشین

4- انواع وب کاوی

5- چالش های وب کاوی

6- کاوش محتوای وب

6-1- انواع کاوش محتوا در وب

6-1-1- طبقه بندی

6-1-2- خوشه بندی

6-1-3- سایر انواع کاوش محتوا در وب

6-2- رویکردهای کاوش محتوا در وب

6-3- الگوریتم های کاوش محتوا در وب

6-3-1- درخت تصمیم

6-3-2- شبکه عصبی

6-3-3- سایر الگوریتم های کاوش

7- کاوش ساختار وب

7-1- مدل های بازنمایی ساختار وب

7-1-1- مدل های مبتنی بر گراف

7-1-2- مدل های مارکو

7-2- الگوریتم های کاوش ساختار وب

7-2-1- HITS

7-2-2- Page Rank

7-2-3- الگوریتم جریان بیشینه

7-2-4- Average Clicks

7-3- کاربردهای کاوش ساختار وب

7-3-1- تشخیص اجتماعات وب

7-3-2- پیمایش وب

8- کاوش استفاده از وب

8-1- انواع داده های استفاده از وب

8-1-1- داده های سرورهای وب

8-1-2- داده های سرورهای پراکسی

8-1-3- داده های کلاینت

8-2- پیش پردازش داده های استفاده از وب

8-2-1- پاکسازی داده

8-2-2- تشخیص و بازسازی نشست

8-2-3- بازیابی ساختار و محتوا

8-2-4- قالب بندی داده

8-3- روش های کاوش استفاده از وب

8-3-1- قوانین انجمنی

8-3-2- الگوهای ترتیبی

8-3-3- خوشه بندی

8-4- کاربردهای کاوش استفاده از وب

8-4-1- خصوصی سازی محتوای وب

8-4-2- پیش بازیابی

8-4-3- بهبود طراحی سایت های وب

9- کاربردهای وب کاوی

9-1- تجارت الکترونیکی

9-2- موتورهای جستجو

9-3- حراجی در وب

نتیجه گیری

فهرست منابع

جایگاه داده کاوی در صنعت

عنوان پایان نامه: جایگاه داده کاوی در صنعت

پروژه کاردانی- رشته نرم افزار- ارائه شده به گروه علمی کامپیوتر

قالب بندی: word

تعداد صفحات: 62

قسمتی از متن:

- 1 مقدمه­ای بر داده­کاوی

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند .

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند: داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده و دیگر مخازن بزرگ اطلاعات، ذخیره شده است. داده کاوی بطور همزمان از چندین رشته علمی بهره می برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه های عصبی، آمار، شناسایی الگو، سیستم های مبتنی بر دانش، حصول دانش، بازیابی اطلاعات، محاسبات سرعت بالا و بازنمایی بصری داده . داده کاوی در اواخر دهه 1980 پدیدار گشته، در دهه 1990 گامهای بلندی در این شاخه از علم برداشته شده و انتظار می رود در این قرن به رشد و پیشرفت خود ادامه دهد .واژه های «داده کاوی» و «کشف دانش در پایگاه داده»اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل2-1 نشان داده شده است.

فهرست مطالب:

فصل اول:مقدمه

مقدمه. 1

فصل دوم:داده کاوی

2- 1 مقدمه ای بر داده کاوی. 6

2-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟7

2-2 مراحل کشف دانش... 9

2- 3 جایگاه داده کاوی در میان علوم مختلف.. 12

2-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟14

2-5 داده کاوی و انبار داده ها14

2-6 داده کاوی و OLAP. 15

2-7 کاربرد یادگیری ماشین و آمار در داده کاوی. 16

2-8 توصیف داده ها در داده کاوی. 16

2-8-1 خلاصه سازی و به تصویر در آوردن داده ها16

2-8-2 خوشه بندی. 17

2-8-3 تحلیل لینک.. 18

2-9 مدل های پیش بینی داده ها18

2-9-1 دسته بندی. 18

2-9-2 رگرسیون. 18

2-9-3 سری های زمانی. 19

2-10 مدل ها و الگوریتم های داده کاوی. 19

2-10-1 شبکه های عصبی. 19

2-10-2 درخت تصمیم. 22

2-10-3 Multivariate Adaptive Regression Splines(MARS)24

2-10-4 Rule induction. 25

2-10-5 K-nearest neibour and memory-based reansoning(MBR)25

2-10-6 رگرسیون منطقی. 26

2-10-7 تحلیل تفکیکی. 27

2-10-8 مدل افزودنی کلی (GAM)28

2-10-9 Boosting. 28

2-11 سلسله مراتب انتخابها28

2-12داده کاوی و مدیریت بهینه وب سایت ها30

2-13داده‌کاوی و مدیریت دانش... 31

فصل سوم: وب کاوی

3-1 تعریف وب کاوی. 33

3-2 مراحل وب کاوی. 33

3-3 وب کاوی و زمینه های تحقیقاتی مرتبط.. 34

3-3-1 وب کاوی و داده کاوی. 34

3-3-2 وب کاوی و بازیابی اطلاعات.. 35

3-3-3 وب کاوی و استخراج اطلاعات.. 36

3-3-4 وب کاوی و یادگیری ماشین. 37

3-4 انواع وب کاوی. 37

3-5 چالش های وب کاوی. 38

3-6مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان. 39

3-7 محتوا کاوی وب.. 40

 فصل چهارم: وب کاوی در صنعت

4-1 انواع وب کاوی در صنعت.. 43

4-1-1وب کاوی در صنعت نفت، گاز و پتروشیمی. 43

4-1-1-1 مهندسی مخازن/ اکتشاف.. 43

4-1-1-2مهندسی بهره برداری. 44

4-1-1- 3مهندسی حفاری. 44

4-1-1-4بخشهای مدیریتی. 44

4-1-2 کاربرد های دانش داده کاوی در صنعت بیمه. 45

4-1-3کاربردهای دانش داده کاوی در مدیریت شهری. 46

4-1-4کاربردهای داده کاوی در صنعت بانکداری. 47

4-1-4-1بخش بندی مشتریان. 47

4-2 پژوهش های کاربردی. 48

نتیجه گیری. 50

منابع و ماخذ فارسی. 51

مراجع و ماخذ لاتین و سایتهای اینترنتی. 52

 فهرست اشکال

عنوان شماره صفحه

شکل(2-1) داده کاوی به عنوان یک مرحله از فرآیند کشف دانش... 8

شکل(2-2) سیر تکاملی صنعت پایگاه داده10

شکل (2-3) معماری یک نمونه سیستم داده کاوی.. 11

شکل (2-4) داده ها از انباره داه ها استخراج می گردند. 14

شکل(2-5( داده ها از چند پایگاه داده استخراج شده اند. 15

شکل(2-6) شبکه عصبی با یک لایه نهان. 20

شکل(2-7) Wx,y وزن یال بین X و Y است.21

شکل(2-8) درخت تصمیم گیری.. 23

شکل(2-9( روش MBR.. 26