پایان نامه بررسی جنبه های مختلف Web Data Mining

عنوان پایان نامه: بررسی جنبه های مختلف Web Data Mining

فرمت فایل: word

تعداد صفحات: 92

شرح مختصر:

در عصر حاضر Web Mining محیط اینترنت جهانی را تبدیل به محیطی کاربردی تر کرده است.که کاربران میتوانند سریعتر و راحتتر اطلاعات مورد نیازشان را پیدا کنند که شامل :کشف و تحلیل داده ، مستندات وmulti media از محیط اینترنت جهانی میباشد ,Web Mining از جزئیات سند ومحتویات سند و ساختار Hyper Link برای کمک به کاربر جهت مشاهده اطلاعات مورد نیازش استفاده میکند.

وب و موتورهای جستجو خودشان شامل اطلاعات ارتباطی درباره ی مستندات هستند و Web Mining این ارتباطات را کشف میکند و به سه بخش تقسیم بندی مینماید.

- در اولین بخش Web Content Mining، موتورهای جستجو محتویات را با کلمات کلیدی تعریف میکنندومی شناسند.پیدا کردن کلمات کلیدی محتوا و پیدا کردن یک ارتباط بین محتوای صفحه ی وب و محتوای سوال کاربر، Content Mining گفته میشود.

- Hyper Linksاطلاعاتی را درباره ی سایر مستندات روی وب که در سند دیگری مهم هستند تهیه میکند.این لینکها عمقی را به سند اضافه میکنند و حالت چند بعدی که از خصوصیات وب است ایجاد میکنند. کاوش این ساختار لینک دومین بخش یعنی Web Structure Mining است.

- در نهایت ارتباطی با سایر مستندات روی وب که بوسیله ی جستجوی قبلی شناخته شده اند، وجود دارد. این ارتباط در صفحه های جستجو (log) و دستیابی ذخیره میشود. کاوش این Log ها سومین بخش یعنی Web Usage Mining را تشکیل میدهد.

درک کاربر اغلب یک بخش مهم از Web Mining است. تحلیل جستجوهای قبلی کاربر ،شکلی که کاربر ترجیح میدهد اطلاعات پیدا شده را ببیندو سرعت در پاسخ ممکن است در پاسخ دادن به پرس و جوی کاربر موثر باشد.

Web Mining در ماهیت نظم خاصی دارد.پل زدن بین فیلدهایی مثل اطلاعات بازگشتی ،پردازش زبانهای طبیعی، استخراج اطلاعات ،Machine Learning، پایگاه داده ،داده کاوی ،ذخیره ی داده ، طراحی رابط کاربر و Visual کردن .

تکنیکهای Web Mining کاربردهای عملی در M-commerce ،E-commerce ، E-Government ،E-learning ، آموزش از راه دور ، آموزش سازمانی،تشکیلات مجازی ، مدیریت دانش و کتابخانه ی دیجیتال دارد.

در این تحقیق ما به بررسی جنبه های مختلف Web Data Mining میپردازیم.

فهرست مطالب

فصل اول : داده کاوی و وب.. 3

مقدمه4

طبقه بندی Web mining. 5

داده کاوی و visualization در اینترنت.. 7

کاوش الگو. 8

وب کاوی در E-Commerce. 9

فصل دوم : پردازشها و تکنیکهایweb data mining. 11

مقدمه11

مراحل Data mining. 16

مراحل جستجو. 17

پردازش روی نتایج. 18

جنبههای واسط کاربر. 19

خروجیهای data mining web:21

پیاده سازیهای data mining web:23

فصل سوم : کاوش پایگاه داده های وب.. 29

مقدمه30

جستجو در پایگاه دادةها در وب.. 30

داده کاوی شیئی – رابطهای. 31

اشتراک داده در مقابل داده کاوی در وب.. 31

کاوش پایگاههای دادة نیمه ساختیافته32

کاوش و سپس ادغام33

Web mining و Meta data. 34

کاوش متادیتا35

انبار و کاوش.. 35

متادیتا برای کاوش چند رسانهای. 36

متا دیتا برای web mining. 36

کاوش پایگاه دادههای توزیع شده، ناهمگن ، وراثتی و متحد در وب.. 37

ماژولهایی از DP برای داده کاوی. 37

داده کاوی روی پایگاه داده توزیع شده38

کاوش و سپس اجتماع. 38

کاوش interoperating و مخزن. 39

همکاری میان عاملهای کاوش.. 39

واسط برای مجتمع سازی. 40

معماریها وweb data mining. 41

ماژولهای داده کاوی مثل اشیاء41

فصل چهارم : بازیابی اطلاعات و داده کاوی در وب.. 44

مقدمه45

موتورهای جستجوگر. 46

ماژولهای موتورهای جستجو. 46

web data mining برای موتورهای جستجو. 47

پویش داده های چند گانه وب.. 48

کاوش متن. 49

کاوش مستقیم روی دادههای غیرساخت یافته50

کاوش تصویر. 51

کاوش ویدئو. 52

کاوشAudio :53

کاوش مستقیم داده با فرمت صدا53

کاوش نوع داده ی چند رسانه ای. 54

سیستم سوال/جواب و داده کاوی وب.. 54

زبانهایMark up و داده کاوی وب.. 55

خلاصه56

فصل پنجم : مدیریت اطلاعات و داده کاوی وب.. 57

مقدمه58

همکاری بین عاملهای کاوش.. 58

مدیریت دانشها و داده کاوی وب.. 59

مدیریت دانش و داده کاوی وب.. 60

محاسبات بیسیم و داده کاوی وب.. 61

کیفیت سرویس و داده کاوی وب.. 62

اجتماع سرویسهای وب و داده کاوی. 63

فصل ششم : کاوش الگوهای کاربردی و ساختار روی وب.. 64

مقدمه65

تحلیل الگوهای کاربردی و روندهای پیشبینی. 65

خروجیها و تکنیکهای web usage mining:66

web mining برای e-commerce. 75

کاوش ساختار روی وب.. 76

بازبینی web structure mining. 76

جمع بندی و نتیجه گیری. 77

گرافیک سه بعدی چیست ؟79

کارت گرافیک سه بعدی. 80

کارت گرافیک سه بعدی. 83

نتیجه گیری. 90

مراجع 91

ارزیابی عملکرد نرم افزارهای NoSQL Big-Data با استفاده از مدل‎های مالتی‎فرمالیسم

مقاله مدلسازی و ارزیابی سیستم های کامپیوتری

اصل مقاله + ترجمه + فایل پاورپوینت

یبایسارزیابی عملکرد نرم افزارهای NoSQL Big-Data با استفاده از مدل‎های مالتی‎فرمالیسم

با ظهور Web 2.0، مقدار داده‎هایی که توسط خدمات تحت وب با مقیاس بزرگ مدیریت می‎شوند، به طور نمایی افزایش یافته و چالش‎ها و الزامات زیرساختی جدیدی را ایجاد کرده است. این موضوع به پارادایم‎های برنامه‎نویسی و انتخاب‎های ساختاری مثل کاهش نقشه و پایگاه داده‎های NoSQL انجامیده است، که از دو ویژگی عمده‎ی غیرمعمول سیستم‎های توزیع‎شده‎ی عظیم که از آن‎ها تحت عنوان معماری‎های بزرگ‎داده یاد می‎شود تشکیل شده است. زیرساخت‎های اساسی کامپیوتری معمولاً با الزامات پیچیده‎ای روبرو هستند، که ناشی از نیاز به بهره‎وری و سرعت در پردازش مجموعه داده‎های در حال رشد عظیم می‎باشد. این امر با بهره برداری از فناوری‎های جدیدی چون مقیاس‎بندی خودکار و تدارک نسخه‎ی دوم برای محیط‎های ابری حاصل می‎شود.

با وجود این که مشکل اصلی کاربردهایی که برشمرده شدند عملکردها است، اما در حال حاضر نتایج ارزیابی عملکردی بسیار کمی در دسترس است. در این فعالیت، بر بررسی چگونگی ارزیابی عملکرد کاربردها با استفاده از زبان جستار Apache Hive برای پایگاه‎های داده‎ی NoSQL که روی زیرساخت کاهش نقشه‎ی Apache Hadoop ساخته می‎شوند تمرکز می‎کنیم.

این مقاله یک برنامه‎ی کاربردی و زبان مدل‎سازی اختصاصی را ارائه می‎کند که در درجه‎ی اول چگونگی امکان ساده کردن فرآیند مدل‎سازی، و سپس چگونگی کاهش شکاف معنایی بین منطق مدل‎سازی و دامنه با استفاده از مدل‎سازی مالتی‎فرمالیسم را نشان می‎دهد.

کلمات کلیدی: مدل‎سازی مالتی‎فرمالیسم، بزرگ‎داده، ارزیابی عملکرد

سیستمهای مدیریت محتوا

عنوان مقاله: سیستمهای مدیریت محتوا

گزارش درس: پایگاه داده­ ی پیشرفته

گروه فناوری اطلاعات، دانشکده­ ی برق و کامپیوتر، پردیس دانشکده­ های فنی، دانشگاه تهران

قالب بندی: word

تعدادصفحات: 37

قسمتی از متن:

البته موارد دیگری نیز به عنوان محتوا در نظر گرفته می شوند. مثلاً در [4] از کارکرد[1] نیز به عنوان محتوا اسم برده شده است و کارکرد را به عنوان کارهایی که انجام می دهیم معرفی می کند. مثلاً کارکرد در وب کدهایی است که در صفحه ی وب و یا وب سرور(کدهای مربوط به انجام تراکنشهای مالی، ارسال اطلاعات، انجام محاسبات و غیره) قرار می گیرند.

معمولا محتوا را در اجزایی به نام مولفه های محتوا[2] در مخزن[3] نگهداری میکنند و در مواقع نیاز این اجزا با یکدیگر ترکیب شده و محتوای نهایی را به وجود می آورند.

فهرست مطالب:

1 مقدمه. 2

2 محتوا چیست ؟. 2

3 تاریخچه ی سیستمهای مدیریت محتوا4

4 تعریف سیستم مدیریت محتوا9

5 مزایای یک سیستم مدیریت محتوا10

6 تشریح ساختمان یک سیستم مدیریت محتوا14

6-1 تولیدمحتوا15

6-2 مدیریت محتوا16

6-3 نشر. 19

6-4 نمایش و نحوه ارائه محتوا20

7 چه موقع به یک سیستم مدیریت محتوا نیاز داریم؟. 21

8 ملاحظات طراحی سیستم مدیریت محتوا24

9 سیستمهای مدیریت محتوای بنگاهی.. 26

10 مقایسه ی راه حلهای موجود در بازار ECM... 29

11 IBM DB2 Enterprise Content manager 31

منابع 35

داده کاوی در صنعت بانکداری

عنوان پایان نامه: داده ­کاوی در صنعت بانکداری

پروژه کارشناسی-رشته مهندسی فناوری اطلاعات و کامپیوتر

فرمت فایل: word

تعداد صفحات: 138

شرح مختصر:

امروزه با گسترش روزافزون اطلاعاتی که بشر با آن­ها سر و کار دارد، بهره ­گیری از روش­هایی هم­چون داده­ کاوی برای استخراج دانش و اطلاعات نهفته در داده ­ها امری غیر قابل اجتناب است. سازمان­ها با استفاده از داده­ کاوی می­توانندفرآیندهای تصمیم­ گیری را بهبود بخشند. داده ­کاوی سبب می­شود که سازمان­ها ازسطح داده به سطوح بالاتر دانش و الگوهای ناشناخته برسند.

در این میان بانک­ها اساساً از پایگاه­های داده متعدد و گسترده­ای برخوردار هستند که حاوی اطلاعات مربوط به مبادلات و جزئیات دیگر مربوط به مشتریانشان است. داده ­کاوی به نوبه­ی خود در راستای حل مسائل موجود در کسب و کار در صنعت بانکداری و مالی آن هم به واسطه ­ی یافتن الگوها، روابط علی و معلولی و روابط حاکم در قیمت­های بازار و اطلاعات کسب و کار مشتریان به کار می­رود. 

فهرست مطالب

عنوان صفحه

فصل 1 دانش نوین داده­کاوی

1-1. مقدمه ......................................... 1

1-2. تاریخچه داده­ کاوی .................................................................. 2

1-3. چرا داده ­کاوی لازم است؟ ...................................................................... 2

1-4. فرآیند کشف دانش و داده ­کاوی .................................... 3

1-5. معرفی برخی از روش­های داده­ کاوی .............................. 7

1-5-1. تحلیل انحراف .................................................. 8

1-5-2. نمایه ­سازی ............................................ 9

1-5-3. قوانین وابستگی .............................................. 10

1-5-4. تحلیل توالی ......................................... 13

1-5-5. خوشه ­بندی .............................................. 14

1-5-6. دسته­ بندی ......................................... 19

1-5-7. پیش ­بینی ......................................................... 21

فصل 2 کاربرد­های داده­ کاوی در صنعت بانکداری

2-1. مقدمه ..................................................................... 23

2-2. داده ­کاوی در بازاریابی مدیریت ارتباط با مشتریان بانک ................................. 25

2-2-1. مدیریت ارتباط با مشتری و پروفایل ­سازی از آن­ها ........................ 27

2-2-2. مراقبت از مشتری ...................................................................... 32

2-2-3. داده ­کاوی و تحلیل رویگردانی مشتریان ........................................ 34

2-3. کاربرد داده­ کاوی در کشف تقلب و سوء استفاده­ های مالی ................................ 42

2-4. داده ­کاوی و پیش­ بینی عملکرد بانک ................................. 55

2-5. داده ­کاوی در ارزیابی اعتبار مشتریان بانک .............................. 60

2-6. کاربرد داده ­کاوی در ارزیابی عملکرد بانک ............................ 68

 فصل 3 مثال­های عملی از کاربرد داده­ کاوی در صنعت بانکداری

3-1. کاربرد داده­ کاوی در بخش­بندی مشتریان ........................... 74

3-1-1. مقدمه ................................................ 74

3-1-2. ارزش چرخه عمر مشتری، مفهوم تعاریف ................................. 76

3-1-3. استفاده از مدل­های خوشه ­بندی و CLV جهت بخش­بندی مشتریان بانک ....................... 77

3-1-4. ارائه سرویس مناسب به مشتریان بالقوه ......................................... 81

3-2. رتبه­ بندی اعتبار متقاضیان دریافت وام با استفاده از تکنیک­های داده­ کاوی ................ 84

3-3. رتبه ­بندی اعتبار با استفاده از نسبت­های مالی ............................................ 88

3-4. بخش­بندی دارندگان کارت­های اعتباری با استفاده از داده ­کاوی ............................. 90

3-4-1. پروژه طراحی بخش­بندی رفتاری ............................................... 91

3-4-2. آماده ­سازی داده ­های مورد نیاز برای ساخت مدل ................................ 92

3-4-3. انتخاب جمعیت بخش­بندی .................................. 93

3-4-4. شاخص­های کلیدی عملکرد درباره استفاده از کارت­های اعتباری .................. 93

3-5. سه گام اصلی فرآیند تحلیل ........................................... 97

3-6. گزارش، گام نهایی فرآیند داده ­کاوی .................................. 116

3-7. مزایا و معایب داده­ کاوی ........................................ 116

3-8. نتیجه­ گیری .................................. 118

 فهرست اشکال

شکل ­1-1. فرآیند کشف دانش ................................................ 6

شکل 1-2. عملکردهای داده­ کاوی .................................................... 8

شکل 1-3. تحلیل انحراف در یک پایگاه داده ................................... 9

شکل 1-4. نمونه­ای از توالی بازدید­های وب ..................................... 14

شکل 1-5. نمونه­ای ساده از خوشه­ بندی مشتریان .................... 16

شکل 1-6. خوشه­ بندی با استفاده از K-means ................18

شکل 1-7. درخت تصمیم­گیری برای دسته­بندی مشتریان ................... 21

شکل 1-8. رگرسیون خطی ساده ..................................... 22

 شکل 2-1. مدیریت ارتباط با مشتری و داده­ کاوی ......................... 29

شکل 2-2. دوره ­های زمانی مختلف در مسأله رویگردانی مشتریان بانک ................. 36

شکل 2-3. دسته­ بندی انواع تقلب ............................................. 43

شکل 2-4. فراوانی مدل­های استفاده شده در کشف سوء استفاده­ های مالی ................. 46

شکل2-5. رتبه­ بندی اعتبار در صنعت بانکداری ............................ 61

شکل 2-6. DMU در فرآیند تحلیل پوششی داده ­ها ................. 71

شکل 2-7. شاخص­های خروجی مورد استفاده در تحلیل پوششی داده ­ها ............... 72

شکل 3-1. مدل­سازی خوشه­ بندی مشتریان بانک­ها در Clementine ................................... 79

شکل 3-2. نتایج خوشه ­بندی مشتریان بر اساس روش SOM ............................. 79

شکل 3-3. توزیع شغلی مشتریان هر خوشه ................. 79

شکل 3-4. استفاه از الگوریتم Aprioriدر نرم ­افزار Clementine ........................... 82

شکل 3-5. فرآیند مدل­سازی رتبه ­بندی اعتبار مشتریان بانکی در Clementine............... 86

شکل 3-6. مقایسه مدل­های رتبه­ بندی اعتبار با استفاده از منحنی Gain ................ 86

شکل 3-7. قواعد رفتاری حاصل از مدل­ رتبه ­بندی اعتبار ............................. 87

شکل 3-8. فرآیند مدل­سازی Clementine ............................. 98

شکل 3-9. نمودار نمایه خوشه 1 ............................ 108

شکل 3-10. نمودار نمایه خوشه 2 ........................ 109

شکل 3-11. نمودار نمایه خوشه 3 .......................... 110

شکل 3-12. نمودار نمایه خوشه 4 ......................... 111

شکل 3-13. نمودار نمایه خوشه 5 ........................ 112

شکل 3-14. نمودار نمایه خوشه 6 ......................... 113

شکل3-15. نمودار نمایه خوشه 7 ....................... 114

شکل 3-16. نمودار نمایه خوشه 8 ............... 115

 فهرست جداول

جدول 1-1. لیستی از محصولات و خدمات قابل ارائه در بانک..... 11

جدول 1-2. نمونه داده­ های مورد نیاز در مدل­سازی مسأله دسته­ بندی .................... 20

 جدول 2-1. پژوهش­های انجام شده در در زمینه کاربرد داده­ کاوی در تحلیل رویگردانی مشتریان ....... 42

جدول 2-2. پژوهش­های انجام شده در زمینه کاربرد داده­ کاوی در زمینه کشف تقلب ............. 55

جدول 2-3. پژوهش­های انجام شده در زمینه کاربرد داده­ کاوی در ارزیابی عملکرد بانک ......... 60

جدول 2-4. پژوهش­های انجام شده در زمینه کاربرد داده ­کاوی در ارزیابی اعتبار مشتریان ......... 68

 جدول 3-1. پروفایل­های حاصل با استفاده از خوشه ­بندی .......................... 80

جدول 3-2. نمونه ­ای از قوانین وابستگی تولید شده در یک خوشه ............... 83

جدول 3-3. متغیرهای مورد استفاده در رتبه­ بندی اعتبار .................................. 85

جدول 3-4. بخش­بندی کارت­­های اعتباری، خلاصه روش اجرا ................................... 94

جدول 3-5. فیلدهای استفاده شده برای بخش­بندی دارندگان کارت­های اعتباری ....................... 97

جدول 3-6. تصمیم ­گیری برای تعداد اجزای استخراجی با آزمودن جدول"واریانس" در PCA ........... 99

جدول 3-7. فهم و طبقه­ بندی اجزا با استفاده از ماتریس محوری اجزاء ......................... 100

جدول 3-8. تفسیر قوانین استخراج شده اجزاء ........................ 101

جدول 3-9. مراکز خوشه­ ها....................................... 102

جدول 3-10. میانگین درصد خریدها بر مبنای نوع کالا در خوشه­ ها ................. 103

جدول 3-11. میانگین تعداد خرید بر مبنای نوع کالا در خوشه ­ها ......................... 104

جدول 3-12. نمایه­ سازی خوشه­­ ها بر مبنای شاخص­های عملکرد ............... 106

جدول 3-13. نمایه­ سازی خوشه­ ها بر مبنای مشخصه ­های جمعیت شناختی .............. 107

مقدمه ای بر داده کاوی

عنوان تحقیق: مقدمه ­ای بر داده ­کاوی

فرمت فایل: word

تعداد صفحات: 31

شرح مختصر:

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند[‎1].

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند: داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است. داده کاوی بطور همزمان از چندین رشته علمی بهره می برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه های عصبی، آمار، شناسایی الگو، سیستم های مبتنی بر دانش[2]، حصول دانش[3]، بازیابی اطلاعات[4]،محاسبات سرعت بالا^[5] و بازنمایی بصری داده^[6] . داده کاوی در اواخر دهه 1980 پدیدار گشته، در دهه 1990 گامهای بلندی در این شاخه از علم برداشته شده و انتظار می رود در این قرن به رشد و پیشرفت خود ادامه دهد [‎2].

واژه های «داده کاوی» و «کشف دانش در پایگاه داده»^[7] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1-1 نشان داده شده است.

فهرست مطالب

1 مقدمه ای بر داده‌کاوی... 3

1-1 چه چیزی سبب پیدایش داده کاوی شده است؟. 4

1-2 مراحل کشف دانش.... 6

1-3 جایگاه داده کاوی در میان علوم مختلف... 11

1-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟. 12

1-5 داده کاوی و انبار داده ها 13

1-6 داده کاوی و OLAP. 14

1-7 کاربرد یادگیری ماشین و آمار در داده کاوی... 15

2- توصیف داده ها در داده کاوی... 15

2-1 خلاصه سازی و به تصویر در آوردن داده ها15

2-2 خوشه بندی 16

2-3 تحلیل لینک... 16

3- مدل های پیش بینی داده ها17

3-1 Classification. 17

3-2 Regression. 17

3-3 Time series. 18

4 مدل ها و الگوریتم های داده کاوی... 18

4-1 شبکه های عصبی 18

4-2 Decision trees. 22

4-3 Multivariate Adaptive Regression Splines(MARS). 24

4-4 Rule induction. 25

4-5 K-nearest neibour and memory-based reansoning(MBR). 26

4-6 رگرسیون منطقی... 27

4-7 تحلیل تفکیکی 27

4-8 مدل افزودنی کلی (GAM). 28

4-9 Boosting. 28

5 سلسله مراتب انتخابها29

منابع