پایان نامه رویکرد جدید در بهنگام سازی پایگاه پردازش تحلیلی

پایان نامه رویکرد جدید در بهنگام سازی پایگاه پردازش تحلیلی یک پژوهش کامل میباشد و در 5 فصل تنظیم شده است.این پایان نامه با معرفی پایگاه پردازش تحلیلی به طراحی و پیاده سازی نوسازی داده در پایگاه پردازش تحلیلی پرداخته است.شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.

پایان نامه بصورت فایل قابل ویرایش ورد(WORD) در 230  صفحه برای رشته کامپیوتر در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا آخر ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری کامل شده وآماده تحویل است.

چکیده

در این پروژه ابتدا پایگاه پردازش تحلیلی معرفی شده و مسائل تحقیقاتی در آن مورد بررسی قرار می گیرد. هدف اصلی نوسازی داده در پایگاه پردازش تحلیلی است به نحوی که همواره اطلاعات بروز در گزارش گیریها ارائه شود. به این منظور ابتدا کارهای مختلف در نوسازی داده (استخراج و ثبت اطلاعات و پاکسازی داده ها) و روشهای انجام آنها بررسی شده، سپس کارهای انجام شده بر روی نوسازی داده بررسی می شود. ملاحظه شد که در روشهای ارائه شده، لزوما اطلاعات بروز در گزارش گیریها ارائه نمی شود.

در روش ارائه شده، پروتکلی به منظور نوسازی داده ارائه می شود که بر اساس پنج روش مختلف زمان، حجم، برخط بودن، با درخواست کاربر و ترکیب زمان و حجم می باشد. این پروتکل بر روی سیستم بیمه سلامتی برای انجام آزمایشات پیاده سازی می شود. لازم به ذکر است که به منظور پیاده سازی از نرم افزارهای SQL-Server و Delphi استفاده می شود. پس از انجام آزمایشات ملاحظه می شود که بسته به کاربردهای مختلف، از روشهای مختلف به منظور نوسازی داده می توان استفاده نمود.

کلمات کلیدی:

فارسی: پایگاه داده، پایگاه پردازش تحلیلی، نوسازی داده، بهنگام سازی

انگلیسی:Database, data warehouse, refreshment, updating

فهرست مطالب

مقدمه. 1

فصل اول

معرفی پایگاه پردازش تحلیلی

1-1- تعریف پایگاه داده. 4

1-2- تعریف تراکنش.... 5

1-3- سیستم های تصمیم یار. 7

1-4- تعاریف پایگاه پردازش تحلیلی.. 7

1-5- مشخصات پایگاه پردازش تحلیلی.. 9

1-5-1- مبتنی بر موضوع. 10

1-5-2- یکپارچگی.. 10

1-5-3- محدوده وسیع زمانی.. 10

1-5-4- غیر قابل تغییر. 11

1-6- انواع داده در پایگاه پردازش تحلیلی.. 11

1-7- ساختار پایگاه پردازش تحلیلی.. 12

1-7-1- جدول حقیقت... 13

1-7-2- جدول ا بعاد. 14

1-7-3- قدمهای اصلی در فرایند طراحی مدل چندبعدی سیستم.. 14

1-8- روش ساخت پایگاه پردازش تحلیلی.. 15

1-9- نوسازی داده در پایگاه پردازش تحلیلی و اهمیت آن.. 16

1-10- خلاصه و نتایج.. 20

فصل دوم

مسائل تحقیقاتی در پایگاه پردازش تحلیلی

2-1- معماری پایگاه پردازش تحلیلی.. 22

2-2-مدل داده در پایگاه پردازش تحلیلی.. 24

2-3- نگهداری دید. 25

2-3-1- خودنگهداری.. 26

2-3-2- فیلترسازی بهنگام سازی.. 27

2-3-3- نگهداری برخط دید. 27

2-4- موازی سازی در پایگاه پردازش تحلیلی.. 28

2-5- نوسازی داده. 29

2-6- دیگر مسائل تحقیقاتی.. 29

فصل سوم

نوسازی داده در پایگاه پردازش تحلیلی

3-1- انتخاب و بارگذاری داده ها از منابع داده به پایگاه پردازش تحلیلی.. 36

3-1-1- بارگذاری داده های بایگانی شده قدیمی.. 37

3-1-2- بارگذاری داده های بایگانی شده ای که در محیط های عملیاتی قرار دارند. 38

3-1-3- نوسازی داده پایگاه پردازش تحلیلی.. 39

3-1-3-1- یافتن تغییرات عملیاتی.. 39

3-1-3-2- استفاده از نوار ثبت وقایع:42

3-1-3-3- اهداف عملیات کامپیوتری.. 42

3-1-3-4- خواندن نوار ثبت وقایع.. 43

3-1-3-5- فوائد استفاده ازنوار ثبت وقایع.. 45

3-1-3-6- فرکانس نوسازی داده. 46

3-1-4- روشهای مختلف استخراج تغییرات.. 47

3-2- پاکسازی داده در پایگاه پردازش تحلیلی.. 47

3-2-1- مسائل پاکسازی داده. 49

3-2-1-1- مسائل تک منبعه. 50

3-2-1-2- مسائل چند منبعه. 53

3-2-2- روشهای پاکسازی داده. 55

3-2-2-1- آنالیز داده. 56

3-2-2-2- تعریف تغییر داده. 58

3-2-2-3- تحلیل تناقض.... 59

3-2-2-4- پشتیبانی ابزار. 61

3-2-3- خلاصه نتایج پاکسازی.. 61

3-3- بهنگام سازی پایگاه پردازش تحلیلی برخط.. 62

3-3-1- افزونگی عمودی MVNL. 65

3-3-1-1- چند نسخه ای.. 65

3-3-1-2- اصلاح طرح ارتباطات.. 67

3-3-1-3- اصلاح بهنگام ساز. 68

3-3-1-4- اصلاح خواندن.. 70

3-3-1-5- جمع آوری داده های نادرست... 71

3-3-1-6- مدیریت نسخه ها71

3-3-2- افزونگی عمودی در برابر افزونگی افقی.. 72

3-3-2-1- افزونگی افقی 2VNL. 73

3-3-2-2- افزونگی افقیn-VNL. 75

3-3-2-3- مقایسات.. 76

3-3-3- آزمایشات.. 79

3-4- مدلسازی نوسازی داده در پایگاه پردازش تحلیلی بصورت جریانی کاری.. 79

3-4-1- فرایند نوسازی داده در چرخه حیات پایگاه پردازش تحلیلی.. 79

3-4-2- فرایند نوسازی داده به عنوان جریان کاری.. 82

3-4-2-1- جریان کاری فرایند نوسازی داده. 82

3-4-2-2- تعریف سناریوهای نوسازی.. 87

3-4-3- مفهوم فرایند نوسازی داده. 90

3-4-4- کیفیت در فرایند نوسازی داده. 91

3-4-4-1- آنالیز کیفیت برای نوسازی داده. 92

3-5- خلاصه و نتایج.. 95

فصل چهارم

طراحی و پیاده سازی نوسازی داده در پایگاه پردازش تحلیلی

4-1-تعریف محیط عملیاتی.. 97

4-1-1- جدول اشخاص... 98

4-1-2- جدول قرارداد. 98

4-1-3- جدول تعهدات.. 99

4-1-4- جدول خسارات.. 99

4-2- پایگاه پردازش تحلیلی برای پایگاه داده مورد نظر. 100

4-2-1- بعد زمان.. 101

4-2-2- بعد شخص.... 101

4-2-3- بعد قرارداد. 102

4-2-4- بعد تعهدات.. 102

4-3- پر کردن پایگاه داده. 104

4-4- بارگذاری اولیه اطلاعات از پایگاه داده به پایگاه پردازش تحلیلی.. 105

4-5- مشاهده و ثبت تغییرات ایجادشده در پایگاه داده. 106

4-6- پروتکل ارائه شده به منظور نوسازی داده در پایگاه پردازش تحلیلی.. 108

4-7- خلاصه و نتایج.. 113

فصل پنجم

مقایسه روشهای ارائه شده به منظور نوسازی داده

5-1- برنامه ارائه شده به منظور انجام مقایسات.. 115

5-2- انجام آزمایشات با استفاده از برنامه ارائه شده و ارائه نتایج.. 116

5-2-1- برنامه هایی که باید همیشه بروز باشند. 116

5-2-2- برنامه هایی که در زمانهای خاصی گزارش گیری می شوند. 119

5-2-2-1- زمان.. 119

5-2-2-2-حجم.. 121

5-2-2-3- درخواست... 123

5-2-2-4- بطور برخط.. 126

5-2-3- برنامه هایی که در آنها تغییرات بسیار کند است... 127

5-2-3-1- زمان.. 127

5-2-3-2-حجم.. 129

5-2-3-3- درخواست... 131

5-2-3-4- بطور برخط.. 134

5-2-3-5- زمان یا حجم.. 135

5-3- خلاصه و نتایج.. 136

خلاصه و نتایج

پیشنهادات برای ادامه کار. 138

ضمائم

ضمیمه 1: پر کردن جدول Person_Table. 141

ضمیمه 2: پر کردن جدول Damage_Table. 143

ضمیمه 3: پر کردن جدول Commitment_Table. 144

ضمیمه 4: بارگذاری اولیه بعد قرارداد. 145

ضمیمه 5: بارگذاری اولیه بعد تعهدات.. 145

ضمیمه 6: بارگذاری اولیه بعد شخص.... 146

ضمیمه 7: بارگذاری اولیه جدول حقایق.. 148

ضمیمه 8: کد ارائه شده به منظور نوسازی داده در روش زمانی.. 153

ضمیمه 9: کد ارائه شده به منظور انجام مقایسات.. 172

ضمیمه 10: فهرست معادل کلمات انگلیسی به ترتیب حروف فارسی.. 208

ضمیمه 11: فهرست معادل کلمات انگلیسی به ترتیب حروف انگلیسی.. 210

فهرست منابع.. 212

فهرست شکل ها

فصل اول

معرفی پایگاه پردازش تحلیلی

شکل 1-1 : یک نمونه مدل چند بعدی.. 13

شکل 1-2: پارامتر تحلیلی مجموع گروه ذخیره شده در روز. 15

شکل 1-3: فعالیتهای لازم جهت ساخت پایگاه پردازش تحلیلی.. 16

فصل دوم

مسائل تحقیقاتی در پایگاه پردازش تحلیلی

شکل 2-1 : معماری کلی پایگاه پردازش تحلیلی.. 22

شکل2-2 : معماری دقیق پایگاه پردازش تحلیلی.. 24

فصل سوم

نوسازی داده در پایگاه پردازش تحلیلی

شکل 3-1 : محیط رایج پایگاه پردازش تحلیلی.. 33

شکل 3-2 : فرایند نوسازی داده پایگاه پردازش تحلیلی.. 35

شکل 3-3:بارگذاری داده از محیط های قبلی.. 36

شکل 3-4: بارگذاری اولیه پایگاه پردازش تحلیلی.. 37

شکل 3-5: بارگذاری اولیه داده فعال از محیط عملیاتی.. 38

شکل 3-6: نوسازی داده در پایگاه پردازش تحلیلی.. 39

شکل 3-7: خواندن پایگاه داده عملیاتی و جستجوی تغییرات.. 40

شکل 3-8: خواندن تعداد زیادی رکورد برای یافتن تغییرات کم.. 40

شکل 3-9: لزوم فعال بودن پایگاه داده. 41

شکل 3-10: انجام پردازش در محیط کامپیوترهای بزرگ پر هزینه است... 41

شکل 3-11: استفاده از نوار ثبت وقایع.. 42

شکل 3-12: راههای استفاده کارا از نوار ثبت وقایع.. 43

شکل 3-13: برخی از موانع در خواندن از نوار ثبت وقایع.. 44

شکل3-14: استفاده از واسطه برای خواندن ومدیریت نوار ثبت وقایع.. 45

شکل 3-15: نوار ثبت وقایع به عنوان منبعی برای نوسازی داده. 45

شکل 3-16: پردازشهای انجام شده بر روی داده های نوار ثبت وقایع پیش از ارسال بمنظور نوسازی داده 46

شکل 3-17: قدمهای ساخت پایگاه پردازش تحلیلی:فرایند ETL.. 48

شکل 3-18: دسته بندی مسائل کیفیت داده در منابع داده. 50

جدول 1: مثال برای مسائل تک منبعه در سطح کل طرح (نقض محدودیت های جامعیت)51

جدول 2 : مثال برای مسائل تک منبعه در سطح نمونه های قبول شده. 52

شکل 3-19: مثالهای مسائل چندمنبعه در سطوح کل طرح و نمونه های قبول شده. 54

جدول 3 : مثالهایی برای استفاده از فراداده به منظور آدرس دهی مسائل کیفیت داده. 57

شکل 3-20 مثالی از تعریف قدمهای تغییر. 58

شکل 3-21: چرخه حیات یک رکورد. 66

جدول 4 : نگاشت عملیات بهنگام سازی منطقی به فیزیکی.. 68

شکل 3-22 : اجرای غیر همزمان: الگوریتم های برون خطی.. 77

شکل 3-23 :اجرای همزمان: 2VNL.. 77

شکل 3-24 : اجرای همزمان: MVNL.. 78

شکل 3-26: مثال اول سناریوی نوسازی داده. 88

شکل 3-27: مثال دوم سناریوی نوسازی داده. 89

فصل چهارم

طراحی و پیاده سازی نوسازی داده در پایگاه پردازش تحلیلی

شکل 4-1: جدول شخص (Person_Table)98

شکل4-2: جدول رابطه (Relation_Table)98

شکل 4-3: جدول قرارداد (Contract_Table)99

شکل 4-4: جدول تعهدات (Commitment_Table)99

شکل 4-5: جدول نوع تعهد (Commitment_Type_Table)99

شکل 4-6: جدول خسارت (Damage_Table)99

شکل 4-7: دیاگرام ارتباطی پایگاه داده. 100

شکل 4-8 : جدول حقیقت (Insurance_Fact)100

شکل 4-11 : بعد قرارداد (Contract_Dimension)102

شکل 4-12 : بعد تعهد (Commitment_Dimension)103

شکل 4-13: دیاگرام ارتباطی ستاره شکل.. 103

شکل 4-14 : پارامتر تحلیلی مربوط به ماه. 104

شکل 4-15 : پارامتر تحلیلی مربوط به سال.. 104

شکل 4-16: جدول ثبت تغییرات خسارت (Damage_Table_Monitor)106

شکل 4-17: جدول ثبت تغییرات قرارداد(Contract_Table_Monitor)106

شکل 4-18: جدول ثبت تغییرات تعهدات(Commitment_Table_Monitor)107

شکل 4-19: جدول ثبت تغییرات اطلاعات اشخاص(Person_Table_Monitor)107

فصل پنجم

مقایسه روشهای ارائه شده به منظور نوسازی داده

شکل 5-1: برنامه نوشته شده به منظور ارزیابی.. 116

شکل 5-2: زمان صرف شده برای نوسازی داده در برنامه های بروز (تغییرات هر یک دقیقه)117

شکل 5-3: تعداد رکوردهایی که نوسازی داده شده اند در برنامه های بروز (تغییرات هر یک دقیقه)117

شکل 5-4: زمان صرف شده به منظور نوسازی داده در گزارش گیری در برنامه های بروز (تغییرات هر یک دقیقه)117

شکل 5-5: زمان صرف شده برای نوسازی داده در برنامه های بروز (تغییرات هر 15 دقیقه)118

شکل 5-6: تعداد رکوردهایی که نوسازی داده شده اند در برنامه های بروز (تغییرات هر 15 دقیقه)118

شکل 5-7: زمان صرف شده به منظور نوسازی داده در گزارش گیری در برنامه های بروز (تغییرات هر 15 دقیقه)118

شکل 5-8: زمان صرف شده برای نوسازی داده (برنامه هاییکه در زمانهای خاصی گزارش گیری میشوند, روش زمان, نوسازی داده هر 18 دقیقه)119

شکل 5-9: تعداد رکوردهایی که نوسازی داده شده اند(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش زمان, نوسازی داده هر 18 دقیقه)119

شکل 5-10: زمان صرف شده به منظور نوسازی داده در گزارش گیری.. 120

شکل 5-11: زمان صرف شده برای نوسازی داده(برنامه هاییکه در زمانهای خاصی گزارش گیری میشوند, روش زمان, نوسازی داده هر 5 دقیقه)120

شکل 5-12: تعداد رکوردهایی که نوسازی داده شده اند(برنامه هاییکه در زمانهای خاصی گزارش گیری میشوند, روش زمان, نوسازی داده هر 5 دقیقه)120

شکل 5-13: زمان صرف شده به منظور نوسازی داده در گزارش گیری(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش زمان, نوسازی داده هر 5 دقیقه)121

شکل 5-14: زمان صرف شده برای نوسازی داده(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 5 رکورد)121

شکل 5-15: تعداد رکوردهایی که نوسازی داده شده اند(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 5 رکورد)122

شکل 5-16: زمان صرف شده به منظور نوسازی داده در گزارش گیری(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 5 رکورد)122

شکل 5-17: زمان صرف شده برای نوسازی داده(برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 9 رکورد)122

شکل 5-18: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 9 رکورد)123

شکل 5-19: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش حجم, هر 9 رکورد)123

شکل 5-20: زمان صرف شده برای نوسازی داده (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 18 دقیقه)124

5-21: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 18 دقیقه)124

شکل 5-22: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 18 دقیقه)124

شکل 5-23: زمان صرف شده برای نوسازی داده (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 5 دقیقه)125

شکل 5-24: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 5 دقیقه)125

شکل 5-25: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش درخواست, درخواست هر 5 دقیقه)125

شکل 5-26: زمان صرف شده برای نوسازی داده (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش برخط)126

شکل 5-27: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش برخط)126

شکل 5-28: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه در زمانهای خاصی گزارش گیری می شوند, روش برخط)126

شکل 5-29: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 17 دقیقه)127

شکل 5-30: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 17 دقیقه)127

شکل 5-31: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 17 دقیقه)128

شکل 5-32: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 31 دقیقه)128

شکل 5-33: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 31 دقیقه)128

شکل 5-34: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش زمان, نوسازی داده هر 31 دقیقه)129

شکل 5-35: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)129

شکل 5-36: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)130

شکل 5-37: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش حجم, نوسازی داده هر 2 رکورد)130

شکل 5-38: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش حجم, نوسازی داده هر 6 رکورد)130

شکل 5-39: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کنداست, روش حجم, نوسازی داده هر 6 رکورد)131

شکل 5-40: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش حجم, نوسازی داده هر 6 رکورد)131

شکل 5-41: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 17 دقیقه)132

شکل 5-42: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 17 دقیقه)132

شکل 5-43: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 17 دقیقه)132

شکل 5-44: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 31 دقیقه)133

شکل 5-45: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 31 دقیقه)133

شکل 5-46: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش درخواست, نوسازی داده هر 31 دقیقه)133

شکل 5-47: زمان صرف شده برای نوسازی داده(برنامه هاییکه تغییراتشان کند است, روش برخط)134

شکل 5-48: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش برخط)134

شکل 5-49: زمان صرف شده به منظور نوسازی داده در گزارش گیری(برنامه هاییکه تغییراتشان کند است, روش برخط) می بینیم این روش از تمام روشها نتیجه بهتری ارائه می دهد.135

شکل 5-50: زمان صرف شده برای نوسازی داده (برنامه هاییکه تغییراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقیقه یا پس از تغییر هر دو رکورد)135

شکل 5-51: تعداد رکوردهایی که نوسازی داده شده اند (برنامه هاییکه تغییراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقیقه یا پس از تغییر هر دو رکورد)136

شکل 5-52: زمان صرف شده به منظور نوسازی داده در گزارش گیری (برنامه هاییکه تغییراتشان کند است, روش زمان و حجم, نوسازی داده هر 25 دقیقه یا پس از تغییر هر دو رکورد)136