نوع سرویس (TOS)
سوابق جریان شبکه توسط  پروتکل(UDP) ارسال می‌گردد و توسط یک جمع‌ آوری‌کننده جریان شبکه جمع‌ آوری می‌گردد. آدرس IP جمع‌ آوری‌کننده جریان شبکه و پورت مقصد پروتکل UDP باید در روتر فرستنده تنظیم گردد. مقدار استاندارد برای پورت UDP 2055 است ولی مقادیر دیگر مانند ۹۵۵۵ یا ۹۹۹۵ نیز به کار می‌رود.
دانلود پروژه
به خاطر مسئله کارایی، روترها به‌طورمعمول اثری از فلو‌های ارسال‌شده خود نگه نمی‌دارند، بنابراین اگر یک بسته جریان شبکه به دلیل کنترل ازدحام در شبکه و یا دست‌خوردگی بسته دور انداخته شود، برای همیشه آن بسته را از دست خواهیم داد. پروتکل UDP روتر را از واقعه از بین رفتن بسته‌ها مطلع نمی‌نماید و روتر به ارسال بسته‌ها ادامه می‌دهد. این‌یک مشکل جدی است، مخصوص برای نسخه‌های V8 و V9 جریان شبکه که بسته‌ها و فلو‌ها را به صورت مجموعه‌ای بزرگ در یک رکورد ذخیره می کند. درصورتی‌که بسته‌ها را از دست بدهیم تأثیر عظیمی بر روی آمار فلوها ایجاد می کند.
به همین دلیل است که پیاده‌سازی‌های جدید جریان شبکه از پروتکل انتقال کنترل جریان (SCTP) برای ارسال بسته‌ها استفاده می‌نمایند به‌طوری‌که در برابر از دست دادن بسته‌ها حمایت و نگهداری می کند و این اطمینان را در نسخه V9 جریان شبکه می‌دهد قبل از ارسال هر بسته نمونه‌های قبلی به مقصد رسیده‌اند. قابل‌توجه اینکه پروتکل TCP برای نت فلو مناسب نیست زیرا ترتیب دقیق بسته‌های اطلاعاتی تأخیر و بافر زیادی می‌طلبد. مشکلی که در استفاده از پروتکل SCTP وجود دارد لزوم بر هم کنش میان هر جمع‌ آوری‌کننده جریان شبکه و روتر‌های ارسال‌کننده است. این ممکن است منجر به محدودیت در کارایی عملکرد شود اگر روتر بخواهد با چندین جمع آوری کننده جریان شبکه رفتار نماید و برعکس؛ به خصوص در حالتی که برخی از این‌ها غیرقابل‌دسترس باشند.
SCTP ممکن است درصورتی‌که باید به سمت چندین جمع آوری کننده ارسال نماید، مناسب نباشد؛ که برخی از آن‌ها ممکن است توسط سرورها آزمایش شوند که می‌تواند در هرلحظه پایین بیاید.UDP تکرار ساده‌ای از بسته‌های جریان شبکه با بهره گرفتن از Network tap‌ها و یا L2 یا L3 معکوس اجازه می‌دهد. تجهیزات ساده قادر هستند تا بسته‌های UDP جریان شبکه را فیلتر و یا آدرس مقصد را تغییر دهند. چون ارسال‌کننده جریان شبکه معمولاً لینک‌های ستون فقرات شبکه را به کار می‌برند، از دست دادن بسته اغلب از آن صرف‌نظر می‌شود. (۹)
یادگیری ماشین[۶]
یادگیری ماشین یک برنامه کامپیوتری برای بهینه سازی معیار کارایی با بهره گرفتن از داده نمونه یا تجربیات گذشته می باشد. یادگیری ماشین در مسایل مختلفی کاربرد دارد:
دسته بندی :ماشین یاد میگیرد که ورودیها را به دسته های از پیش تعیین شده ای نسبت دهد.
سیستم یادگیر : کشف میکند که کدام ورودیها با هم در یک دسته بندی قرار میگیرند.
انواع یادگیری ها بر حسب ناظر را در زیر شرح می دهیم:
یادگیری با ناظر:
یک مجموعه از مثالهای یادگیری وجود دارد بازای هر ورودی، مقدار خروجی و یا تابع مربوطه نیز مشخص است. هدف سیستم یادگیر بدست آوردن فرضیه ای است که تابع و یا رابطه بین ورودی و یا خروجی را حدس بزند.
یادگیری بدون ناظر:
یک مجموعه از مثالهای یادگیری وجود دارد که در آن فقط مقدار ورودی ها مشخص است و اطلاعاتی در مورد خروجی صحیح در دست نیست. یادگیری بدون ناظر برای دسته بندی ورودیها و یا پیش بینی مقدار بعدی بر اساس موقعیت فعلی بکار میرود.
یادگیری تقویتی:
مثالها بصورت ورودی/خروجی نیستند بلکه بصورت وضعیت/پاداش هستند که یادگیر در وضعیت های مختلف عملیات مختلفی را انجام داده و پاداشهای متفاوتی دریافت و بر اساس مجموع پاداش های دریافتی عمل متناسب با هر وضعیت را یاد میگیرد.
یادگیری نیمه نظارتی:
مثالها طوری هستند که برای تعداد کمی از آنها مقدار خروجی موجود است اما برای مثالهای زیادی مقدار خروجی مشخص نیست.
حال در زیر به تعریف چند روش یادگیری از یادگیری ماشین که در دسته بندی کاربرد دارد می پردازیم. (۱۰)
ماشین بردار پشتیبان[۷]
ماشین بردار پشتیبان از روش های یادگیری تحت نظارت است که برای دسته بندی و رگرسیون استفاده می شود. ماشین بردار پشتیبان توسط وپنیک بر پایه تئوری یادگیری آماری معرفی شد دراین روش اساس کار بر این است که بردارهای ورودی ( بردارهای ویژگی) به فضایی با ابعاد بالاتر نگاشت میشوند، در این فضای جدید دسته بندی این بردارها کاراتر و مناسبتر انجام میشود. این روش آموزش نسبتاً ساده است برخلاف شبکه های عصبی در ماکزیمم های محلی گیر نمی‌افتد. برای داده های با ابعاد بالا تقریباً خوب جواب می دهد. مصالحه بین پیچیدگی دسته بندی کننده و میزان خطا به طور واضح کنترل می شود. به یک تابع کرنل خوب و انتخاب پارامتر C نیاز دارد. (۱۱)
شبکه های عصبی مصنوعی
شبکه عصبی مصنوعی چکیده ای از مغز انسان است. مغز انسان در حدود ۱۰۱۱ واحد ریز دارد که نورون نامیده میشوند. این نورونها با مقدار تقریبی ۱۰۱۵ اتصال، به یکددیگر متصل شده اند. مشابه مغز، شبکه عصبی مصنوعی از نورونهای مصنوعی)یا واحدهای پردازنده( و اتصالات ساخته شده است. وقتی که چنین شبکه ای را به صورت نموداری مشاهده میکنیم، نورونها میتوانند به صورت گرهها )رئوس( و اتصالات بصورت لبه ها )یالها(نشان داده شوند.
ورودی شبکه عصبی بردارهای ویژگی و خروجی شبکه معرف کلاسهای مختلف خواهد بود. شبکه های چندلایه پیش خور یکی از مهمترین و رایج ترین شبکه های عصبی مصنوعی در کاربردهای دنیای واقعی هستند. این شبکه شامل مجموع هایی از ورودی هاست که لایه ی ورودی شبکه را می سازند، یک یا چند لایه مخفی از گره های محاسباتی و در نهایت یک لایه خروجی از گره های محاسباتی است. پردازش در جهت پیش رو و به صورت لایه به لایه است. به این نوع اغلب پرسترون چند لایه MLP[8] گفته می شود که تعمیمی از یک تک پرسترون است. شکل معماری یک پرسترون چند لایه با یک لایه مخفی از گره ها برای پردازش و یک لایه خروجی را نشان میدهد. شبکه نشان داده شده در اینجا، کاملا همبند است. این بدان معناست که نورون در هر لایه شبکه، به تمامی نورونهای)گره های( لایه قبلی متصل است. جریان داده در طول شبکه در راستای پیش رو، از چپ به راست و بر مبنای لایه به لایه پیش می رود. (۱۱)
شکل ۱ - نمونهای از شبکه عصبی با یک لایه مخفی (۱۱)
درختهای تصمیم گیری
در درختهای تصمیم گیری هر گره از درخت دسته بندی را براساس مقادیر یکی از ویژگیها انجام می دهد و تصمیم گیری نهایی در برگ های درخت انجام میگیرد. برای مثال، میخواهیم با توجه به علایم ظاهر شده در فرد مثل درد، تب و سرفه نوع بیماری فرد را تشخیص دهیم. شکل ۶ درخت تصمیمی که این مسأله را حل میکند، نشان می دهد. همه مؤلفه های اساسی درخت تصمیم در شکل نشان داده شده است.
شکل ۲ – درخت تصمیم گیری (۱۱)
هر گره داخلی یا غیربرگ با یک ویژگی مشخص می شود. این ویژگی سوالی را در رابطه با مثال ورودی مطرح میکند. درهر گره داخلی به تعداد جوابهای ممکن با این سوال شاخه ) انشعاب (وجود دارد که هر کدام براساس مقدار جواب مشخص می شوند. برگ های درخت با یک کلاس و یا یک دسته از جواب ها مشخص می شوند. (۱۱)
K نزدیکترین همسایه
هنگام تلاش برای حل مسائل جدید، افراد معمولاً به راه حل های مسائل مشابه که قبلاً حل شده اند مراجعه می کنند. نزدیکترین K همسایه الگوریتم دسته بندی است که از نسخه ای از این نظریه استفاده می کند. در این روش تصمیم گیری درمورد تخصیص نمونه ی جدید به کلاس یا دسته با بررسی تعدادی (k) از شبیه ترین نمونه ها یا همسایه ها در مجموعه آموزش انجام می شود. تعداد نمونه های هر کلاس
شمرده میشوند و نمونه جدید به دسته ای که تعداد بیش تری از همسایه ها به آن تعلق دارند نسبت داده میشود. از جمله مشکلات این روش پیچیدگی محاسباتی، محدودیت حافظه، از جمله الگوریتم های یادگیری تنبل است (برای داده های آموزش مدل ساخته نمی شود) و حساس به اختلاف مقادیر و داده های نا متقارن می باشد. (۱۱)
دسته بندی کننده ساده بیز[۹]
یک روش یادگیری بسیار عملی روش دسته بندی کننده ساده بیز است این روش کارایی قابل مقایسه ای با شبکه های عصبی و درخت تصمیم دارد.. استدلال بیزی روشی بر پایه احتمالات برای استنتاج کردن است و اساس این روش بر این استوار است که برای هر کمیتی یک توزیع احتمال وجود دارد که با مشاهده یک داده جدید و استدلال در مورد توزیع احتمال آن می توان تصمیمات بهینه ای اتخاذ کرد در برخی کاربرد ها استفاده از روش های یادگیری بیزی (نظیر دسته بندی کننده بیزی ساده) توانسته است راه حل های عملی مفیدی را ارائه کند نشان داده شده است که کارایی این روش قابل مقایسه با درخت تصمیم و شبکه عصبی است مطالعه یادگیری بیزی به فهم سایر روش های یادگیری که به ور مستقیم از احتمالات استفاده نمی کنند کمک می کند مشاهده هر مثال می تواند به صورت جزئی باعث افزایش و یا کاهش احتمال درست بودن یک فرضیه گردد برای بدست آوردن احتمال یک فرضیه می توان دانش قبلی را با مثال مشاهده شده ترکیب کرد این دانش قبلی از دو طریق بدست می آید:
الف) احتمال قبلی برای هر فرضیه موجود باشد
ب) برای داده مشاهده شده توزیع احتمال هر فرضیه ممکن موجود باشد.
روش های بیزی فرضیه هائی ارائه می دهند که قادر به پیش بینی احتمالی هستند(مثل بیمار به احتمال ۹۳% بهبود می یابد) مثال های جدید را می توان با ترکیب وزنی چندین فرضیه دسته بندی نمود حتی در مواردی که روش های بیزی قابل محاسبه ناشد می توان از آنها به عنوان معیاری برای ارزیابی روش های دیگر استفاده کرد یکی از مشکلاتی که این روش دارد این است که نیاز به دانش اولیه در مورد تعداد زیادی از احتمالات دارد وقتی که این اطلاعات موجود نباشد اغلب ناگزیر به تخمین زدن آن هستیم برای این کار از اطلاعات زمینه داده هائی را که قبلاً جمع آوری شده اند و فرضیاتی در مورد توزیع احتمال استفاده می شود و محاسبه فرضیات بهینه بیزی بسیار هزینه بر است (تعداد فرضیه های کاندید خطی است) با توجه به مجموعه ای از نمونه ها که هر کدام متعلق به یک کلاس مشخص است و هر کدام از آنها دارای برداری از ویژگی ها که نمونه تازه را تعریف می کند دارد را به یک کلاس اختصاص بدهیم مشکلاتی از این نوع مشکلات دسته بندی با ناظر[۱۰] نامیده می شود که همه جا حاظرند و متد های زیادی برای ایجاد چنین قوانینی توسعه یافته اند یکی از روش های خیلی مهم روش ساده بیز است این روش به چندین دلیل مهم است که شامل موارد زیر است. ایجاد آن خیلی ساده است و نیازی به تخمین پارامتر زیاد پیچیده ای ندارد و این بدین معنی است که می توان ان را براحتی بروی مجموعه داده های بزرگ بکار برد تفسیر نتایج ساده است و بنابراین کاربرانی که مهارت زیادی در تکنولوژی دسته بندی ندارند نیز می توانند نحوه دسته بندی که این روش تولید می کند را متوجه شوند از همه مهم تر اینکه این روش کار خود را به طور شگفت انگیزی خوب انجام می دهد اگرچه این روش بهترین دسته بندی کننده ممکن برای هر کاربردی نیست ولی معمولاً می تواند بهبود داده شود و نسبتاً خوب عمل کند برای مثال در مطالعه ای که بروی پیش بینی سرطان سینه انجام شده بود ساده بیز نتایج بهتر در مقایسه با دیگر روش های دسته بندی با ناظر داده است جهت ساده تر شدن مطلب در دسته بندی دارای فقط ۲ کلاس هستیم که البته در بیشتر مواقع هم بصورت طبیعی دارای دو کلاس اند مانند (right/wrong, yes/no, good/bad, present/absent) .
با برچسب زدن کلاس ها با i=0,1، هدف از استفاده از مجموعه نمونه های آموزشی که دارای اعضای مشخصی هستند که نمونه ها را به دو دسته تقسیم می کنیم که به نمونه هایی که موارد زیادی را شامل می شوند عدد ۱ و مواردی که تعداد کمتری را شامل می شود را با عدد ۰ نشانه گذاری می کنیم و با دادن نمونه جدید با این دسته بندی مقایسه می کنیم که اگر از یک آستانه خاصی بزرگتر باشد در دسته بندی ۱ و اگر کمتر باشد در دسته بندی ۰ قرار می دهیم.
احتمال اینکه یک نمونه با بردار x(x1,…….,xp) متعلق به کلاس i باشد را با P(i|x) نشان می دهیم و f(x|i) توزیع شرطی x برای نمونه های کلاس i و P(i) احتمال اینکه یک نمونه بدون هیچ گونه اطلاعی از آن به کلاس i متعلق باشد(احتمال پیشین کلاس i ) نشان می دهیم و F(x) را به عنوان ترکیب توزیعی از دو کلاس تعریف می کنیم:

واضح است که یک تخمین از ) P(i |x به تنهایی می تواند یک معیار مناسب برای استفاده در قوانین دسته بندی بکار رود ما برای بدست آوردن یک دسته بندی خوب نیاز داریم که احتمال بعضی آستانه ها را انتخاب کنیم بطور مثال بیشتر معمول است که از ۲/۱ به عنوان آستانه استفاده می شود بطوری که هر نمونه جدید به کلاسی اختصاص می یابد که از کلاسی با بیشترین شباهت آمده است یک کاربرد ساده از قضیه بیز منجر به  می شود که برای بدست آوردن یک تخمین از P(i|x) از این فرمول ما نیاز به تخمین هر یک از P(i) و f(x|i) داریم اگر مجموعه آموزشی ما یک نمونه تصادفی ساده مشتق شده از توزیع کلی جمعیت f(x) باشد P(i) را می توان مستقیماً از نسبت نمونه های کلاس i در مجموعه آموزشی تخمین زد با وجود این در بعضی مواقع مجموعه اموزشی از طرق بسیار پیچیده ای بدست می آید بعنوان نمونه در بسیاری از مسائل کلاس ها نا متوازن اند بطوریکه یک کلاس بزرگتر از دیگری می شود(مثلاً در تشخیص تقلب حساب های بانکی از هر ۱۰۰۰ تراکنش فقط یکی ممکن است کلاهبردار از آب در بیاید) در چنین مواردی کلاسی که در بین دو کلاس بزرگتر است به زیر نمونه هایی تقسیم می شود برای مثال شاید فقط ۱ در ۱۰ یا در ۱۰۰ از کلاس بزرگتر در نمونه های آموزشی استفاده شود در این مورد ضروری است که نسبت مشاهده شده برای نمونه ها دوباره وزن دهی شوند تا یک تخمین از P(i) در مجموعه آموزشی بدست آید در حالت کلی اگر مشاهدات ما یک نمونه تصادفی ساده از مجموعه آموزشی مشتق نشده باشد به نظر می رسد که برای بهتر کردن تخمین P(i) نیاز خواهیم داشت هسته روش ساده بیز متکی بر متدی است که f(x|i) را تخمین بزند روش ساده بیز فرض می کند که اجزاء x در هر کلاس مستقل اند  بنابراین نام بیز مستقل[۱۱] از آن گرفته شده است هر یک توزیع های حاشیه ای تک متغییری f(xj|i) که j=1,…..,P و i=1,0 بطور جداگانه ای محاسبه می شوند به این ترتیب یک مساله چند متغییری به p بُعدی به تخمین p مسئله یک متغییره کاهش می یابد تخمین یک متغییری ساده و آشنا است و به اندازه های کوچکی از مجموعه آموزشی برای بدست آوردن دقت تخمین نسبت به توزیع های چند متغییری نیاز دارد در حقیقت این روش به حدی ساده است که بسیاری از پیاده سازی ها هر متغییر پیوسته مانند (سن، وزن، درآمد و…) را به نمونه های گسسته تبدیل می کند که البته در نظر نخست این به معنی قربانی شدن مفهوم پیوستگی بین نمونه های همسایه است هم چنین این استراتژی مستلزم این است که نمونه ها از بازه به اندازه کافی بزرگ انتخاب شوند تا شامل نقاطی باشند که دقت تخمین احتمال تامین شود بخصوص اینکه این یک تبدیل غیر خطی است یعنی لازم نیست رابطه بین xj ها و تخمین f(xj|i) یکنواخت باشد مثلاً در مورد دسته بندی بر اساس سن لزومی ندارد که بعد از گسسته کردن فاصله بین کلاس اول مثل ۱۰ تا ۲۰ سال برابر فاصله کلاس دوم مثل ۲۰ تا ۵۰ باشد.
این روش در مسائلی کاربرد دارد که نمونه x توسط ترکیب عطفی ویژگی ها قابل توصیف باشد و این ویژگی ها به صورت شرطی مستقل از یکدیگر باشند و تابع هدف f(x) بتواند هر مقداری را از مجموعه محدود V داشته باشد؛ و مجموعه مثال های آموزشی نسبتاً زیادی در دست باشد.
تابع هدف زیر را در نظر بگیرید:
F:X?V که در ان هر نمونه x توسط ویژگی زیر مشخص می شود (a1,….,an)
صورت مسئله: برای یک نمونه مشاهده شده مقدار تابع هدف یا به عبارت دیگر دسته بندی آن را مشخص کنید.
در روش بیزی برای حل مسئله محتمل ترین مقدار هدف vMAP محاسبه می شود

این رابطه با بهره گرفتن از تئوری بیز به صورت روبرو نوشته می شود:

در رابطه فوق مقدار P(vj) با شمارش دفعاتی که vj در مثال های آموزشی مشاهده شده است محاسبه می شود اما محاسبه P(a1,…..,an|vj) چندان عملی نیست مگر اینکه مجموعه آموزشی بسیار بسیار بزرگی در دست باشد روش یادگیری دسته بندی ساده بیز بر پایه این فرض ساده عمل می کند که مقادیر ویژگی به صورت شرطی مستقل هستنددر این صورت برای یک مقدار هدف مشخص احتمال مشاهده ترکیب عطفی (a1,…,an) برابر است با حاصلضرب احتمال تک تک ویژگی ها.
در این صورت رابطه فوق به صورت زیر در می آید:

در روش ساده بیز مقادیر مختلف P(vj) و P(ai|vj) با بهره گرفتن از دفعات تکرار آنها تخمین زده می شود مجموعه این تخمین ها فرضیه ای را تشکیل می دهد که برای دسته بندی داده جدید بکار می رود در این روش هیچ گونه عمل جستجوی آشکاری در فضای فرضیه وجود ندارد. (۱۲)
تئوری بیز

موضوعات: بدون موضوع  لینک ثابت


فرم در حال بارگذاری ...