設計 任務書 論文 開題 答辯 說明書 格式 模板 外文 翻譯 范文 資料 作品 文獻 課程 實習 指導 調研 下載 網絡教育 計算機 網站 網頁 小程序 商城 購物 訂餐 電影 安卓 Android Html Html5 SSM SSH Python 爬蟲 大數據 管理系統 圖書 校園網 考試 選題 網絡安全 推薦系統 機械 模具 夾具 自動化 數控 車床 汽車 故障 診斷 電機 建模 機械手 去殼機 千斤頂 變速器 減速器 圖紙 電氣 變電站 電子 Stm32 單片機 物聯網 監控 密碼鎖 Plc 組態 控制 智能 Matlab 土木 建筑 結構 框架 教學樓 住宅樓 造價 施工 辦公樓 給水 排水 橋梁 剛構橋 水利 重力壩 水庫 采礦 環境 化工 固廢 工廠 視覺傳達 室內設計 產品設計 電子商務 物流 盈利 案例 分析 評估 報告 營銷 報銷 會計
                   首 頁 機械畢業設計 電子電氣畢業設計 計算機畢業設計 土木工程畢業設計 視覺傳達畢業設計 理工論文 文科論文 畢設資料 幫助中心 設計流程 
                  墊片
                  您現在所在的位置:首頁 >>畢設資料 >> 文章內容
                                   
                  墊片
                     我們提供全套畢業設計和畢業論文服務,聯系點擊這里給我發消息   914298682   
                  基于Hadoop協同過濾的電子商務商品推薦(購買組合)系統 開題報告
                  文章來源:www.freehotlive.com   發布者:學生畢業作品網站  

                  畢 業 設 計 開 題 報 告

                  1.結合畢業設計情況,根據所查閱的文獻資料,撰寫2000字左右的文獻綜述:

                  文 獻 綜 述

                  本文的材料主要來源于有關國內外的文獻資料、學術論文和相關的評論文

                  Hadoop作為Apache基金會資助的開源項目,由Doug Cutting帶領的團隊進行開發,基于Lucene和Nutch等開源項目,實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群;2006年1月,Doug Cutting加入雅虎公司,同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。與此同時,新興公司Cloudera為Hadoop提供了商業支持,幫助企業實現標準化安裝,并志愿貢獻社區。目前Apache hadoop發展到hadoop3.0.0-alpha2版本(2017-01-25更新)。

                  我們生活在數據的時代,很難估計全球的數據有多少,有很多數據,目前有很多問題,比如數據處理速度不夠,以100mb每秒計算,讀取1tb的數據需要2個半小時。一個比較好的方案就是把數據放在100個磁盤中每個磁盤中存放1%的數據并行讀取,不到2min就能讀取所有數據。HDFS就是實現了數據分成各種block放到不同的機器,但是一旦硬件發生故障,用戶的數據就會丟失,HDFS加入了數據備份模塊,使的每份block都在底層的磁盤上做了三份備份,并且備份到的不同的機器上,防止了機器的單點故障而丟失數據。這種HDFS的高容錯性和hadoop是基于java語言開發的,使hadoop可以部署在低廉的的計算阿基集群中,同時不限于某一種操作系統Hadoop中HDFS的數據管理能力,MapReduce處理任務時的高效率,以及它的開源特性,使其在同類的分布式系統中大放異彩,并在眾多行業和科研領域中被廣泛采用。

                  MapReduce是一種編程模型,用于大規模數據集(大于1TB)的并行運算。概念"Map(映射)"和"Reduce(歸約)",是它們的主要思想,都是從函數式編程語言里借來的,還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統上。 當前的軟件實現是指定一個Map(映射)函數,用來把一組鍵值對映射成一組新的鍵值對,指定并發的Reduce(歸約)函數,用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce通過把對數據集的大規模操作分發給網絡上的每個節點實現可靠性;每個節點會周期性的返回它所完成的工作和最新的狀態。如果一個節點保持沉默超過一個預設的時間間隔,主節點(類同Google File System中的主服務器)記錄下這個節點狀態為死亡,并把分配給這個節點的數據發到別的節點。每個操作使用命名文件的原子操作以確保不會發生并行線程間的沖突;當文件被改名的時候,系統可能會把他們復制到任務名以外的另一個名字上去。(避免副作用);啿僮鞴ぷ鞣绞脚c之類似,但是由于化簡操作的可并行性相對較差,主節點會盡量把化簡操作只分配在一個節點上,或者離需要操作的數據盡可能近的節點上;這個特性可以滿足Google的需求,因為他們有足夠的帶寬,他們的內部網絡沒有那么多的機器。

                  《Hadoop基礎教程》包括三個主要部分:第1~5章講述了Hadoop的核心機制及Hadoop的工作模式;第6~7章涵蓋了Hadoop更多可操作的內容;第8~11章介紹了Hadoop與其他產品和技術的組合使用!禜adoop基礎教程》目的在于幫助讀者了解什么是Hadoop,Hadoop是如何工作的,以及如何使用Hadoop從數據中提取有價值的信息,并用它解決大數據問題。本次畢業設計技術指導書。

                  《hadoop權威指南》的是作者Tom White從2007年以來,一直擔任Apache Hadoop項目負責人。他是Apache軟件基金會的成員之一,同時也是Cloudera的一名工程師。Tom為oreully.com、java.net和IBM的developerWorks寫過大量文章,并經常在很多行業大會上發表演講。是一本權威的書,是本次本業設計的技術指導和理論指導書籍。

                  《hadoop技術詳解》詳細介紹Hadoop的各項操作,從最初的設計,到安裝、設置,以幫助讀者提供穩定持續的系統表現。通過學習Hadoop工作原理以提高NapReduce工作效率的本書作者Eric Sammer目前是Cloudera公司的首席方案架構師,協助客戶規劃、配置、開發和使用Hadoop以及相關的大型項目。他在開發和運營分布式的、高并發的數據攝取和處理系統方面很有經驗。在過去十年里,他參加了開源社區并且為許多項目做出了貢獻。

                  《hadoop實戰(第二版)》滿足本次畢業設計的hadoop技術及其相關技術(hive、hbase等)的需求,畢業設計的關于hadoop工具書和參考書。hadoop整個技術體系進行了全面的講解,不僅包括hdfs、mapreduce、yarn等核心內容,而且還包括hive、hbase、mahout、pig、zookeeper、avro、chukwa等與hadoop技術相關的重要內容。實戰性強,不僅為各個知識點精心設計了大量經典的小案例,而且還包括yahoo!等多個大公司的企業級案例,可操作書中全面講解了hadoop的i/o操作,對yarn進行了介紹,對hdfs進行了詳細講解和分析,細致講解hadoop的管理,對hadoop大生態系統中的hive、hbase、mahout、pig、zookeeper、avro、chukwa等技術進行了詳細的描述,介紹hadoop的各種常用插件,以及hadoop插件的開發方法,并且加入hadoop在yahoo!、ebay、百度、facebook等企業中的應用案例。

                  《推薦系統實踐》是解決隨著信息技術和互聯網的發展,人們逐漸從信息匱乏的時代走入了信息過載(information overload)的時代 。在這個時代,無論是信息消費者還是信息生產者都遇到了很大的挑戰:對于信息消費者,從大量信息中找到自己感興趣的信息是一件非常困難的事情;對于信息生產者,讓自己生產的信息脫穎而出,受到廣大用戶的關注,也是一件非常困難的事情。推薦系統就是解決這一矛盾的重要工具。推薦系統的任務就是聯系用戶和信息,一方面幫助用戶發現對自己有價值的信息,另一方面讓信息能夠展現在對它感興趣的用戶面前,從而實現信息消費者和信息生產者的雙贏問題的一本非常經典的書,書中關于ItemCF為本畢業設計提供了算法支持。

                  參考文獻:

                  [1]Hadoop基礎教程,人民郵電出版社,Garry Turkington著

                  [2]Hadoop權威指南,清華大學出版社,Tom Wbite著

                  [3]Hadoop技術詳解,人民郵電出版社,Eric Sammer 著

                  [4]Hadoop實戰(第2版),機械工業出版社,陸嘉恒 著

                  [5]推薦系統實踐,人民郵電出版社,項鏈 著

                  [6]杜定宇. 基于特征向量的個性化推薦算法研究[D].重啟:重慶大學,2011年

                  [7]彭德巍,胡斌. 一種基于用戶的特征和時間的協同過濾算法[J]. 武漢理工大學學報,2009,31(3):24-28

                  [8]黃正. 協同過濾推薦算法綜述[J].價值工程,2012,21;226-228

                  [9]周強. 基于用戶的協同過濾過濾推薦算法研究[J].南昌高專學報,2006.3:88-89

                  [10]劉建國,周濤,王秉宏。個性化推薦系統的研究進展[J]. 統計與決策,2008,21:34-45

                  [11]趙宏霞,王新海. 基于混合推薦技術的推薦模型[J]. 計算機工程,2010,26(22):248-251

                  [12]孫小華. 協同過濾系統的稀疏性和冷啟動問題研究[D]. 浙江:浙江大學.2005.

                  [13]張光衛,李德毅.基于云模型的協同過濾推薦算法[J].軟件學報,2007,18(10):240-245.

                  [14]龔松杰.個性化推薦中一種新的相似性計算方法[J].計算機系統應用,2008,17(7):5-9

                  [15]陳登科,孔繁勝. 基于高斯pLSA模型與項目的協同過濾混合推薦[J]. 軟件導刊.2011,10(3):146-148


                   畢 業 設 計 開 題 報 告

                  2.本課題要研究或解決的問題和擬采用的研究手段(途徑):

                  隨著信息技術和互聯網的發展,人們逐漸從信息匱乏的時代走入了信息很多的時代。在這個時代,無論是信息消費者還是信息生產者都遇到了很大的挑戰:作為信息消費者,如何從大量信息中找到自己感興趣的信息是一件非常困難的事情;作為信息生產者,如何讓自己生產的信息脫穎而出,受到廣大用戶的關注,也是一件非常困難的事情,而推薦系統就是解決這一矛盾的重要工具。推薦系統的任務就是聯系用戶和信息,一方面幫助用戶發現對自己有價值的信息,另一方面讓信息能夠展現在對它感興趣的用戶面前,從而實現信息消費者和信息生產者的雙贏,現實社會中用戶面對很多選擇時做決定的過程。以買東西為例,我們可能在電商網站上有數以萬計的商品,而有時候我們并不知道我們需要什么,或者說有什么商品我們并不知道 ,當這個時候電商平臺可以給你推薦一些商品,是非常好的,但是電商網站并不知道你喜歡什么商品。這時候,協同過濾算法可以很好地解決這個問題,當然解決這個問題的算法有很多種比如kmeans算法,等等。但是我們本次畢業設計使用的協同過濾算法,協同過濾算法有兩種,一種是基于用戶的協同過濾算法(ItemUF),另一種是基于物品我的協同過濾算法(ItemCF),本次畢業設計是使用的第二種基于物品的協同過濾算法。User-based的基本思想是如果用戶A喜歡物品a,用戶B喜歡物品a、b、c,用戶C喜歡a和c,那么認為用戶A與用戶B和C相似,因為他們都喜歡a,而喜歡a的用戶同時也喜歡c,所以把c推薦給用戶A。該算法用最近鄰居(nearest-neighbor)算法找出一個用戶的鄰居集合,該集合的用戶和該用戶有相似的喜好,算法根據鄰居的偏好對該用戶進行預測。

                  本課題要研究的基于大數據的推薦系統,大數據的處理用的是Apache hadoop(2.6.0),推薦系統是基于ItemCF(基于物品的協過濾算法)


                   畢 業 設 計 開 題 報 告

                  指導教師意見:

                  該生在確定題目的時候參考了許多文獻,具有一定的實用價值。本選題是學生所學專業知識的延續,符合學生專業發展方向,對于提高學生的基本知識和技能,對于提高學生的研究能力有益。研究方法和研究計劃基本合理,難度合適,學生能夠在預定時間內完成該論文的設計。

                  同意開題。

                  指導教師:

                    全套畢業設計論文現成成品資料請咨詢點擊這里給我發消息914298682      返回首頁 如轉載請注明來源于www.freehotlive.com  

                                   

                  打印本頁 | 關閉窗口
                  本類最新文章
                  歐亞新生活客流統計系統前端工程設 蔬菜收割機結構設計任務書 基于微信小程序的單詞學習系統開題
                  本科學位論文統一格式的規定 塑料桶蓋板模具設計及模擬仿真設計 鹽城工學院關于畢業設計說明書撰寫
                  | 關于我們 | 友情鏈接 | 畢業設計招聘 |

                  Email:biyeshejiba@163.com 在線QQ: 點擊這里給我發消息  914298682 學生畢業作品網站  
                  本站畢業設計畢業論文資料均屬原創者所有,僅供學習交流之用,請勿轉載并做其他非法用途.如有侵犯您的版權有損您的利益,請聯系我們會立即改正或刪除有關內容!
                  蜀ICP備10201305號-4

                  bestialityvideo另类最新_成年片黄网站色大全网站_日日摸夜夜添夜夜添破_一个顶流的诞生_25岁的女高中生_heyzo中文字幕无码