การออกแบบและพัฒนาเครือข่ายระบบแฟ้มข้อมูลแบบกระจายโดยใช้รหัสแถว

Abstract

จากเทคโนโลยีที่พัฒนาเปลี่ยนแปลงอย่างรวดเร็ว ข้อมูลดิจิตอลถูกสร้างขึ้นอย่างมากมายในแต่ละวัน การจัดเก็บจึงเป็นงานที่ท้าทายโดยเฉพาะกับองค์กรขนาดกลางถึงเล็ก การจัดเก็บโดยให้ผู้ให้บริการ Clould Storage อาจจะมีอุปสรรคเนื่องจากความเร็วของอินเตอร์เน็ตที่ไม่เพียงพอถ้ามีข้อมูลขนาดใหญ่ ระบบแฟ้มบนเครือข่ายแบบกระจายที่มีความสามารถในการป้องกันความเสียหายกับอุปกรณ์และสามารถเพิ่มพื้นที่ได้มีให้เลือกใช้แต่ระบบเหล่านี้ส่วนใหญ่ถูกพัฒนามาใช้ในงานเฉพาะทาง อย่างเช่นการประมวลผลประสิทธิภาพสูง และยังใช้วิธีการปกป้องข้อมูลอย่างง่ายด้วยการทำซ้ำ ซึ่งบางครั้งไม่เหมาะกับองค์กรที่ได้กล่าวมาข้างต้น ในโครงการวิจัยนี้เราจะเน้นการพัฒนาระบบเครือข่ายการจัดเก็บแฟ้มข้อมูลแบบกระจายที่ผู้ใช้ทั่วไปสามารถเข้าถึงได้ง่าย ผ่านระบบปฏิบัติการและใช้ Array codes ช่วยในการป้องกันความเสียหายของข้อมูลโดยใช้เนื้อที่น้อยกว่าและมีประสิทธิภาพมากกว่า โดยเราต้องการสร้างโครงสร้างพื้นฐานของซอฟต์แวร์ที่มีความสามารถมากแต่ไม่ซับซ้อน ผู้ใช้จะรับประโยชน์โดยตรงจากประสิทธิภาพในการจัดเก็บที่ดีขึ้นในแง่ของเนื้อที่ แต่ต้องแลกมาด้วยข้อเสียว่าด้วยความเร็วในการเข้าถึงข้อมูลที่อาจจะช้ากว่า แต่ว่าในงานบางงานความเร็วก็ไม่ได้เป็นปัจจัยที่สำคัญไปกว่าความสามารถในการเข้าถึงได้ตลอดเวลาและความสามารถในการป้องกันความล้มเหลวของอุปกรณ์บางส่วน

As technologies advance, digital contents have been literally generated billion pieces daily. Storing and keeping them safely is itself a challenging task, especially for small to medium-size organizations. Although “Could Storage” is a much anticipated trend, it faces another unavoidable difficulty, which is the limit in bandwidth resources. To have a storage solution that is capable of keeping high volume of data with some degree of protection and the ability to expand, one may look into solutions from various “Distributed Network Storage System” available to the public. Large scale data storage systems available today are usually specialized for some dedicated purposes, for example, high performance computing, or application specific like storing search indexes. More importantly the data protection often relies on replication (or repetition codes), which is known for its space inefficiency. Hence it does not fit well with the requirements from the particular small to medium-size group of users. In this proposal, we propose a further development of a new kind of “Distributed Network Storage System” that emphasizes on applying “Erasure Coding Techniques” to network storage application aiming at real-world usages. We would like to build a core framework, powerful but thin, network storage system that will be able to aggregate available space through various kinds of devices hooked into the network and utilize them as a whole space, from the user point of view. The system will add levels of protections using “Array Codes” that requires less space than the conventional “Repetition Code”. It will finally provide the general purpose access which can be seamlessly integrated into the operating systems. The users will benefit from better space efficiency, and of course, at a lower cost of ownership with a sacrifice of the throughput, which sometimes is not an important factor.