SlideShare una empresa de Scribd logo
1 de 64
Descargar para leer sin conexión
HPC Cluster & Cloud Computing




        กิตติรักษ์ ม่วงมิ่งสุข
        (Kittirak Moungmingsuk)
        kittirak@clusterkit.co.th
        Feb 9, 2010 @ NIDA
What's ?




           E=mc2




                   2
Mass–energy equivalence




 E : Energy (พลังงาน)
 m : mass (มวล)
 c : ความเร็วแสง (มาจากภาษาละตินคำาว่า celeritas แปลว่า อัตราเร็ว)




                                                                     3
ไอน์สไตน์นับถือพุทธ
  คุณคิดอย่างไร ?




                      4
แปลจากตอนหนึ่งใน “The Human Side”
 "ศาสนา ในอนาคต จะต้องเป็นศาสนาสากล ศาสนานั้นควรอยู่เหนือ
 พระเจ้าทีมีตัวตน และควรจะเว้นคำาสอนแบบสิทธันต์ (คือเป็นแบบ
           ่
 สำาเร็จรูปที่ให้เชื่อตามเพียงอย่างเดียว) และแบบเทววิทยา(คือพึงเทวดา
                                                              ่
 เป็นหลักใหญ่) ศาสนานั้น เมื่อครอบคลุมทั้งธรรมชาติและจิตใจ จึงควรมี
 รากฐานอยู่บนสามัญสำานึกทางศาสนา ที่เกิดขึนจากประสบการณ์ตอสิ่งทัง
                                            ้                ่ ้
 ปวง คือ ทั้งธรรมชาติและจิตใจอย่างเป็นหน่วยรวมที่มีความหมาย
 พระพุทธศาสนาตอบข้อกำาหนดนี้ได้.... ถ้าจะมีศาสนาใดทีรับมือได้กับ
                                                      ่
 ความต้องการทางวิทยาศาสตร์สมัยใหม่ปัจจุบน ศาสนานั้นก็ควรเป็น
                                          ั
 พระพุทธศาสนา"
  อ้างอิง : http://www.watnai.org/einstein/The%20Human%20Side%20_st.html

                                                                           5
หัวใจนักปราชญ์
                       สุ จิ ปุ ลิ

  สุ : สุตะ (ฟัง)
  จิ : จินตะ (คิด)
  ปุ : ปุจฉา (ถาม)
  ลิ : ลิขิต (เขียน)



                                     6
Large Hadron Collider (LHC)




                              7
คุณลักษณะของ LHC


 ลึกลงไปใต้ดิน 175 เมตร
 มีลักษณะเป็นท่อวงกลมระยะทางยาว 27 กิโลเมตร
 superconducting electromagnets นั้นถูกทำาให้มีความเย็นอยู่ที่ -271 องศา
 เซลเซียส เพือทำาให้มันเป็นตัวนำายิ่งยวด ก่อนที่จะเริ่มทำาการทดสอบ
             ่
 LHC ใช้ระบบ “Grid Computing” ในการคำานวณข้อมูลทีมีปริมาณมากถึง
                                                 ่
 15 Peta Byte (PB) ต่อปี

                                                                           8
Avatar Movie




               9
Challenge of Avatar Movie
 One frame of certain shots, it's 24 frames per second,
  took 100 computer hours to render. Just one second
  was 2,400 hours.
 Weta operates a 10,000-square-foot facility that uses
  HP BL2x220c blades to process the effects for
  AVATAR and other films. The computing core
  contains some 40,000 processors and 104 terabytes
  of RAM.




                                                          10
11
References
 Shrek the Third
      http://www.linuxjournal.com/print/9653
 Kung Fu Panda digs grids
      http://www.isgtw.org/?pid=1000931
 Avatar
      Google Keyword "avatar movie render"




                                               12
Introduction to Computer Cluster




                                   13
High Performance Computing
 Supercomputers
 Computer Cluster
 Grid Computing
 Cloud Computing




                             14
Difference type of Cluster
 High Availability (HA)
 Load Balancing
 High Throughput Computing
 High Performance Computing




                              15
High-availability clustering
 Make more reliable computer system by having many
 computers working together and takeover when any of
 them fail




                                                       16
Computer Cluster Concept
 Cluster computing is a technology related to the
 building of high performance scalable computing
 system from a collection of small computing system
 and high speed interconnection network




                                                      17
High Throughput Computing



Jobs Queue




                             18
High Performance Computing



Sub task 1   Sub task 2
        Big job
Sub task 3   Sub task 4




                             19
Why Cluster ?
 One man show not work but Team Work!
   Research
      More complex and more amount data.
      Simulation.
 Technical
   Can't scale
      heat problem
      hard to design
      price


                                           20
Benefit of Cluster
 Low startup cost
 Scalability
 Rapid response, technology tracking
 More user-driven configuration
 Order of magnitude price-performance advantage




                                                  21
What Cluster do ?
 Sciences & Engineering
   Aerodynamics
   Bioinformatics
   Chemistry
   Oil and gas
   Weather prediction
   CFD
 Business
   Financial analysis
 Animation
   Graphic Rendering

                          22
HPC World

 Cluster 410 (83.4%)
 Constellation 2   ( 0.4%)
 MPP 88 (16.20%)




                             Data from http://www.top500.org
                                                 on 11/2009
                                                           23
Top500 : Architecture share 1993-2009




                                    24
Top500 : 11/2009 Application Share




                                     25
Top 10 on 11/2009




                    26
Today and Tomorrow




                     27
28
48 Core chip




               29
Gain Performance with Multi-core
 Multi-thread Programming
      Pthread
      OpenMP
 Message Passing
      PVM
      MPI
 Virtualization




                                   30
OpenMP with Visual C++




                         31
Example : OpenMP code.




     compile with “gcc -fopenmp source.c -o output”

                                                      32
Another Introduce,
 BI : Data Mining
 Machine Vision




                     33
Cloud Computing




                  34
Hot Issue

 Green Computing
 Virtualization
 On-Demand Computing
 Multi-threads / Parallel Programming




                                        35
What's Cloud Computing
 Cloud computing is Internet-based ("cloud")
   development and use of computer technology
   ("computing")




                                                36
37
Everything as a Service

 PaaS : Platform as a Service
 SaaS : Software as a Service
 IaaS : Infrastructure as a Service




                                      38
Players




          39
40
Amazon EC2 Pricing




                     41
Amazon EC2 Pricing (cont.)




                             42
Cloud Hosting




                43
Variety of Service




                     44
45
Weakness

 Reliability and security
      Outage (ไฟดับ)
      Cost (ต้นทุน)




                            46
Public / Private Cloud




                         47
Solution

 Usage public cloud with lower-priority applications
  such as absence reporting and expense reporting.
 Usage private cloud for privacy and security
 where companies will do some of their computing
  internally, possibly in a private cloud, while other
  tasks will be offloaded to the public cloud




                                                         48
อย่ายุ่งจนขนาดนี้




                    49
บางครั้งลองเปลี่ยนงานดูบางอาจจะดี
                        ้




                                    50
Software Lists.
 Rocks Cluster (http://www.rocksclusters.org/)
 VirtualBox (http://www.virtualbox.org/)
 Ubuntu (http://www.ubuntu.com/)
 OpenMP (http://www.openmp.org/)
 Cloud Middleware
      Eucalyptus (http://www.eucalyptus.com/)
      OpenNebula (http://www.opennebula.org/)




                                                 51
About ClusterKit




                   52
Cluster Kit Co.,Ltd.

  Cluster Kit setting up on January 2007 (พ.ศ. 2550),
    that have professional and experience team for
    design, implement and Training in Computer
    Cluster System and Grid Computing.




                                                        53
Strong Technical Skills

  Design
       High Performance System
       Load Balancing System
       High Availability System
  Application Software
       Web Load balancing
       MySQL Cluster
       Lustre File System
       {Linux, Windows} Cluster
       Rendering Farm

                                  54
Our proudly success
 Thai National Grid        Ramkhamhaeng
   Center (TNGC)             University
      “TERA” Cluster          “Sila” Cluster
        800 cores             286 cores
      Windows Cluster 33   BIOTEC
       nodes
                              “Eclipse” Cluster
                              704 cores




                                                  55
Our proudly success (contd.)

 Geo-Informatics and Space Technology Development
  Agency (GISTDA)
      Digital Thailand Project
      Web Load Balancing + Lustre


 Virgin Radio Thailand
      7 Nodes Web Load Balancing




                                                    56
ClusterKit Timeline




                      57
พ.ศ.2547 (2004)
                  Asia Pacific Science &
                    Technology Facility
                    (APSTF)
                  A Research collaboration
                    between Kasetsart
                    University & Sun
                    Microsystems




                                             58
พ.ศ.2548 (2005)

                  PAKSA Cluster for
                  medical research
                   – Avian Flu
                   – HIV
                  44 Sun Fire V20Z nodes
                  (88 Cores)




                                           59
พ.ศ.2548 (2005)
 Geo-Informatics and Space Technology Development Agency (Public Organization)

 GISTDA
 6 nodes Pilot Project




                                                                                 60
พ.ศ.2550 (2007)
 Cluster Kit Startup
 Installed the TERA Cluster @ ThaiGrid




                                         61
พ.ศ. 2551 (2008)
 Full service at RU. (Sila Cluster)




                                      62
พ.ศ.2552 (2009)
 Setup “Eclipse” Cluster at BIOTEC




                                     63
The End
 Q&A




          64

Más contenido relacionado

Similar a HPC Cluster & Cloud Computing

เทคโนโลยี Cloud Computing
เทคโนโลยี Cloud Computingเทคโนโลยี Cloud Computing
เทคโนโลยี Cloud ComputingIMC Institute
 
Cloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆCloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆSoftware Park Thailand
 
Cloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆCloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆThanachart Numnonda
 
Image colorization with artificial neural networks
Image colorization with artificial neural networksImage colorization with artificial neural networks
Image colorization with artificial neural networksTelexine
 
30879960 geospatial-system-on-cloud-computing
30879960 geospatial-system-on-cloud-computing30879960 geospatial-system-on-cloud-computing
30879960 geospatial-system-on-cloud-computingAyutthaya GIS
 
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์teaw-sirinapa
 
Object oriented computing พยุหยาตราของเหล่า objects
Object oriented computing พยุหยาตราของเหล่า objectsObject oriented computing พยุหยาตราของเหล่า objects
Object oriented computing พยุหยาตราของเหล่า objectsSurapol Imi
 
51-307 Unit 1
51-307 Unit 151-307 Unit 1
51-307 Unit 1Naret Su
 

Similar a HPC Cluster & Cloud Computing (20)

เทคโนโลยี Cloud Computing
เทคโนโลยี Cloud Computingเทคโนโลยี Cloud Computing
เทคโนโลยี Cloud Computing
 
Cloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆCloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆ
 
Cloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆCloud Computing กับการใช้งานในองค์กรต่างๆ
Cloud Computing กับการใช้งานในองค์กรต่างๆ
 
Image colorization with artificial neural networks
Image colorization with artificial neural networksImage colorization with artificial neural networks
Image colorization with artificial neural networks
 
Docker and Software Framework_24 may16_rus_DR.ARNUT
Docker and Software Framework_24 may16_rus_DR.ARNUTDocker and Software Framework_24 may16_rus_DR.ARNUT
Docker and Software Framework_24 may16_rus_DR.ARNUT
 
Python Programming for Lecturer_RUS_Nonthaburi 17may2019
Python Programming for Lecturer_RUS_Nonthaburi 17may2019Python Programming for Lecturer_RUS_Nonthaburi 17may2019
Python Programming for Lecturer_RUS_Nonthaburi 17may2019
 
Emerging technologies in teaching and learning
Emerging technologies in teaching and learningEmerging technologies in teaching and learning
Emerging technologies in teaching and learning
 
Emerging tech in teaching and learning
Emerging tech in teaching and learningEmerging tech in teaching and learning
Emerging tech in teaching and learning
 
30879960 geospatial-system-on-cloud-computing
30879960 geospatial-system-on-cloud-computing30879960 geospatial-system-on-cloud-computing
30879960 geospatial-system-on-cloud-computing
 
e-Government Cloud Computing
e-Government Cloud Computinge-Government Cloud Computing
e-Government Cloud Computing
 
Cloud computing
Cloud computingCloud computing
Cloud computing
 
IT Skills for Teacher path 1
IT Skills for Teacher path 1IT Skills for Teacher path 1
IT Skills for Teacher path 1
 
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์
06 พื้นฐานระบบเครือข่ายคอมพิวเตอร์
 
Computer systemarchitecture
Computer systemarchitectureComputer systemarchitecture
Computer systemarchitecture
 
IT Skills for Teacher path 2
IT Skills for Teacher path 2IT Skills for Teacher path 2
IT Skills for Teacher path 2
 
Cloud computing
Cloud computingCloud computing
Cloud computing
 
Proposal
ProposalProposal
Proposal
 
Object oriented computing พยุหยาตราของเหล่า objects
Object oriented computing พยุหยาตราของเหล่า objectsObject oriented computing พยุหยาตราของเหล่า objects
Object oriented computing พยุหยาตราของเหล่า objects
 
Deep Learning Smart Bin
Deep Learning Smart BinDeep Learning Smart Bin
Deep Learning Smart Bin
 
51-307 Unit 1
51-307 Unit 151-307 Unit 1
51-307 Unit 1
 

HPC Cluster & Cloud Computing

  • 1. HPC Cluster & Cloud Computing กิตติรักษ์ ม่วงมิ่งสุข (Kittirak Moungmingsuk) kittirak@clusterkit.co.th Feb 9, 2010 @ NIDA
  • 2. What's ? E=mc2 2
  • 3. Mass–energy equivalence E : Energy (พลังงาน) m : mass (มวล) c : ความเร็วแสง (มาจากภาษาละตินคำาว่า celeritas แปลว่า อัตราเร็ว) 3
  • 5. แปลจากตอนหนึ่งใน “The Human Side” "ศาสนา ในอนาคต จะต้องเป็นศาสนาสากล ศาสนานั้นควรอยู่เหนือ พระเจ้าทีมีตัวตน และควรจะเว้นคำาสอนแบบสิทธันต์ (คือเป็นแบบ ่ สำาเร็จรูปที่ให้เชื่อตามเพียงอย่างเดียว) และแบบเทววิทยา(คือพึงเทวดา ่ เป็นหลักใหญ่) ศาสนานั้น เมื่อครอบคลุมทั้งธรรมชาติและจิตใจ จึงควรมี รากฐานอยู่บนสามัญสำานึกทางศาสนา ที่เกิดขึนจากประสบการณ์ตอสิ่งทัง ้ ่ ้ ปวง คือ ทั้งธรรมชาติและจิตใจอย่างเป็นหน่วยรวมที่มีความหมาย พระพุทธศาสนาตอบข้อกำาหนดนี้ได้.... ถ้าจะมีศาสนาใดทีรับมือได้กับ ่ ความต้องการทางวิทยาศาสตร์สมัยใหม่ปัจจุบน ศาสนานั้นก็ควรเป็น ั พระพุทธศาสนา" อ้างอิง : http://www.watnai.org/einstein/The%20Human%20Side%20_st.html 5
  • 6. หัวใจนักปราชญ์ สุ จิ ปุ ลิ สุ : สุตะ (ฟัง) จิ : จินตะ (คิด) ปุ : ปุจฉา (ถาม) ลิ : ลิขิต (เขียน) 6
  • 8. คุณลักษณะของ LHC ลึกลงไปใต้ดิน 175 เมตร มีลักษณะเป็นท่อวงกลมระยะทางยาว 27 กิโลเมตร superconducting electromagnets นั้นถูกทำาให้มีความเย็นอยู่ที่ -271 องศา เซลเซียส เพือทำาให้มันเป็นตัวนำายิ่งยวด ก่อนที่จะเริ่มทำาการทดสอบ ่ LHC ใช้ระบบ “Grid Computing” ในการคำานวณข้อมูลทีมีปริมาณมากถึง ่ 15 Peta Byte (PB) ต่อปี 8
  • 10. Challenge of Avatar Movie One frame of certain shots, it's 24 frames per second, took 100 computer hours to render. Just one second was 2,400 hours. Weta operates a 10,000-square-foot facility that uses HP BL2x220c blades to process the effects for AVATAR and other films. The computing core contains some 40,000 processors and 104 terabytes of RAM. 10
  • 11. 11
  • 12. References Shrek the Third http://www.linuxjournal.com/print/9653 Kung Fu Panda digs grids http://www.isgtw.org/?pid=1000931 Avatar Google Keyword "avatar movie render" 12
  • 14. High Performance Computing Supercomputers Computer Cluster Grid Computing Cloud Computing 14
  • 15. Difference type of Cluster High Availability (HA) Load Balancing High Throughput Computing High Performance Computing 15
  • 16. High-availability clustering Make more reliable computer system by having many computers working together and takeover when any of them fail 16
  • 17. Computer Cluster Concept Cluster computing is a technology related to the building of high performance scalable computing system from a collection of small computing system and high speed interconnection network 17
  • 19. High Performance Computing Sub task 1 Sub task 2 Big job Sub task 3 Sub task 4 19
  • 20. Why Cluster ? One man show not work but Team Work! Research More complex and more amount data. Simulation. Technical Can't scale heat problem hard to design price 20
  • 21. Benefit of Cluster Low startup cost Scalability Rapid response, technology tracking More user-driven configuration Order of magnitude price-performance advantage 21
  • 22. What Cluster do ? Sciences & Engineering Aerodynamics Bioinformatics Chemistry Oil and gas Weather prediction CFD Business Financial analysis Animation Graphic Rendering 22
  • 23. HPC World Cluster 410 (83.4%) Constellation 2 ( 0.4%) MPP 88 (16.20%) Data from http://www.top500.org on 11/2009 23
  • 24. Top500 : Architecture share 1993-2009 24
  • 25. Top500 : 11/2009 Application Share 25
  • 26. Top 10 on 11/2009 26
  • 28. 28
  • 30. Gain Performance with Multi-core Multi-thread Programming Pthread OpenMP Message Passing PVM MPI Virtualization 30
  • 32. Example : OpenMP code. compile with “gcc -fopenmp source.c -o output” 32
  • 33. Another Introduce, BI : Data Mining Machine Vision 33
  • 35. Hot Issue Green Computing Virtualization On-Demand Computing Multi-threads / Parallel Programming 35
  • 36. What's Cloud Computing Cloud computing is Internet-based ("cloud") development and use of computer technology ("computing") 36
  • 37. 37
  • 38. Everything as a Service PaaS : Platform as a Service SaaS : Software as a Service IaaS : Infrastructure as a Service 38
  • 39. Players 39
  • 40. 40
  • 42. Amazon EC2 Pricing (cont.) 42
  • 45. 45
  • 46. Weakness Reliability and security Outage (ไฟดับ) Cost (ต้นทุน) 46
  • 47. Public / Private Cloud 47
  • 48. Solution Usage public cloud with lower-priority applications such as absence reporting and expense reporting. Usage private cloud for privacy and security where companies will do some of their computing internally, possibly in a private cloud, while other tasks will be offloaded to the public cloud 48
  • 51. Software Lists. Rocks Cluster (http://www.rocksclusters.org/) VirtualBox (http://www.virtualbox.org/) Ubuntu (http://www.ubuntu.com/) OpenMP (http://www.openmp.org/) Cloud Middleware Eucalyptus (http://www.eucalyptus.com/) OpenNebula (http://www.opennebula.org/) 51
  • 53. Cluster Kit Co.,Ltd. Cluster Kit setting up on January 2007 (พ.ศ. 2550), that have professional and experience team for design, implement and Training in Computer Cluster System and Grid Computing. 53
  • 54. Strong Technical Skills Design High Performance System Load Balancing System High Availability System Application Software Web Load balancing MySQL Cluster Lustre File System {Linux, Windows} Cluster Rendering Farm 54
  • 55. Our proudly success Thai National Grid Ramkhamhaeng Center (TNGC) University “TERA” Cluster “Sila” Cluster 800 cores 286 cores Windows Cluster 33 BIOTEC nodes “Eclipse” Cluster 704 cores 55
  • 56. Our proudly success (contd.) Geo-Informatics and Space Technology Development Agency (GISTDA) Digital Thailand Project Web Load Balancing + Lustre Virgin Radio Thailand 7 Nodes Web Load Balancing 56
  • 58. พ.ศ.2547 (2004) Asia Pacific Science & Technology Facility (APSTF) A Research collaboration between Kasetsart University & Sun Microsystems 58
  • 59. พ.ศ.2548 (2005) PAKSA Cluster for medical research – Avian Flu – HIV 44 Sun Fire V20Z nodes (88 Cores) 59
  • 60. พ.ศ.2548 (2005) Geo-Informatics and Space Technology Development Agency (Public Organization) GISTDA 6 nodes Pilot Project 60
  • 61. พ.ศ.2550 (2007) Cluster Kit Startup Installed the TERA Cluster @ ThaiGrid 61
  • 62. พ.ศ. 2551 (2008) Full service at RU. (Sila Cluster) 62
  • 63. พ.ศ.2552 (2009) Setup “Eclipse” Cluster at BIOTEC 63