首页 > 开发 > 云计算 > 正文

【Container讲师专访】国防科大谭郁松:天河二号上基于容器的HPC/大数据处理

2016-07-12 21:17:17  来源:极客头条

   2016年5月13日-15日,由CSDN重磅打造的2016中国云计算技术大会(CCTC 2016)将于5月13日-15日在北京举办,今年大会特设“中国Spark技术峰会”、“Container技术峰会”、“OpenStack技术峰会”、“大数据核心技术与应用实战峰会”四大技术主题峰会,以及“云计算核心技术架构”、“云计算平台构建与实践”等专场技术论坛。大会讲师阵容囊括Intel、微软、IBM、AWS、Hortonworks、Databricks、Elastic、百度、阿里、腾讯、华为、乐视、京东、小米、微博、迅雷、国家电网、中国移动、长安汽车、广发证券、民生银行、国家超级计算广州中心等60+顶级技术讲师,CCTC必将是中国云计算技术开发者的顶级盛会。目前会议门票限时7折(还有最后3天),详情访问CCTC 2016官网
  在之前的文章中,我们已经公开了此次Container峰会的议题,正如之前的介绍,我们今年的议题除了顶级的技术分享之外,另外一个看点就是邀请一些金融、证券、制造、教育等领域的大咖,到我们的Container峰会上谈谈他们在使用容器技术尤其是Docker的经验和坑,为了对大会的议题有更详细的了解,我们在会议开始之前,会推出部分讲师的专访,让他们带我们了解这次分享的主要内容。今天我们采访的是国防科学技术大学计算机学院研究员,天河系列超级计算机的骨干研究人员谭郁松。
  图片描述
  
国防科学技术大学计算机学院研究员,天河系列超级计算机的骨干研究人员谭郁松  
  CSDN:您们是什么时候开始使用Docker的?能介绍下目前的一些应用情况吗?
  谭郁松:我们是从14年9月份开始使用Docker的。目前,我们的Docker主要是结合我们的KylinCloud云平台,提供轻量级的虚拟化以及弹性的资源管理,另外一个重要方面是在国产处理器飞腾平台上的应用,满足信息系统的自主可控升级的需求。
  CSDN:你们平台为什么选择Docker?Docker在这样的业务中有什么优势,发挥什么样的价值?
  谭郁松:选择Docker一个最主要的原因是Docker的轻量级虚拟化和快速部署,在我们的一些仿真、模拟、大数据等计算密集型和IO密集型应用中,通过Docker可以实现对MIC/GPU/THNI硬件的直接访问,降低开销,提高效率。
  CSDN:Docker在你们公司的应用场景有哪些,能否介绍一些关键的技术栈?
  谭郁松:当前我们的Docker主要是结合天河平台和自主处理器平台使用,利用Docker的轻量级虚拟化,实现HPC/大数据方面的应用。针对大数据处理,主要是结合Hadoop/Spark平台,进行一些深度的优化,实现应用感知的自动伸缩和统一管理。
  另外,我们还针对是在国产处理器飞腾平台进行了Docker的适配和优化,并整合了OpenStack和Hadoop软件栈,是目前国内唯一的一家可以支持从国产处理器,到国产操作系统,甚至包括云平台和大数据处理平台的全栈自主可控云平台的解决方案。
  CSDN:企业在应用Docker技术时,需要做哪些改变吗?
  谭郁松:Docker提供的是一套应用隔离的运行环境,本质上来讲,应用在容器中运行并没有改变应用对外的使用方式。因此用户使用Docker时,只需要针对应用完成应用在Docker容器上的适配与封装,制作成镜像即可。
  CSDN:您所在的企业在应用Container/Docker或者k8s技术时遇到了哪些问题?是如何解决的?
  谭郁松:Docker当前也是一个在不断发展的东西,遇到问题是肯定的。就我们而言,比如在我们的KylinCloud云平台上,虽然可以通过KylinCloud管理Docker容器,但在容器的迁移、高可用方面,跟虚拟机还是有差距。
  CSDN:作为当前最流行的Container技术,您认为Docker还有哪些方面需要改进?
  谭郁松:Docker当前的研究确实火热,Docker社区也在积极开发与改进中,就我们而言,有以下方面:一是Docker的安全隔离性方面,能否做到完全隔离,一个程序的崩溃/内存溢出/高CPU占用到底会不会影响到其他容器或者整个系统?二就是与其它系统结合使用时的一些问题,如OpenStack、ceph这些系统。三是在结合Mirantis做部署时,还存在一些兼容性问题需要改进。
  CSDN:您在本次演讲中将分享哪些话题?
  谭郁松:这次我的演讲主要是讲我们在天河平台上开展基于容器的HPC/大数据处理的应用情况,并介绍了下容器在国产飞腾平台的适配与支持,最后分享的我们自己的典型案例和应用。
  CSDN:哪些听众最应该了解这些话题?您所分享的主题可以帮助听众解决哪些问题?
  谭郁松:我们希望能吸引对大规模容器部署与优化、对国产处理器平台适配感兴趣的用户。本次主要还是我们在实施过程中的一些经验分享,希望能给听众提供参考。
  目前会议门票限时7折(还有最后3天),详情访问CCTC 2016官网