首次!腾讯全面公开整体开源路线图

6月25日,由Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会在上海举办,腾讯开源联盟主席、腾讯开源管理办公室委员、Apache Member堵俊平首次公开了腾讯整体的开源战略路线图。

 

堵俊平表示:“腾讯开源提倡‘开放、共享、合力开发’的研发模式,以发起者和贡献者的方式积极参与国内外开源社区建设,对内成立开源管理办公室,每个开源项目都设立相应的管理委员会;对外积极参与开源社区合作,持续不断地向开源社区捐赠项目、贡献patch,并输出行业标准。同时,腾讯还加大投入,成为诸多国际知名开源组织的白金会员或白金赞助商,通过参与国际通行的协作方式,发挥中国企业的科技影响力,成为社区中活跃的中国力量。”

 

500

 

腾讯在AI开源方向上的所做的努力

 

无论是从算法层面、数据集层面还是结合腾讯云的SaaS,腾讯在AI的开源协同上都做了很多的努力。这其中集结了包括了腾讯AI Lab,优图实验室、微信、腾讯云和各个部门的共同力量。

 

在外部,腾讯是Linux基金会旗下的LFAI的创始会员也是顶级会员。LFAI基金会的会员除腾讯外,还有华为、中兴、百度、AT&T、爱立信、诺基亚、滴滴、Redhat等。目前在基金会孵化的项目有来自腾讯的Angel、百度的EDL、AT&T的Acumos、和来自Uber的Horovod和Pyro。基金会能够为这些AI开源项目提供一个结构化的孵化和成长环境,帮助项目成员构建社区,建立开源品牌。

 

在内部,腾讯对那些AI的内部开源(innersource)项目有完整的激励计划,鼓励他们不断完善;我们也计划提供导师和Milestone发布奖励计划,鼓励innersource的项目走出公司服务于更大更广的社区。

 

腾讯开源路线图

 

基于代码开放和社区运营,腾讯开源路线通过“三步走”的开源计划,推动从封闭孤立向协同开放向社区开放治理的纵深方向发展。

 

500

 

具体来说,第一步是内部开源协同。首先拉通内部项目和组织,通过部门小团队作战或跨部门大团队作战的方式协同推进,以优化资源配置的方式集中优势寻求技术突破。随后,腾讯建立起筛选机制将代码开放出来。第二步是外部代码开放。优化设计与代码结构,不断拓展落地场景,有效利用外部贡献者资源实现资源整合,构建技术影响力。第三步是社区开放治理,在这一阶段,注重大规模技术推广与应用、开发者生态体系构建、社区领袖与领导力培养、全社会研发资源的优化配置四个方面。

 

据堵俊平现场透露,腾讯开源将重点关注IaaS、容器与云原生、数据库、大数据与AI、中间件、IoT/边缘计算、小程序生态等。

 

对内成立腾讯开源管理办公室

 

自2010年以来,腾讯内部就开始试水开源,好的项目会跨团队、跨部门、跨业务的广泛使用,由此积累了对外开源的基础。从2016年开始,腾讯不断将内部开源出来的优质项目在GitHub上发布,腾讯开源逐步进入快节奏时代。

 

500

 

随着腾讯开源工作的不断深入,各式各样的问题也接踵而至,既有一些企业开源共同的难题,也有一些特殊开源文化下的矛盾。经过多年的开源实践,腾讯形成了一套成熟的开源机制,包括组织架构、规范、平台工具等,将开源过程中产生的宝贵的治理经验共享出来,为更多团队提供借鉴,从而扩展思路,实现精益管理和协同发展。

 

为此,腾讯特别成立了开源管理办公室,下设项目管理委员会、腾讯开源联盟和开源合规组三大组织,自上而下地传递腾讯开源策略,自下而上地落地开源技术生态。同时,通过开放的开源评审平台,孵化和培育优秀的自主开源项目。

 

此外,腾讯开源管理办公室还为开发者们提供与国内外开源基金会和开源社区合作交流的机会,将优秀的项目有效回馈给社区,建立起以开源为核心的技术生态圈。

 

对外全力投身开源社区

 

除了优化内部开源机制之外,腾讯也不断活跃在各大国际开源社区中,加大对开源领域的投入,参与国际通行的协作方式,成为开源社区的积极贡献者,发挥中国企业的科技力量。

 

在Apache基金会参与方面,腾讯主导发布了Hadoop 2.8.4、2.8.5和Spark 2.3.2,也是多个项目的核心贡献者,包括Hadoop 、Spark 、Flink、HBase、Hive、MXNet、Parquet等。

 

腾讯游戏TenDB经过多年积累,向MariaDB数据库提交的四个核心特性,已经合入到MariaDB的主线版本中。而在Linux基金会参与方面,腾讯向Linux贡献了Tars和TSeer两大项目,并将AI开源项目Angel贡献给LFAI基金会(原名LF deep learning基金会)。

 

去年,腾讯云向 KVM 内核贡献了 40 个 patch,连续第二年登上 KVM 全球开源贡献榜,也成为中国唯一入选云厂商。今年初,腾讯云正式发布基础设施层面四大核心技术项目,分别涵盖数据中心、网络、服务器以及自动化平台领域,并宣布将这四大技术项目全部贡献给开源OCP社区。

 

此外,腾讯已经获得OpenStack社区、Linux基金会、LFAI基金会、MariaDB 基金会、Apache基金会等多个白金会员或白金赞助商身份。在积极参与开源社区建设的同时,以更加活跃的姿态为开源项目提供支持。

 

自主开源硕果累累

 

截至目前,腾讯共开源了75个项目,覆盖云计算、腾讯游戏、腾讯AI、腾讯安全、小程序等领域,这些项目都是经过腾讯众多明星业务和海量用户的检验后对外开放的,参与贡献人数超过600名。

 

Star是在GitHub上收藏开源项目的功能,Star数越多,表示该项目越受欢迎。截至目前,腾讯累计在GitHub获得了超过22万个Star。

 

具体项目上,超过1万Star数的项目有5个,超过5000 Star数的项目有15个,超过3000的有23个。

 

腾讯旗下开源项目的issue和PR的关闭比例都非常高。以微信终端开源项目Tinker为例,平均每月发布一个版本,issue解决率在99%以上。TARS这种基础技术架构开源也保持着平均2个月发布一次新版本,收获了上千位个人开发者用户。

 

AI合规、伦理方向上的挑战

 

关于AI伦理方向上的挑战和讨论很多,有些过于科幻,有些则夸大了事实。腾讯AI平台部深度检索项目负责人、高级研究员、LFAI基金会理事肖涵表示,就眼前最实际和最紧迫的来讲,如何解决因为数据分布、算法设计者的主观因素带来的隐藏歧视问题非常重要。

 

我们知道,目前大部分AI模型都是数据驱动的,历史数据本身可能是歧视性的:它们可能不准确、不完整或是过时;而统计机器学习方法也倾向于习得大多数样本的共性,而忽视掉少数派。随着越来越多的AI模型走向线上生产环境直面客户,如何在模型上线之前系统化的评价模型的中立性以消除歧视带来的纠纷,是腾讯需要考虑的问题。其实这方面有很多很好的思路,比如IBM的开源项目AI Fairness 360 Toolkit。

 

另外,腾讯是有专门的部门去研究AI合规与伦理问题的,这就是腾讯研究院。今年2月在波多黎的Beneficial AGI 2019国际研讨会上腾讯就提出了自己的AI伦理框架:ARCC,也就是A即available(可用),R即reliable(可靠),C即comprehensible(可知),C即controllable(可控)。科技向善一直以来都是腾讯关注的重点,具体到AI方向,如何确保人类与机器之间友好、和谐的关系,最大化地促进人类的发展,并避免潜在负面影响。这些都值得每一个有社会责任感的企业去思考。

全部专栏