这个关系国计民生的“黑盒子”我们造出来了

在过去30余年中&＃xff0c;世界领先的商业求解器一直掌握在一些海外企业及财团手中。对国内企业而言&＃xff0c;长期以来只能购买海外进口产品。

近日&＃xff0c;我国自主研发的“杉数数学规划求解器”在世界知名求解器公测平台、米特尔曼教授的测试集上位列第一&＃xff0c;成为我国第一个自主研发的商业级别求解器&＃xff0c;我国求解器的测试速度跻身世界顶尖商业求解器之列。

“其速度比第二名快了40%多。”中国运筹学会理事长、研究员胡旭东告诉科技日报记者&＃xff0c;由美国亚利桑那州立大学汉斯·米特尔曼教授所维护的这一测试平台&＃xff0c;提供了多个商业和开源的数学规划求解器的测评数据&＃xff0c;这一测评成为人们了解和选择求解器的窗口&＃xff0c;也被求解器业界奉为软件性能排名的事实标准。

求解器像是运筹学里的“芯片”

对于求解器&＃xff0c;很多人都很陌生。那么到底什么是求解器&＃xff1f;

“在运筹学里&＃xff0c;对于数学规划求解器的定义是&＃xff0c;针对多种已经建立的线性、整数及各种非线性规划模型&＃xff0c;进行算法优化的求解器&＃xff0c;可以看作一个‘黑盒子’软件系统。”胡旭东说&＃xff0c;求解器就像是运筹学里的“芯片”&＃xff0c;绝大多数复杂系统的决策问题都需要用到数学规划求解器&＃xff0c;来寻求最优化的解决方案。

“求解器就好比是电脑的操作系统&＃xff0c;解决不同问题的数学模型就是一个个软件。一个求解器可以衍生出很多垂直的场景&＃xff0c;尽管这些场景看上去差别很大&＃xff0c;但本质上相通。救护车调度、航班规划、库存优化……这些从数据到决策的转化工作&＃xff0c;都可以利用运筹学模型与机器学习将实际问题转化为数学模型求解。”胡旭东说。

国计民生都需要用到“黑盒子”

“大规模数学规划求解器关系到国计民生的众多方面。”制造杉数数学规划求解器的杉数科技公司创始人葛冬冬表示。

连锁快餐店应该如何选址&＃xff0c;才能覆盖尽可能多的人口&＃xff1f;几百个物流机器人的行进路线该如何实时设计&＃xff0c;才能实现最高工作效率&＃xff0c;又不发生碰撞&＃xff1f;在打车系统中&＃xff0c;乘客发出叫车需求&＃xff0c;把这位乘客分配给哪个司机&＃xff0c;才能实现路线最优&＃xff0c;让司机和乘客全满意……这些问题的解决都需要求解器来帮忙。而且问题求解规模越大&＃xff0c;就越依赖于求解器这一神秘“黑盒子”。

葛冬冬举例说&＃xff0c;永辉超市现在在上海已经有300多家店。此前&＃xff0c;他们与杉数科技合作&＃xff0c;用选址软件做智能选址。“比如&＃xff0c;今年计划开50家店&＃xff0c;明年开100家店&＃xff0c;后年开150家店&＃xff0c;利用求解器就可以算出这50家店该怎么开、开在哪&＃xff0c;明年100家店该怎么开、开在哪&＃xff0c;互相之间不会产生恶性竞争。”

斯坦福大学李国鼎工程讲座教授、运筹学专家叶荫宇曾表示&＃xff0c;云计算、大数据与人工智能的井喷&＃xff0c;出现了超大规模的大数据&＃xff0c;这正是优化算法繁荣的基础&＃xff0c;人工智能想要进入新阶段&＃xff0c;也离不开优化算法的进一步发展。而优化算法想要实现自身作用&＃xff0c;求解器是不可缺少的一个环节。

进口产品无法定制、存在安全隐患

但是&＃xff0c;在过去30余年中&＃xff0c;这种高精度求解器高度依赖进口。世界领先的商业求解器一直掌握在一些海外企业及财团手中。对国内企业而言&＃xff0c;长期以来只能购买海外进口产品。

胡旭东表示&＃xff0c;对于各大企业而言&＃xff0c;购买的进口商业求解器不仅价格高昂&＃xff0c;而且通常都是已经经过封装、无法自主调整的算法代码的“黑盒子”。

“以国家发展为例&＃xff0c;基础设施建设中的电网、水利系统、铁路、高速公路建设等都涉及到类似的大规模优化算法问题&＃xff0c;使用国际上成熟的商业求解器就意味着难以做出针对性改良&＃xff0c;得到最优结果。”胡旭东说&＃xff0c;“由于不了解国外求解器系统&＃xff0c;此前许多企业遇到特定问题时&＃xff0c;常常得不到最好的答案&＃xff0c;‘黑盒子’永远是封闭的&＃xff0c;甚至不知道数据的传输是否安全。”此外&＃xff0c;军事上的战略资源调度、航空领域的战略部署等关乎国家安全的问题&＃xff0c;也对自主知识产权的软件有着根本性需求。无论从何种角度来说&＃xff0c;这样的软件&＃xff0c;国内必须得有自己的核心技术知识积累。

耗时长、人才少制约自主求解器发展

求解器研发是一项耗时长、见效慢&＃xff0c;不能发论文的基础性工作。

“由于开发难度大、开发周期长、资金需求高等种种原因&＃xff0c;国内的优化算法求解器此前几乎处于空白状态。因为这就好像研发一枚芯片&＃xff0c;要想做出可以供企业使用的芯片&＃xff0c;有相当的技术门槛&＃xff0c;需要千百次的试验。求解器的开发也是一样。”胡旭东说&＃xff0c;求解器在技术层面要求非常高&＃xff0c;将一个数学上高度复杂的系统&＃xff0c;以百万行级别的代码工程化地实现出来&＃xff0c;是很多国外求解器团队走了30年的求索之路。计算速度和精度的每一点提升都需要无数的思考和尝试&＃xff0c;凝聚着研发团队的辛勤汗水和思维火花。

“要做可靠的求解器&＃xff0c;时间是必须要投入的。整数求解器部分我们做了2年以上&＃xff0c;但整个预期是3—4年。国外的那些企业做的都是迭代的求解器&＃xff0c;大家公认就需要这么长时间。”葛冬冬称&＃xff0c;国内做求解器&＃xff0c;大多数公司往往等不了这么长的时间。“投入几千万、十来个人去做一个软件&＃xff0c;但3年后还不一定能出结果&＃xff0c;面临的现实压力是很大的。”

除了时间投入外&＃xff0c;人才也成为制约求解器国产化的因素。葛冬冬认为&＃xff0c;开发求解器的人才需要具备3个特点。第一是数学功底好&＃xff0c;优化算法功底扎实&＃xff1b;第二是代码能力强&＃xff0c;有系统工程开发能力&＃xff1b;第三是最好具有求解器开发经验。“高校培养的学生&＃xff0c;最大的弱点是解决多方面问题的综合能力不足。另外高校团队欠缺承续性&＃xff0c;虽然代码都会写&＃xff0c;但是一旦一位核心人才离开团队&＃xff0c;研发就会受到较大影响。而国内企业培养人才又有点急功近利&＃xff0c;等不起一个人才慢慢成熟。”葛冬冬说。

————

编辑 ∑Gemini

 来源&＃xff1a;新浪科技

☞21世纪的物理学

☞数学的真相&＃xff1a;物理时空的数字模型还是现实本身&＃xff1f;

☞世界上最奇怪的数学天才&＃xff0c;被奖励100万却拒领&＃xff0c;宁愿过得像乞丐

☞斯坦福大学教育学院院长&＃xff1a;学习本身就是一门学问

☞施一公&＃xff1a;没有高考&＃xff0c;就没有一批非常优秀的社会精英从农村走出来

☞知乎热搜可以被人为控制吗&＃xff1f;如果可以&＃xff0c;怎么操作

算法数学之美微信公众号欢迎赐稿

稿件涉及数学、物理、算法、计算机、编程等相关领域&＃xff0c;经采用我们将奉上稿酬。

投稿邮箱&＃xff1a;math_alg&＃64;163.com