繁体
&esp;&esp;原本他今天来找胡明礼,就是打算主动请缨要求加
刘亮所在的项目组,借机获取代码仓库读取权限,但一番聊
来,看对方暧昧不明的态度,这样
似乎有些
之过急。
&esp;&esp;没关系,旱路不通走
路,中午去
堂吃饭,汤珈树本来打着碰碰运气的心态,没想到还真让他遇见了刘亮。
&esp;&esp;打
一看
其貌不扬的一个人,瘦
个儿,中等
相,穿着不太讲究,有
贴合程序员气质的不修边幅。
&esp;&esp;他一个人坐一张桌
,边吃饭边低
看手机,似乎也不怎么合群,完全沉浸在自己的世界里。
&esp;&esp;汤珈树端着餐盘走过去,不请自来地在他对面落座,刘亮明显一愣,抬
看过来,
睛里浮现
疑问和困惑。
&esp;&esp;他当然困惑,毕竟刘亮在整个研发中心都是
了名的
格孤僻,天才自带的那
孤
傲慢令其人缘一向不是很好。
&esp;&esp;这
人跟他聊天就应该聊些专业技术类的话题,偏偏在这
上汤珈树也最拿手。
&esp;&esp;两人面对面坐着,刘亮埋
吃饭,连声招呼都没打,一整个视若无睹。
&esp;&esp;汤珈树便主动开腔
:“刘工,我上午查日志,发现咱们排序模型每晚增量训练都卡在梯度同步,是不是用的allreduce后更新?”
&esp;&esp;刘亮终于肯认真地看他一
,带着审视的意味,问:“之前好像没见过你,新来的?”
&esp;&esp;汤珈树笑着朝他递
手,自我介绍:“对,我是昨天刚
职的,汤珈树,你叫我小汤就好。”
&esp;&esp;刘亮顿了一秒,才伸手跟他握了握,接着问:“你权限还没开全吧?怎么看到的日志?”
&esp;&esp;“从训练耗时波动反推的,我想了一
,如果改用异步参数服务
加局
聚合,跨机房通信量能砍半,不过需要解决陈旧梯度问题。”
&esp;&esp;刘亮轻哼一声,不以为然
:“这方案去年试过了,worker延迟差异导致auc
降08,不可行。”
&esp;&esp;汤珈树笑得谦逊:“那要不要试试加动态补偿项呢?”他说着,解锁手机,
一则网页递到刘亮面前,“喏,比如这篇il论文提到的,用
顿叠代法预估梯度偏移,我复现过能收敛,但要把pytorch的通信后端
改——”
&esp;&esp;刘亮倏然打断他,
睛里迸
光彩来:“
改pi层?那要怎么规避死锁?”
&esp;&esp;“把全局barrier拆成带超时的分段校验,参考ray框架的分布式容错设计。”汤珈树对答如
。
&esp;&esp;刘亮沉默半晌,话锋陡地一转:“你现在在哪个项目上?”
&esp;&esp;汤珈树莞尔:“我这才刚
职,还没来得及
项目呢。”
&esp;&esp;“那就来我的项目组吧,”刘亮果断
:“我这儿正好缺个你这样的副组
。”
&esp;&esp;汤珈树
犹豫神
:“这……需要先问过胡总吗?”
&esp;&esp;“我
午就去找胡总。”刘亮
了张纸巾
嘴,对他用上了礼貌用语:“我吃好了,你慢用。”
&esp;&esp;汤珈树冲他颔首微笑:“刘工慢走。”
本章尚未读完,请
击
一页继续阅读---->>>
Loading...
内容未加载完成,请尝试【刷新网页】or【设置-关闭小说模式】or【设置-关闭广告屏蔽】~
推荐使用【UC浏览器】or【火狐浏览器】or【百度极速版】打开并收藏网址!
收藏网址:https://www.haitangsoshu1.com