著作转载于新智元
创业一年半后,前大脑高等筹办科学家、Reka首席科学家兼勾搭独创东谈主Yi Tay告示已重返谷歌!
他回到了谷歌DeepMind,回到了他的前司理Quoc Le辖下职责,职位为高等资深筹办科学家,不息从事东谈主工智能和大语言模子(LLM)的筹办。
这是他总结的第一周。
在他创立Reka的1年9个月里,Yi Tay说他资格了独特隆盛东谈主心的时光,并从这段全新的资格中学到了好多。
他还写了一篇博客,共享了他的资格和此次转型——
博客地址:https://www.yitay.net/blog/returning-to-google-deepmind
1
在Reka的639天
在Reka的时光里,Yi Tay学到了好多对于谷歌外部基础行为的学问,包括使用PyTorch、GPU等外部资源。
此外,他还学会了怎样叮咛不久了的GPU、供应商和计较资源(相干博客著作见下)。
博客地址:https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的独创团队成员沿途,以资本最优的容貌构建了一些出色的模子。
本年5月,Reka Core的推崇置身Lmsys的前五名,模子本人排行第七,并见效突出了GPT-4的早期版块。
在资源(资金、算力和东谈主力)远少于其他履行室的情况下,他们获得了这一获利,Yi Tay为此感到十分骄气。
要知谈,他们的技艺团队系数不到15东谈主。
在这段日子里,Yi Tay也参与了许多技艺共享。
包括在WebConf的LLM日作念主题演讲、越南的GenAI峰会、swyx的Latent Space播客节目,以及受TechInAsia邀请进行的一场炉边话语。
与此同期,算作创业者,他学到了许多对于创业、生意和从零运行诱骗公司的学问。
对他来说,这是一段极为垂危的时分。
就在他离开谷歌运行创业时,得知太太怀上了他们的第一个孩子。
为了同期处理这样多事情,他的身心健康受到了严重影响,由于高强度的职责和不健康的生活容貌,他的体重增多了15公斤。
本年3月,Yi Tay还写了一篇长帖,追究了创业一年并兼任「奶爸」的艰痛心程,并共享了全天24小时的日程。
[下昼3:00] 肃肃起床。 [下昼3:30] 哆哆嗦嗦走到书桌前,搜检睡前跑的任务。莫得收到任务挂掉的讯息指示(Clustermon寂静无事),谢天谢地!和太太、宝宝说声「晨安」。喝杯咖啡看管。 [下昼4:00] 和另一家公司开线上会议,他们异常与咱们互助。 [下昼4:30] 边写代码边吃家东谈主帮我买的外卖午餐。欧洲的共事运行上线。 [下昼4:30] 给宝宝眷恋。 [下昼5:00] 回到书桌不息写代码,再来一杯咖啡。 [下昼6:00] 和几位共事临时线上商讨技艺问题。 [下昼7:00] 稽查太太和宝宝是否一切安好。太太给宝宝换尿布,我赞理准备她的晚餐。 [晚上8:00] 再次搜检任务,不息写代码。感受Cuda和GPU的倒霉。两个任务挂掉了。真实绝了! [晚上9:00] 躺在床上休息移时,刷X。用匿名小号@agihippo发个辛辣不雅点。 [晚上9:30] 有点困窘地不息写代码,同期在Reka的Slack随即频谈发几条搞笑讯息。 [晚上10:00] 吃家里的晚饭。天然有点凉,但无所谓了。 [晚上10:30] 团队全员同步会议,跨时区的公共王人上线了! [晚上11:30] 太太寝息,我接管哄娃任务。 [午夜12:00] 喂宝宝,让她从头入睡(但愿她此次能睡久少许!) [凌晨1:00] 和@DaniYogatama聊天一个小时。 [凌晨2:00] 搜检任务,不息写代码和调试。不行再喝咖啡了:( 亚洲共事们大多下线了,只剩下我和好意思国的共事在Slack上聊天。 [凌晨3:00] 有点饿了,点了一份照烧鸡肉饭外卖。 [凌晨3:30] 喂宝宝!她运行闹腾,不愿入睡。我抱着她走了半小时。 [凌晨4:30] 终于回到书桌前。外卖到了,开吃!边吃边用Reka Flash和Reka Core作念一些测试。又一次感受到「为东谈主父母」的奇妙体验。 [凌晨5:00] 感到困窘和被Bug折磨的挫败感。跑去另一间房,望望宝宝睡得是否平缓。 [凌晨6:00] 回到Slack回话讯息,搜检任务。又有一个任务挂了☠️☠️,重启任务。 [朝晨7:00] 刷X和TikTok,想考要不要寝息。反想东谈主生。再发一条@agihippo的辛辣不雅点。 [朝晨7:30] 天运行亮了,我在家里果断走走,向还是醒着的家东谈主谈「晨安」。 [朝晨8:00] 上床寝息。今天的班杀青了。太太起床接着带宝宝。把宝宝交到她的手中,感到快慰☺️。 [朝晨8:30] 手机忘了静音,迪士尼彩乐园lll被讯息吵醒,深感困窘,预见还有不到4小时就得起来插控制昼1点的线下职责会议,倍感压力。 [朝晨9:00] 好了,此次是真的寝息了(但愿能睡着)。
不外,Ti Tay仍对这一阶段的资格感到满足,并认为这是一次精良的「学术假期」与学习资格。
流程创业的尝试后,他认为我方如故更像又名科学家/筹办员,而不是其他身份,因此他决定总结他的筹办本职,回到谷歌投身筹办。
1
明星联创纷繁卖身大厂
Reka竖立于2022年,团队由谷歌和Meta的筹办东谈主员构成。
礼貌2023年6月,该公司已见效筹集5750万好意思元,估值达到3亿好意思元。
相干词,本年险些莫得什么紧要进展——独一值得堤防的是,本年5月,Reka与Snowflake的10亿好意思元收购研究闹翻,交游最终流产。
本年,前谷歌职工创办的初创企业险些王人在靠近一个极重的「穷冬」时刻。许多独创东谈主纷繁跳船。
3月,Inflection的CEO Mustafa Suleyman离开公司,转投微软;
6月,Adept的CEO David Luan跳槽到了亚马逊;
8月,Character.AI的CEO Naom Shazeer携总裁Daniel De Freitas集体跑路,重返老东家谷歌;
可见,这一年公共王人不好过。
玩忽你也会忍不住问,初创们的生活为怎样此极重?
毕竟,这些出走谷歌的大佬们,基本上在创业前一直王人在埋头搞筹办。
谷歌部门更像是「学术筹办机构」,并非要紧需要产生现款流,专注筹办是中枢。
而生意化政策,是有打算者的事。
一朝外出创业,两种环境所需的妙技截然有异。
对于学术界的筹办者来说,擅长筹办,不时并不虞味着擅所长置/标的一家公司。
其次,东谈主员亦然一浩劫题。
即使最佳的初创公司,不时也靠近里面繁杂,独创东谈主出现不对的事并不荒原。
再加上,「学者降生」的独创东谈主,可能并不符合企业的处置结构,增多了龙套的可能性。
此外,AI开发的腾贵资本,以及现存公司热烈竞争,这些成分使得这些初创公司,从一运行就靠近极重的处境。
日前,IGN与Truth合作,挑选了2024年最佳的64款游戏,举办了一场名为“2024年度人民选择”的大赛,并让玩家投票。共有超过100万张投票,经过六轮投票后,《黑神话:悟空》最终脱颖而出成为冠军。
何况,即使是最优秀的AI初创,如若莫得像谷歌、亚马逊、微软等大公司提供财务复旧和云处事,也难以寥落生活。
参考贵寓:
https://www.yitay.net/blog/returning-to-google-deepmind