人类CoT典范,张祥雨的Line of Research
PUBLIC这个访谈似乎在张小珺自己的一系列访谈里,显得比较突出。
我自己是在听到一半的时候,决定要记录一下。
主要是被张祥雨清晰的表达震撼,明显感觉他的表达的context很长,能维持一个很长的逻辑链,有的逻辑分支走完了还能回溯。
说回内容。
可以概括为,一个发自内心对智能有追求的人,是如何对AI发展中的节点进行审美的。
Read more...Seeking Complexity ==
========================
这个访谈似乎在张小珺自己的一系列访谈里,显得比较突出。
我自己是在听到一半的时候,决定要记录一下。
主要是被张祥雨清晰的表达震撼,明显感觉他的表达的context很长,能维持一个很长的逻辑链,有的逻辑分支走完了还能回溯。
说回内容。
可以概括为,一个发自内心对智能有追求的人,是如何对AI发展中的节点进行审美的。
Read more...如何用比较数学和推理的方法去理解和掌握音乐。
说一个有争议的话题,类似中医和西医。不分高下地做一个对比,西医更像是演绎法,中医更像是归纳法。
就像是how first principles thinking fails里面提到的inductive v.s. deductive。
不是说归纳法不好,而是演绎法可能更适合我这样的天赋不佳的人去理解。你跟我说,“感觉一下”,我太难理解了。
Building from the Scratch是模仿Linux From Scratch (LFS)。
Read more...一条漂亮干净的路径,通往机器人的高可靠性终点。
从能吃下数据的尺度来排序:
Internet-Scale Data
无监督的训练掌握 常识
DINOv2变成de facto image encoder,VLM公认有“常识”,所以可以帮助action变成VLA
自动驾驶中用视频生成做模拟器,可以不只利用驾驶数据,更多普通数据可以包含更多自然的知识
人类示教数据
模仿学习的数据介绍 领域知识
Behavior Cloning + Video Generation-based Augmentation
更fancy的说法是world model,或者LeCun的JEPA
打分数据
在两个采样中,A比B更好,表达 偏好
用交替训练的方法,同时训练Reward Model,以及用这个Reward Model支持RL
有一个机器臂的工作用了这个方法,HiL-serl
看起来能统一地解决自动驾驶和机械臂的问题。
今天主要讨论模仿学习如何结合视频生成解决分布漂移的死结。
Read more...李光耀的采访,很诚恳,听起来也是挺客观的。
如果说他真的把新加坡当作自己的家,他应该算是一个努力过好自己生活的人。
很久之前看的,最近想起来把记录摘出来,竟然发现微信读书下架了,幸好一些笔记还在。
Read more...温铁军的视角中,农村问题等于中国的现代化问题,中国的现代化问题等于农村问题。怎么提供足够大的“发展”使得农民和农村资源有新的加入经济的角色。
在理想视角里面,我们可以认为现代化是一个单向的农村劳动力被城市需求转化为城市劳动力的过程,而城市劳动力是由现在的出口需求支撑的,这种支撑可以持续吗,如果不是,如何持续下去。
温铁军的研究展示出一种调研大于理论的求真风格,仅以农村纪实的叙事角度来看,也是很好的文本资料。
Read more...我记得哪个盲人的电影里面说过,对于盲人来说,正常人像是不同的物种,更像是“超人”。一个印象深刻的画面。
最近忽然发现,对于会下围棋的人来说,一眼看出局部的死活,棋的拙行,不也是像超人一样吗。
再想到,其实写代码也类似,对于外人来说,能写一个有功能的app可能也像超人吧。
那种,别人自然流露,自己却完全雾里云里的体验。
可能就像是面对外星人或者超人一样吧。
原来又是一个拙劣的“观察”。
在去年的这个时候,我觉得如果有这么一篇文章带我大概窥探一下Kickstarter发行项目的全过程,我会100分地感谢他,但是当时没有找到这样的内容。
一年过去,我的项目也算是在某个阶段意义上做完了,我觉得有必要写一点自己的感受,记录一下这个跌跌撞撞的过程。
如果能帮到其他人,甚至有人看到后愿意跟我说let’s_have_a_talk,都会觉得是一件很不错的事情。
Read more...首先,我想先讨论这个标题。
我第一次写下这个笔记的时候用的tag是energy,我认为这是对这个问题的恰当描述。
后来有遇到一些词,感觉是在描述同样一个问题:mental strengh,tiredness,fatigue,burn out。
昨天一个朋友推荐我一个文章,用life force来描述这个问题,我觉得也很贴切。
总结来说:为什么我们会进入一种这样的状态,它令人不适,难以改变,描述和刻画这个状态都很困难,更谈不上解决。
Read more...connect the dots.
今天忽然意识到,这样一个晦涩的词,串联起来许多片段:
无意间,自己竟然成为一名斯多葛主义的信仰者吗。