2026.10.2 - 2026.10.4
-------------------------------------------------------------------------------------------------------------------------
2026.10.2,昨天健身的时候听说我的同学就是因为熬夜而导致心脏出问题了。
为此我之后可能要大幅收敛。当然最近这两天已经在睡比较好的觉了。
科研的调研,总得画上一个句号。为此我们必须努力,真的必须要结束了!我对此已经厌恶至极了!
1. 上午先开始系统的维护。(T)-还有一个信息系统需要维护。其他都差不多已经结束了。
2. 早上同时进行Agent的调研。(T)-同时测试调研系统 & 论文系统的作用。
维护的事情总是进行的非常不顺利。论文和调研倒是都好了,但是调研本身却受限于AI速度要慢慢搞。
这样看来手头有2 - 3个课题会更好吧。果然老师说的是对的。
顺带一提,30块钱的原道好像也没有好到哪里去。于是就这样,糊弄着用用吧。
晚饭的话今天的晚饭就吃萨莉亚吧。想起来已经很久没吃正经的晚餐了。中餐就随便吃点。
现在都是这样了。今天又是没有手感的一天,总感觉已经很久没有做过正事了,明明几乎没放假。
另外我的同学又在见面了。但是这次我不去。国庆闭关真是可怜,不过这也是我自作自受。
毕竟……即便出去,本身也没什么事情可以做,不是么?所以在这里重新整理我的作息和生活,倒也不奇怪。
倒是画画,写字,巧克力和坚果,我一个个的得到了。最近正在打算将作息重新调整到早上7点半。贪睡被禁止了。
另外往我的MP3里装了不少有趣的曲目。仔细一想,都是一些闲事啊,真是让人感到厌恶。
之后是不是还要往里加入有关比赛的信源来源。
https://linux.do/t/topic/2975280
看说是咕咕嘎嘎的基米大发威。你确定这是gemini的效果?这一代4这么强?
不过哪一版不是这样呢,之后就快速降智直接用不了。现在AI厂商大抵如此。
-------------------------------------------------------------------------------------------------------------------------
2026.10.3,今天早上起来之后仍然感到非常困。哦对了,前两天买了个挂衣服的杆子,今天好家伙,掉地上了。
一怒之下带着原来要洗的cos用的袜子和领带一起洗了。真是怒火万丈。中午的时候走了退货,还我20块钱!
其他的倒是没有了,今天一早上就起来然后继续维护系统 + 调研,昨天做了一半的Agent调研。
结果今天早上节点又坏了,又得等着修。等的过程中玩了会红警,但是不一会儿就卡退。无所谓,直接删了。
1. 早上调研。(T)-顺调推进,但是一堆事情太费力了。
2. 中午搞来了练字本。(T)-真是费力。
说起来,今天中午我把锅子搬到了7号楼,在这里做饭。同时入手了大量的冷鲜。
我的生命居然是靠这种东西延续至今的……
同时中午犯困,于是搞了茶。果然茶应该是在11点饭前泡,然后饭后喝下去,这样就不会犯困。
剩下的时间我想先在调研的时间部分来点练字。真是小怡情。
3. 中午 + 下午的一部分,写字。(T)-喝了茶之后就没有困意了。下午茶是这个功效吗?
4. 我想等一下下午应该是学画画吧。(F)-真是轻松啊。毕竟AI替我完成了大部分的事情。
再就是系统和调研都尚未完成。完成之后我想我们又要忙起来了。然而因为时间限制,只是确定了一下之后要做的事情。
5. 下午去锻炼。(T)-我想了下,跑步15分钟,然后胸推?强度听起来还挺高的,希望晚上不要到处大小睡。
几乎完成了。太累了。不过之后还得接着练。这个不练不行。
6. 晚上希望继续学习画画,或者你整个网课。()-我想了下,既然AI已经在调研了,那么我就得做点有建树的事情。
否则我会溺死在自己的羞耻心里。说起来,羞这个字真有意思,仅仅是看到字形就已经想象到了犹抱琵琶半遮面的样子。
果然字形首先表意啊。我喜欢这个字,看到它就像看到很多时候弯弯扭扭不肯直言的害羞的自己一样。
幼女战记2我不得不说,虽然拍的不如第一季过瘾,但是回味下来却感觉它别有一番风味。
再就是这个曲子确实好听,MYTH & ROID「Why? RED induction」。
接下来又要认真做点事情了。这是我难得这两天感觉有些手感的日子。果然还是要做点事情。
-------------------------------------------------------------------------------------------------------------------------
2026.10.4,昨天夜间又昏迷了,醒来之后已经是晚上10点,拖着奇怪的身体回宿舍去。
在宿舍果然有些入睡困难,不过后来迷迷糊糊的也睡过去了。第二天醒来的时候印象里按掉了闹钟。
但是等我再次睁开眼睛的时候,已经是8点半。今天早上起来得先买个新牙刷。
其他就没有了。今天早上起来的时候发现系统已经维护完成,但是论文仍然在调研。这个速度也忒慢了。
0. 早上买了个牙刷 + 梧桐杯。(T)-基本上就是这样,结束了。梧桐杯这个我们先确定人数。
牙刷这个最终选了个电动牙刷,感觉还不错。
1. 早上先维护系统。()-同时调研。如果可能,上个网课。
2. 早上继续修改论文。()-主要是添加证明 + 实验。做个好的补充。早上居然几乎没有做任何事情,而仅仅是维护。然后看了youtube的视频。
3. 中午练字。(T)-其实是下午做的。
4. 下午去跑步。(T)-听说某个人跑过半马,我的胜负心被激发起来了。刚好最近要减肥。
跑完了,6km。下次准备一下水,我大概持续3周,然后就把时间延长。
5. 晚上继续改论文。()-这个必须开始做了。
我才想起来我们还要申请梧桐杯。这个事情到目前我没听说有人去做。
看说是万缕千丝的第二章就merge了。好耶!意味着前期的这四条线打的应该还不会花很多时间。
我还以为每个人还会有第二章的分支。现在看来没有了。
今天行书的几个想法:
1. 有关书法,比较基础的有:笔画,间架结构(比例),大小。这是能用楷书交给你的。
但是一旦想要写快,楷书的战术就不太管用了,这时候引入行书,通过改进:1. 少数笔画行笔顺序。2. 连笔(明连和暗连)。这两点来改善速度。
(顺带一提,连笔本身也可能成为书法家的武器,不过这不是我需要考虑的。)
就我自己的感觉,行书简直就像是画画。和楷书的固定顺序不同,行书讲究灵动。
因此像画画一样训练自己的手做出轻灵的动作,比起记住顺序、力度要更加快且有效。
这里的误区也和画画一样:没有经过训练的画画,不同的笔画波动很大。画画训练本质上是确定自己的规则并固化风格,然后寻求更高的操控能力。换言之,手里能画出越多的曲线,曲线越稳定,能力就越强。剩下的是想象力,不归手管。
写字也是如此,未经训练的连笔不过是涂画,想怎么涂怎么涂,最终就是整体混乱。
> 这么说来,跑步也是一样。一个受过训练的短跑运动员最重要的是维持速度稳定,在尾端也维持高速。
关键还是确立一种规定。它可以自由和具有自己的风格,但是它一定是具有规范、原则和自己的【固定】的风格。
想要更快,就要采用类似计算机连打那样的思路,将固定的词句作为一个单位(类似于拼音打字,vim这类)进行操作,同时进一步简化笔画和结构。这就是草书的思路了。
到这一步就不是我prefer的东西了。
2. 一个比较妥善的方法是,首先将每一个字的间架,在低速状态下写好;同时,训练词句的大小和稳定(不用线就保持在一行)。这两个我认为可能不能一起练。
在确认了每个字在低速状态下能写清楚间架后,立即进入行书,这主要出于实战考虑:
在实际作战中,一般不会有时间让我们做慢慢的楷书记录,所以行书实际使用的更多。所谓“将平时的写字也变为训练”,在楷书语境下是完全不成立的。
> 这也是我认为我父母真正错误的地方,我根本没有他妈的那个时间去写那个该死的楷书!
一般来说,行书简直就像是将楷书写快之后自然形成的东西,我要是早点学行书,就会意识到很多坏习惯可以在早期就纠正。
有关行书和字帖,我目前的想法是:
1. 对于一些已有的偏旁,如无必要,不要自己发明,该怎么写就怎么写。尤其是顺序。间架结构也参照原有的。
2. 对于一些明勾暗勾,这个可以按照自己的想法自己确认,自己写着看着舒服就行。不同书法家对此也没有定论。
> 因此照着书法帖照抄没有好处,关键是找到自己的感觉。这一点也和画画很像,大概是给自己订立一个可行的标准然后拼命照准?
在确保日常用字得到纠正后,就可以着手选择一款自己喜欢的书法家的字,每天对其进行临摹。半个小时应该足够完成一页。
这样半年到一年,想必会有非常有效的提升吧。当然这完全不是软笔书法的策略,只是硬笔书法的“不速成经验”罢了。
但是正如画画一样,想要写一个并不那么难看的字体,我想或许没有我想象的那么难,也说不定。
> 另外就是田英章的字以日常使用为主,他走的是行楷,因此行书的味道不重。
> 所以如果习惯了更快的行,或许可以稍微在他的基础上做些自我改进。
最近的整理:
1. 定量:将一根坐标轴刻的很细;定性:综合多个坐标轴,并最终做出判断。从定量到定性,一方面是多个坐标轴的混合问题,另一方面是它自身也有价值判断问题。对我来说,理想重于一切。所以引入多少坐标轴,坐标轴之间的关系,这些全都是价值判断起到的作用。
不要让AI替你做判断。因为AI只是代表了AI的价值判断,不代表你做的判断。话说回来,这非常困难,因为快速得到答案的诱惑力实在是太大了。
所以我认为社科和伦理那群混蛋在说屁话。重要的不是他妈的告诉人什么是对的,而是告诉人怎么做才是对的。换言之,context才是一切啊,要找到大多数人都泛用的经验,还是太困难了。
2. 经过一番讨论,我认为在线学习可能才是AI的未来。当然这只是一个初步的判断。
关键词是:Continual RL,以及基于此的MARL,稳定-可塑平衡。
这里的原因是:
> 泛化本身没有方向,对齐给它方向;对齐的目标会随 context 变化,所以 reward 也要跟着变。其中最难的部分是:多个参照系冲突时,怎么排序。
目前最最最trivial的做法就是,公共参数(元先验) + 适配器(公共参数适配这些适配器的改变,确保不会灾难性崩溃)。在一些做法中,公共参数也会缓慢改变。
现在的大模型不如说是共享先验(参数) + Prompt(Context)。
在这个过程中,Reward可以变化。
之所以如此认识,是因为我们认为,模型尊重【先验】还是【Context】是个很好的问题。
前者自不必说,但是后者如何令其遵循呢?换言之,让他彻底没有先验,只看Context,同时还保有最小限度的推理和解决能力,这恐怕非常困难吧。是一个值得思考的问题。我想的是一定有可以分割的尺度,换言之,总得有那一小部分元先验是满足泛化所需要的最小先验。
> 现在看来,找这切分点也是泛化问题中的一部分啊。真是,什么都脱离不了Context以及如影随形的泛化尺度问题。如何精准的泛化到Context同时避免长尾真是非常值得探讨的问题!
该点的重要性是,人应该能随时,自主的选择模型应当尊重前者还是后者。另一个问题是,目前有没有类似参数可以做到控制这一点呢。(例如温度这种。)
3. 基于上述判断,权重更新应当远比prompt编辑要好得多。毕竟模型的先验完全来自于模型的权重。
4. 社会的关键在于,提供一个不断变化的reward,这样持续学习就可以被扔到MARL的场景里做验证。
有人问我如何做判断Agent做的好?我想,大概是分化程度吧。以及,区别。当然做得好是可以通过大量实证任务去检验的,给他们一个task,能否在这个小社会中做好并得到提升。如果做不好,是否能实现经验的沉淀以及试错?这些都是可以做的。
1. 分层决策:已经做通,剩下的是工程问题
连续控制的关键不在于让大模型变快,而在于让它不必快:慢系统定目标,快系统负责执行,两者异步运行,通过一个共享的目标变量通信。这套做法在游戏(Neuro-sama)和机器人(Helix、GR00T 的快慢双系统)上都已经跑通了。
Jev 补上了中间这一层。它不生成文本,直接输出带置信度的结构化决策,解决了"拿 token 做控制是用错了工具"的问题。更有价值的是,置信度本身就是调度信号:有把握就直接执行,没把握才上报给大模型去深想。什么时候需要思考,从固定频率变成了由不确定性来决定。
(Jev 只能通过 API 调用,改不了权重,所以只适用于工程路线。)
基本上这件事只能是工程的去做了。问题是,哪里才是值得发挥工程的地方。这个问题比技术问题,更难解决。
2. 参数化记忆:先研究信息怎样编码进参数
把记忆写进参数后要面对遗忘、检索、映射三个难题,它们其实是同一件事的三个侧面:
- 写入:信息怎样变成参数;
- 读出:怎样从参数里取回信息;
- 容量与干扰:新信息会不会覆盖旧信息。
所以不必分头攻克。先建立"信息与参数编码"的理论,这三个问题就能一并回答。
第一个要回答的是容量:参数到底能装下多少信息。这决定了"用参数取代上下文窗口"这个目标能走多远。
可以借用的已有基础:
- 前馈层可以看作一种键值记忆;
- 知识编辑能定位并改写单条事实;
- 语言模型大约每个参数能存 2 bit 知识;
- 叠加现象(superposition)说明了干扰从哪里来。
这件事的本质是,信息和参数编码的理论问题。想必有人研究过这个吧,要是没有人研究过这个我真的要说呆子了。
3. 参数与语义连续性
核心要求只有一条:上下文变一点,参数就变一点,行为也只变一点。这里的"连续"指语义上的连续,也就是意思相近的条件应该产生相近的调制。
文档最终放弃了正交性。真实的上下文本来就不是彼此独立的,强求正交等于在扭曲它;连续性则尊重上下文本来的结构,同时也是模型能被训练的前提。
-------------------------------------------------------------------------------------------------------------------------
2026.10.5计划
1. 今天上午准备网课。()-今天终于可以认真开始网课了。
2. 中午练字。()
3. 下午画画。()
4. 下午跑步。()
5. 晚上改论文。()
10.8我们有meta review。
这之后我们要重投论文。因此这两天可以开始改论文了。
同时要决定是投EACL还是换到ARR OCT。第二天决定吧,今天先整理别的东西。
同时10.8是梧桐杯截止。
10.7开学之后我们要和这个何老师聊一下,看看做Agent这里他有什么说法。我先聊,取得成果后再和汪老师聊一下。
我觉得哥们做agent这一块还是不如何老师的。光那几个idea就很损。
[ 此帖被mayrain在2026-10-04 20:51重新编辑 ]