解决问题的思维方式

解决问题是本质基本理论发现问题问题是已知和未知的矛盾明确已知的定义和约束条件分析问题已知与未知的关系和从已知到未知需要的条件提出假设不要局限于具体的某个方法或途径检验假设使用逻辑进行推演但是实践才能证明首先要明确问题中所有涉及的概念定义问题解决过程的总趋向,是先确定问题的范围,指出可能的解决方向再逐步缩小范围提出问题解决的一般方法和具体特殊方法一步步进行推理以逼近问题的解决问题状态—若干中间状态—目标状态中间状态是在状态空间边缘努力逼近目标状态如何使用AI解决复杂问题与AI讨论确定问题边界确定问题的解决流程和步骤工作应该从资源的的角度整理方法如云计算相关等如何解决问题的问题背景分解业务场景选择合适的算法理解算法原理进行调优整理输出博客代码问题描述模板报错截图包含报错文本的上下文报错文本主要是核心的报错文本问题分析解决方法正文问题的解决思维是工程师的能力针对主要使用的部分进行优化问题无法解决就解决问题的假设来源计算思维所有算法归根结底需要用计算机语言的形式进行实现有好的idea需要考虑在计算机描述下具有好的性能离散性计算机是用离散来模拟连续但本质还是离散存储性可以记录过往的信息进行复用循环不变量规律 算法的本质就是循环找到性能好的循环不变量算法才能充分发挥计算机的优越性操作系统将对象抽象成数据结构再使用函数对这些数据结构进行控制和管理抽象思维抽象是从众多的事物中抽取出共同的、本质性的特征最后再将该特征表达的意义赋予符号人在的抽象思维是建立在感知经验思维上的一种对本质的把握抽象思维的使用是人类突破物理世界束缚的本质能力(若将人的全部信息数字化是否可以认为人在逻辑上永生)eg:计算机系统中的各种软硬件资源均可用数据结构抽象地描述其资源特性从而忽视其实现细节人体的线条其实并不明显而雕塑是对人体的体型的特征进行抽象并使用明显的线条进行表达淘宝卖商品的数量加1其实这个1就是对商品整体数量特征的抽象数字孪生概念的本质思想目录思维原理目录思维是基于抽象思维的对整体细节的符号化本质是一个键值对k:v其中k应该是熟悉的、简略的信息元素之间的关系是一对多的关系通常形成树状结构或层次结构索引结点可能产生额外的空间开销但是有利于查询和浅拷贝示例寄存器组的思想使用两个寄存器操作一组寄存器其中Address Register用于指定寄存器数组某一个寄存器Data Register用于对索引所指向的数组元素寄存器进行输入输出操作STL中deque的基本数据结构中中央控制块和其索引多个buffer的关系key-value通常配合哈希表期望随机时间查找一个key代表的大量数据黑盒思维输入-规则-输出思维本质是生物的剌激反应刺激是输入构建的思维是规则而能动的改造自然就是输出改造自身也是改造自然因为自身也是自然的一部分可以只理解输入和输出的关系而不需要去思考规则的具体实现节省的时间可以去搭建上层建筑站在巨人的肩膀上才能更快的发展逆向思维原理放弃正向的“已有经验、方法或常识”明确目标然后认识问题本质紧紧围绕“解决真正问题”的反向思考方式。示例从部分结果回推从而证明全局汤老师劝学视频火了那么汤老师劝不学的视频制作出来会不会火目标是火如何制作视频只是一种方式目标思维一切服务于目标以目标为导向去思考和处理才能用最小代价获得最大收益eg:如果将深度学习技术看作一种复杂函数的逼近算法那么如果目标错误即使逼近的再好也没有好的测试正确率通信控制本思想源自操作系统中CPU对于外设的控制方式启发1.直接方式端口控制直接通过规范的格式告诉对方需要做什么2.间接方式内存映射通过某一个中间实体告诉对方该中间实体可以存储多个对象的通信通道的索引使用了目录思维进行简化一对多对象的控制联系思维1.定义联系的观点是指事物内部各要素之间和事物之间相互影响、相互制约和相互作用的关系。2.特点多样性世界上的事物及其联系都是多样的。多角度思考加深理解条件性条件可以促进或制约事物发展改变和创造条件不是任意的必须尊重事物发展的客观规律。顺势而为普遍性事物内部要素、不同事物之间和整个世界的事物是普遍联系的。防微杜渐必有联系客观性联系的存在是客观的不以人的意志为转移。注重事实避免主观臆断WWH思维遇到问题询问自己价值回归价值定义人类凝结在商品中无差别的劳动以人为本价格定义供求双方的相互作用和博弈商品的价格由价值决定受供求关系影响商品之初供求关系影响大商品饱和后受供求关系影响小商品的价格一定在其价值的平均线上下波动抽象与具化将一类问题的解决方法进行思考抽象成一个数学模型然后具化到相应问题进行快速解决。eg动态规划的同类题目都使用dp的算法结论实例可以让别人更容易的理解在向别人进行解释的时候要利用这个原则。分解思维细化粒度解决复杂问题的好方法可以提高效率将问题按照某个维度进行分解然后思考每个部分可以利用的方法编程应用先封装底层常用的内联函数将算法中的if和while外的算法部分均封装成独立的函数每个函数使用assert进行准确性断言保证每个函数的正确性再逐层向上搭建正确的代码eg将问题处理对象数据划分的尽量小即细粒度。细粒度通常有利于实现高并发解决问题针对不同的模块特点使用各自对应的数据结构有利于提高效率调度优化细化粒度定义尽可能基于最小单位进行调度从而使用调度较小的计算资源换取较大的的各种资源的利用率示例vllm使用动态的token级调度而不使用静态的请求级调度从而通过调度能够充分提高资源的利用率多角度观点同一个客观存在的事物在不同的符号系统下会有不同的表达方式只有熟悉这套表达方式的物体才能运行/听懂。语言是沟通不同符号系统的中间桥梁。eg计算机方面真正理解一个算法是从计算机运行方面和现实抽象逻辑人类语言这两个方面完全的理解对象状态规则方法原理对象由属性组成这组属性的值的集合表示了对象的一个状态。规则毫无差别的支配对象这个支配是通过更改对象的属性值进行的示例面向对象设计方法中的属性和方法数据和算法状态和外界作用状态变化if(条件){规则/方法对状态的操作}// 条件的本质是对于属性的判断// 状态的本质是相关属性集// 规则对状态进行操作改变状态或查询状态负反馈策略将系统的输出返回到输入端并以某种方式改变输入进而影响系统功能的过程推广到动态特征调节对于某个特征进行监控如果特征出现变化则系统进行相应的变化egSYN泛洪攻击的防御一旦服务器受到攻击SYN Half link 的数量超过系统中TCP活动Half link最大连接数的设置系统将会认为自己受到了SYN Flood攻击并将根据攻击的判断情况作出反应减短SYN Timeout时间、减少SYN-ACK的重试次数、自动对缓冲区中的报文进行延时等等措施力图将攻击危害减到最低。动态规划对于问题发展的上界与下界进行估算决定是否拓展助人为乐别人有问题而我自己恰好有能力一定是时序上的后者问题发生后才需要帮助)负载均衡的steal进程无等待的原子快照先思后做原理通常思考的代价比较小示例在某段时间内状态一致的验证进行两次scan结果相同表示一致但可能存在ABA事件使用时间戳进行解决两种考试类型题算法类型明确细节和计算规则对于不同的输入可以进行运算同一个题型改改数背诵类型按照关键词得分都需要进行不断地重复降维打击毫无干系的事情却对这个事物的发展起着决定性作用eg课堂上做梦即将成王被老师打醒特殊性分析针对不同的场景进行其特点的分析用魔法打败魔法拟态安全防御操作系统随着环境或时间不断变化让攻击者无法把握规律用不确定性防御未知的漏洞用未知来防御未知当业界尚未形成标准时使用业界最认可的模型来为自己完善自己某一部分的标准。eg人脸老化模型中如何保证面部辨识身份的不损失使用业界最好的面部辨识模型在人脸老化过程中保证人脸的身份辨识。减少系统对单一资源的依赖并行计算机的对称多处理机系统所有计算节点共用同一总线如果总线出现问题将导致系统失效。泛化编程GP 数据 算法两者是分离的破旧立新linux内核的加载过程中需要从16位实模式切换到32位保护模式在这个过程中不断将执行完成后的老机制代码用新机制代码覆盖不但避免了新老机制的混用还节省了内存比率控制器适用于速度不匹配的软硬件协同。通过中间件实现实现通常是通过缓存慢的物质然后输出到快的物质中。eg高频输入的时钟进行间隔计数而转化成低频时钟信号重构先使用常用的、简单的方法构造出解决问题的模型或项目代码然后在针对模型的问题进行设计模式或功能增强eg先写出单线程程序然后进行重构成高并发的多线程程序。先写出基本的程序然后根据所面临的问题进行设计模式的更改极简原则每个类和函数都尽量保持单一职责减少输入(形参)和输出(返回值)的复杂度减少中间层的转换每次转换意味着开销和复杂性的提高有一个矛盾模块化算不算一种增加复杂度的方法但是减少了逻辑复杂度decorator修饰模式功能 内核 修饰等号是对右侧的封装eg计算机网络的层次结构每一层的功能 下层的功能内核 本层的修饰越底层越自由。底层的算法应该尽量减少其约束参数的健壮性检查不应该掺杂其他非内源性的约束。通过再次封装的修饰可以进行特化即提高了重用性又保存了灵活性计算系统的设备都保留了许多控制端口而通过代码封装和修饰一步步抽象到应用程序只能进行规则化的调用。异构和多核都是为了更好的降本增效的处理问题但是通常会出现普适性和高性能的矛盾。如异构后降低了普适性增强了处理某类特定问题的效率多核相反。如何更好的平衡范围和性能来处理具体问题是需要思考的以弱换强原理核心是业务场景下的收益时空开销、人机交互好··· 付出 - 代价牺牲不重要的部分性质换取更需要的性质或者使需要的性质性能更好注意一旦引入了一个机制没有用到它的利益就会无条件背上使用它的代价。示例红黑树牺牲了高度平衡的特性换取了不平衡时更少的旋转开销。在基础库中使用锁就为上层调用者引入了线程机制减少了业务调优的余地做基础框架的工程师们请把线程看做洪水猛兽把它留给系统工程师别自作聪明出来找不自在吃饱没事别它么每个接口都给我上把锁。以后需要批判思考一下数学原理替换原理使用等效的数学公式进行逻辑运算的替换这个替换目标是更符合计算机的运算逻辑提高运算效率示例a/2等价于a1控制部分数据部分对于数据结构的优化原理控制部分数据部分属性的描述或者协议的规定数据部分单纯的数据值存储示例TCP/IP网络模型中首部数据组成的数据报操作系统中内存分配器中内存控制块内存数据区块innoDB中表结构的compact行格式固定大小、通过特定字符划分边界计算机中数据的核心是二进制代码其实际的应用取决于格式转换操作系统控制原理建表将数据的属性即控制部分抽象成一个数据结构这个数据结构相当于一个属性表位图通过计算机中的最小单位数据单位进行某种资源是否使用used的区分建立的表可以存放在内存中如磁盘是一种低速设备先将控制部分即索引地址加载到内存中用于增删改查最终需要操作时再统一操作减少硬盘访问次数。静态预编译优势原理将在运行中需要动态计算的数据通过预先计算并存储静态数据从而动态执行时可以极大的提高性能示例函数模板和类模板虚幻引擎5中lumon全局光照将动态的光线求交转换成静态的提前计算好的距离场实时运行只需要进行查表和简单的计算工程复用通过已知的去近似未知的从而降低开销解决主要矛盾为目标服务计算机生成场景图片全局光线计算量与距离呈反比越远计算越粗放即远处用性能差算法数据结构是算法的基础换一个更好的数据结构通常比优化代码更有用困难题都是通过对于已有数据结构的自定义进行的从而通过算法提升性能等价调用思想只要证明两个程序的计算一致性可以将性能差的代码替换成性能更优的代码。编译上的等价替换通过转换统一算法运行的标准进程调度CFS算法在公平的保证上谁亏给谁补操作系统尽可能的让每个进程都获得同样的运行时间。在优先级的保证上每个进程执行相同的1msnice值大的会执行10msnice值小的会执行5ms。即通过nice作为系数增加的虚拟时间统一进程在运行时间上的调度策略到公平性上局部性原理的内存化局部性原理时间局部性访问过的不久还会再访问LRU热点优化空间局部性用过的周围可能会再用由程序的顺序性决定cache一致导致的连带失效内存化内存小而快所以可以将目录和指针进行内存的常驻局部性eg将单链表的指针域集中到一起放在内存中FAT文件系统组合优势将两个相同的东西通过算法虚拟出一个等于甚至超过两者之和的东西egRAID算法将多个不可靠的磁盘通过算法虚拟组合成一个又大、又快、又可靠的大磁盘完成标记线性的操作序列可以每隔一部分做一个完成标记出现完成标记意味之前的部分已经完成实例http三次握手的seq数据库中的回滚标记资源的延迟分配含义申请资源时不进行实际分配。只有使用资源时才进行实际分配。优点避免DDos攻击有利于并发示例写时复制COW读内存数据时不进行资源分配当要写入时分配资源的副本最后再合并懒汉单例模式定义对象时不进行实际的资源分配只有调用对象自定义实例化函数才进行真正的实例化三次握手的第三次握手成功服务器才完整的分配资源可以避免SYN泛洪攻击Spark内存池延迟分配加快了资源分配速度并且具有延迟分配的安全性和降低内存开销的优点心跳机制定义通过周期性的信号进行通信路径的完整性检测示例TCP心跳机制当客户端和服务器长时间未进行信息交换其中一方发送约定的特殊数据报文等待对方回复。从而确保TCP连接的有效性客户端和数据库引擎心跳式的定期断开长连接或者客户端主动重置连接。读写分离COW读时共享写时复制将内存中改动的置dirty为1表示要写回到磁盘中过程的复用将数据进行尽可能的统一化将过程函数进行复用即将上个输入关联到下个输出。egshell脚本中grep的管道rust中的str.covert().slice().print()等等相关性导致的并发问题核心相关性高的、耦合度大的代码难以实现并发和流水线执行会降低很大的性能示例cpu指令流水线的障碍指令相关——数据相关、寄存器名字相关、控制相关程序并发的障碍计算机喜欢有序的东西分支预测对于乱序的数据处理比较慢因为如果猜测失误需要清空流水线所以尽量减少if-else的使用增加排序的使用。迭代优化一个大的架构的问题解决方案进行一个迭代优化尝试然后对里面具体的数据结构进行一个迭代优化虽然不能保证整体最优但是可以保证局部最优的一个问题解决方案量度策略背景很多时候并不能找到一个针对问题所有情况都具有良好性能的算法但是通常可以找到针对问题不同情况下的最优策略。原理设置一个可以量化的转换标准但低于该标准使用A算法处理当高于该标准使用B算法处理可以分成多层次示例水的模拟在0度以下使用固态算法在零度以上使用液态算法在100℃以上使用气态算法静态和动态静态往往更加简单高效动态往往开销大但灵活性强示例静态编译和动态编译滑动窗口的静态窗口和动态窗口namespace的原理待解决Redis中的stream消费组模式cpp20多核架构下的局部优化每个核心都增加自己的局部缓存以加快处理速度和解决数据一致性等相关问题示例tcmalloclapic高级中断控制器系统健壮性事前预防解决问题发生的原因事中检测运行中时时检测事后解除出现问题抛出异常给上层解决而不是摆烂放弃示例死锁的预防和检测以及解除银行家算法避免进入不安全状态检测循环等待链或者执行时间太长的进程事后撤销资源或者kill进程黄金圈模型工程是解决问题导向的每一个新技术都是在修补和平衡原有技术存在的某方面的问题从而实现问题的解决所以应该尽量从有原因的角度思考问题。新技术的分析划分首先对新技术的内部进行划分直到不能在划分后再使用以下部分定义What新技术的定义应该明确其与现有技术区别的核心功能作用/特点新技术在提高效率、降低成本、增强功能等方面的用处原理Why使用xx机制解决/提高了旧技术的问题实践How在实际场景中的部署和应用的具体流程实践中需要注意的问题在实践过程中难点和易错点生产-缓冲-消费生产者消费者模式肺/鱼鳔:动脉生产氧气到肺中静脉从肺中消费氧气软件更匹配硬件定义通过平衡软件不同的特征从而使其更加符合硬件的能力最后提升效率中庸思想针对同一个问题的两个思路都各自有优缺点是否可以通过平衡分类时间和空间互换例如deepseek中的KVcache缓存通过额外内存存储常用数据减少重复计算的时间消耗数量和质量互换例如deepseek中的细粒度专家分割将之前少量的大expert变成更多的小expert从而降低过拟合程度提高效率横向分层和纵向分组分布式和中心化异构和多核逻辑和物理的映射deepseek中EBLP的负载均衡物理专家多出逻辑专家的为冗余专家用于调节逻辑专家的负载均衡内存拓展实际的物理内存存储常用的多余的不常用的存放在物理磁盘从而实现内存的拓展最简功能验证使用某框架下最简单的示例程序验证框架功能的可行性从而避免在复杂应用中无法排除问题llamafactroy的前端ui界面llama board无法实现运行由于涉及程序过多无法排查原因采用最简的gradio程序发现是gradio的CS服务启动连接问题导致的适配工作使用稳定的版本进行适配最新的版本往往存在隐藏的问题在复杂系统中难以集成进来llamafactroy集成到aicp平台的使用最新的v0.9.3dev发现一直存在版本依赖问题最后发现v0.9.1可以直接集成加班十天的血泪教训一个工作要明确开始截至时间并在过程中细化小任务的开始截至时间从而明确评估集权的优势核心通过分离控制平面与数据平面并在SDN控制器上集中控制从而快速适应网络需求变化按需分配资源中央集权控制中央集权获取的是地方策略的生成权而不是实际的执行权问题分散的策略配置难以保持一致性可能因为资源争用难以达到全局最优策略解决中央控制器以全局数据驱动策略生成然后将一致的策略快速下发到各个网络设备从而动态响应变化并达到一个全局资源利用的最优决策最终获得最大效益。规划和实施规划核心是 “明确目标和约束”确保行动不偏离核心需求不纠结于具体细节提出核心目标第一性原理解决什么问题设定约束条件不能突破的属性边界约束监控偏差并纠偏实施Implementation怎么做步骤、用什么方法工具、如何解决细节问题执行协同实施需要反馈给控制相关信息当控制发现在实施过程中出现问题控制可能调整目标比如 “接受环保颗粒板预算不变”再由实施继续执行 —— 这是 “控制 - 实施 - 反馈 - 调整” 的闭环。例子土木中的规划工程师和实施工程师istio中的控制平面和数据平面从最小粒度开始排查多机训练失败先单机单卡验证基本功能然后单机双开验证卡间通信然后双机单卡验证机间通信然后双机多卡验证最后多机多卡验证重构代码重构代码应该建立在对过去代码和工作的全面理解上而不是一开始就重构这样即使重构也无法做出最大的优化工作准则代码提交入库前必须校验代码的有效性提交时将代码生产和缓存文件删除版本引入新功能必须保持原依赖不变示例jupyterlab安装mindstdio会将jupyterlab强制切换到v4.0从而导致其他依赖出现问题思维火花【idea】现代计算机体系结构是等级制的BIOS是上帝CPU是世界的运行规则的掌管者MBR是始皇帝内核是太子/现在的皇帝。资本主义和共产主义模式的计算机体系结构是什么样的共产系统中肯定用到许多助人为乐机制拥有的资源多少是权力的本质。是否应该从解决问题的角度去构思而不是数据指令的方式每个应用程序对应一个权限表让这个应用程序可以直接相当于一直运行在内核态不需要频繁的用户态和内核态的上下文切换调度器是一个中央资源向下分配的问题类似于集权式的国家。eg发改委下拨100亿的经费如何分配中央集权控制中央集权获取的是地方策略的生成权而不是实际的执行权让地方在有限制的博弈中完成目标【idea】可编程逻辑阵列将异构资源进行粒度的细化然后根据需求进行不同的调度提高通用性和性能。【idea】函数应该具有反馈和负向反馈机制而不只是输入-计算-输出【idea】无论是MCP还是Skill本质都是为了解决问题而日常的运维实践方面通常要在多个VPN和浏览器之间去实践操作应该是aiIDE中封存各种支持的工具如浏览器等可以开启学习模型从而学习一次用户的全程处理操作然后将这个流程内化成更加准确的提示词然后使用者再泛化其中的几个步骤从而形成一个真正准确的技能【idea】如何技术型领导如何确立地位首先通过一个较复杂的但是个人比较熟悉的项目给到员工然后员工无法解决在项目预留临期时参与指导和处理从而完成领导地位的确立