非线性 l_1 问题的调整熵函数法

一、非线性l_1问题的调节熵函数法（论文文献综述）

魏俊豪^[1]（2020）在《基于ADMM的图像去噪算法研究》文中进行了进一步梳理在当前社会中,随着科学技术的快速发展,人们的生活也是多彩多样,在这个过程中对于数字图像处理产生了迫切需要。图像处理方面的技术在许多领域中都很需要,所以对图像进行处理很重要。在图像的传输中,可能会产生各种不同的影响,例如,比较典型的就是噪声的影响和传输时间开销过大的影响。这就会使得图像的无法达到预期效果。所以,图像处理和图像去噪这方面就值得去研究、去学习。本文主要针对ADMM算法进行研究,并将其应用到图像去噪这个领域。ADMM算法主要是分而治之的原理,就是将原本数学模型,拆成两个或多个,然后再迭代并行处理。在学习过程中,还结合了压缩感知和熵函数两方面的知识。其中,压缩感知是目前研究的热点,主要的目的是降低传输的开销,而熵函数则又可以等效替换CS的lp范数,所以本文主要从这些方面进行考虑。本文的主要研究成果如下:首先,针对贪婪类的重构算法的去噪效果不好的问题,主要是算法重构精度不高,重构时间开销大的问题。为此研究了可以替换lp范数的熵函数和ADMM分而治之的思想,通过分析可以知道,可以将二者结合,从而提出一种基于ADMM的优秀的图像去噪算法。其次,针对图像去噪效果不好的问题,研究了调节熵函数的原理和Pn P-ADMM的算法框架,通过将普通的贪婪类算法结合调节熵函数,得到一种新的数学模型,然后带入到Pn P-ADMM框架中,从而得到了一种基于调节熵函数的图像去噪算法——AEF-RA-Pn PADMM算法。最后,分别对上面两种算法进行仿真,实验结果表明,这两种算法具有一定的去噪重构效果,在数值上和时间上也有了不少的提升。但是,所提算法还有不足之处,接下来可以在时间开销以及效果上进行进一步的研究与学习。

李琳娜,方铭,黄琼丹^[2]（2019）在《一类不可微优化问题的混合萤火虫算法》文中提出基于萤火虫算法与凝聚熵函数法解决非线性l1模极小化问题。利用凝聚熵函数将非线性l1模极小化问题的目标函数及约束函数分别转化为单一光滑函数,构造此光滑目标函数与光滑约束函数的精确罚函数,将此罚函数作为萤火虫算法的适应值函数进行求解,最后利用此罚函数的最优解来近似代替原非线性l1模极小化问题的解。数值实验结果表明,该算法可以有效求解非线性l1模极小化问题。

林蔚,刘婷,吕伟国^[3]（2016）在《大数据中边界向量调节熵函数支持向量机研究》文中研究指明当训练集的规模很大时,一般的支持向量机的学习过程需要占用大量的内存,寻优速度缓慢,不利于实际应用.提出了一种预抽取支持向量的支持向量机调节熵函数法.首先,利用两凸包相对边界向量方法预抽取出边界向量;然后,利用支持向量机调节熵函数法来训练预抽取的边界向量.实验表明,采用这种方法来训练样本集不仅降低了学习的代价,还提高了分类速度.

刘婷^[4]（2016）在《数据挖掘中的支持向量机方法的研究》文中指出支持向量机是数据挖掘领域众多算法中的一种,它是利用优化方法解决分类问题的工具。目前,该方法已经成功地应用于许多领域,例如医疗、金融、农业、教育等,使其成为人们关注的热点课题。在理论和算法实现两个方面,研究者们已经取得令人满意的成果。但是,当数据的规模较大时,传统的方法在训练过程中需要的存储空间过大、用时过长、应用不便。针对以上不足,本文在深入地研究支持向量机理论后,提出相应的改进方法,具体内容如下:1.对于支持向量分类机,我们首先通过最小距离的方法,预先选出包含所有支持向量的边界向量集合,然后通过支持向量分类机的调节熵函数法训练该集合。最后,通过三个仿真实验验证该方法的可行性,并且还分析该方法在存储和训练用时等方面具有的优势。2.对于支持向量回归机,我们采用类中心的方法,选出包含全部支持向量的边界向量集合,然后对该集合进行支持向量回归机的调节熵函数法训练。最后,通过实验验证该方法具有分类精度高、占用空间小、训练用时短等优点。

黄华娟^[5]（2014）在《孪生支持向量机关键问题的研究》文中研究表明孪生支持向量机（Twin Support Vector Machines, TWSVM）是在支持向量机（Support Vector Machines, SVM）的基础上提出的一种新的机器学习方法。对于分类问题，TWSVM要寻找的是一对非平行的分类超平面；对于回归问题，TWSVM要在训练数据点两侧产生一对不平行的函数，分别确定回归函数的不敏感上、下界。TWSVM在形式上类似于SVM，但其计算效率是SVM的4倍。鉴于TWSVM优秀的学习性能，目前已成为机器学习领域的研究热点。然而，由于TWSVM是机器学习领域中相对较新的理论，它在很多方面尚不成熟、不完善，需要进一步地研究和改进。其中，关于它的学习算法的研究是该理论的重点和难点之一。本文主要从提升泛化性能、提高学习速度以及增强学习过程的健壮性等几个方面对TWSVM进行研究。具体的研究内容如下：1.对光滑孪生支持向量机的新方法进行研究。针对目前光滑孪生支持向量分类机中采用的Sigmoid光滑函数逼近精度低的问题，采用具有更强逼近能力的Chen-Harker-Kanzow-Smale （CHKS）函数作为光滑函数，提出了光滑CHKS孪生支持向量分类机模型。其次，针对光滑孪生支持向量分类机没有考虑到样本位置对算法性能影响的问题，本文设计了一种隶属度函数，根据样本位置的不同赋予其不同的权重，提出了加权光滑CHKS孪生支持向量分类机模型，并从理论上证明其收敛性。最后，将所提算法推广到回归问题中，并采用离散粒子群优化（Particle Swarm Optimization, PSO）算法作为同时优化算法参数和特征选择的方法，提出了基于离散PSO模型选择的光滑CHKS孪生支持向量回归机，从理论上证明其任意阶光滑性和收敛性。2.对孪生支持向量机模型的无约束不可微近似求解方法进行研究。根据优化理论中的Karush-Kuhn-Tucker （KKT）互补条件，建立了孪生支持向量分类机的无约束不可微优化模型，并采用可以直接求解不可微优化问题的自适应调节最大熵函数法作为所提模型的求解方法。该方法在参数值较小的情况下就可逼近问题的最优解，克服了传统最大熵函数法需取很大的参数值才能逼近最优解，并且有可能导致数值溢出的问题。最后，将此算法推广到回归问题，提出了基于自适应调节最大熵函数法的孪生支持向量回归机模型。3.对最小二乘孪生支持向量回归机及其特征选择算法进行研究。为了提高孪生支持向量回归机（Twin Support Vector Regression, TSVR）的计算效率，引入最小二乘思想，将TSVR二次规划问题的不等式约束条件修正为等式约束条件，并将其代入目标函数，从而将TSVR的二次规划问题转化成为两个线性方程组问题，提出了最小二乘孪生支持向量回归机学习算法（Least Square TSVR,LSTSVR）。理论分析表明线性情况下的LSTSVR的计算复杂度仅与样本的维数有关，因此，LSTSVR的提出为大样本问题提供了一种有效的求解方法。在此基础上，为了提高LSTSVR求解高维问题的效率，本文提出了一种LSTSVR特征选择算法。首先，用1范数度量代替LSTSVR的2范数度量，可将LSTSVR中的两个线性方程组问题转化为两个线性规划问题。其次，通过具有快速收敛能力的牛顿法求解线性规划对偶问题中的外罚问题，原问题可以归结为求解线性方程系统。除了保留LSTSVR原有的优势，还具有速度快以及非常稀疏性的优势。对线性问题而言，意味着该方法可以自动选择样本的特征，从而达到降维的目的。4.对最小二乘孪生参数化不敏感支持向量回归机进行研究。首先，引入最小二乘方法，将孪生参数化不敏感支持向量回归机（Twin Parametric InsensitiveSupport Vector Regression, TPISVR）的两个二次规划问题转化为两个线性方程组问题，提出最小二乘孪生参数化不敏感支持向量回归机（Least Square TPISVR,LSTPISVR），从理论上分析了LSTPISVR的计算复杂性。其次，鉴于LSTPISVR的参数较多的问题，提出一种具有快速全局搜索能力的混沌布谷鸟优化算法，并将其作为LSTPISVR的参数选择方法，以提高LSTPISVR参数寻优的效率。

雍龙泉,刘三阳,张建科,杨国平,拓守恒^[6]（2013）在《基于差分算子的和声搜索算法求解非线性l1模极小化问题》文中进行了进一步梳理针对一类目标函数非光滑的l1模极小化问题,提出了一种改进的和声搜索算法.结合差分进化算法的变异策略,用差分向量算子取代和声搜索算法的音调微调.实验结果表明,改进后的和声搜索算法能够获得原问题的全体解.

许建琼^[7]（2013）在《支持向量机的调节熵函数法研究》文中提出在统计学基础上提出的机器学习方法SVM （Support Vector Machine）在训练学习机器时,其学习方式是SRM （Structural Risk Minimization）准则,因此,学习机器不光具有简洁的数学形式,还使得其几何解释直观,易泛化。除此之外,它还将一般的学习问题与凸二次规划问题建立关联,凸二次规划问题的解即为原问题的解,从而保证所得解并非局部极值,而是全局最优解。SVM是一种集多种标准的机器学习技术于一身的新技术,它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等技巧。在解决各种挑战性的实际问题中都有它成功的应用,譬如它可以用来预测、分类和线性与非线性回归。在对SVM研究中,学者们提出了各种各样的算法,这些算法要么有某一方面的优势,要么有一定的应用范围,且都是采用二次规划或线性方程组来求解相应的最优化问题。在模式识别中,SVM利用二次规划对偶技巧把优化问题转化为高维特征空间中一个简单约束的二次规划问题。虽然,通过分解训练样本集或序贯输入样本的方式能够处理这种高维的对偶规划,由此产生的算法既节省了存储空间,又提高了计算效率。但是,这些算法的设计和实现都比较复杂。极大熵方法是近几年提出的新算法,对于多约束非线性规划、极大极小等问题,通过该方法都能快速处理,与已有方法相比,其特点是：更易实现、更稳定、收敛更快。除此之外,极大熵方法在求解不可微和大型多约束等问题时也是有效的,因此,该方法有很高的应用价值。但其不足之处是对问题的精确解只有在参数p→∞时才能得到,当p取较大值时,又容易产生数值的溢出现象。针对这种弊端,本文在对SVM的理论基础----统计学理论和最优化理论,以及SVM本身的分类思想、方法和回归原理做了较为详细的研究和阐述后,根据SVC的分类方法和SVR的回归原理,提出了一种新的求解SVM优化问题的带调节因子的熵函数法。它克服了现有熵函数法只有参数p取得很大才能逼近问题的精确解的不足。将它应用在SVM的模式分类和回归问题中,能在低存储需求条件下有效地提高SVC的分类精度和SVR的回归性能。

王若鹏,徐红敏^[8]（2013）在《非线性l1问题的光滑近似算法》文中指出为非线性l1问题的求解构造了光滑逼近函数.首先将非线性l1问题转化为等价的不可微优化问题;其次通过两步提出光滑逼近函数的一般性构造方法;最后进行了数值仿真.文中介绍了光滑逼近函数的有关性质,指出相关文献已有的光滑函数方法是本文的特例,并证明了方法的收敛性及有效性.

赵建强^[9]（2012）在《约束非线性lp问题的调节熵方法》文中指出首先介绍了调节熵函数及其性质,然后通过调节熵函数及罚函数技术将一类约束非线性lp规划问题转化为可微的优化问题,再设计其求解算法,并通过数值算例与极大熵函数求法进行比较.结果表明该算法收敛速度更快.

赵建强,李苏北^[10]（2011）在《无约束非线性lp问题的调节熵方法》文中研究表明本文构造了求解无约束非线性lp问题的新方法——调节熵函数法。给出了数值算法,证明了算法的收敛性。通过数值仿真将该方法与求解无约束非线性lp问题的极大熵函数法进行了比较,表明该算法是十分有效的。

二、非线性l_1问题的调节熵函数法（论文开题报告）

（1）论文研究背景及目的

此处内容要求：

首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。

写法范例：

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

（2）本文研究方法

调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。

实证研究法：依据现有的科学理论和实践的需要提出设计。

定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。

定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。

跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。

模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、非线性l_1问题的调节熵函数法（论文提纲范文）

（1）基于ADMM的图像去噪算法研究（论文提纲范文）

（2）一类不可微优化问题的混合萤火虫算法（论文提纲范文）

（3）大数据中边界向量调节熵函数支持向量机研究（论文提纲范文）

（4）数据挖掘中的支持向量机方法的研究（论文提纲范文）

（5）孪生支持向量机关键问题的研究（论文提纲范文）

（7）支持向量机的调节熵函数法研究（论文提纲范文）

（9）约束非线性lp问题的调节熵方法（论文提纲范文）

（10）无约束非线性lp问题的调节熵方法（论文提纲范文）

四、非线性l_1问题的调节熵函数法（论文参考文献）

• [1]基于ADMM的图像去噪算法研究[D]. 魏俊豪. 哈尔滨工程大学, 2020(05)
• [2]一类不可微优化问题的混合萤火虫算法[J]. 李琳娜,方铭,黄琼丹. 西安邮电大学学报, 2019(01)
• [3]大数据中边界向量调节熵函数支持向量机研究[J]. 林蔚,刘婷,吕伟国. 微电子学与计算机, 2016(08)
• [4]数据挖掘中的支持向量机方法的研究[D]. 刘婷. 哈尔滨工程大学, 2016(03)
• [5]孪生支持向量机关键问题的研究[D]. 黄华娟. 中国矿业大学, 2014(12)
• [6]基于差分算子的和声搜索算法求解非线性l1模极小化问题[J]. 雍龙泉,刘三阳,张建科,杨国平,拓守恒. 兰州大学学报(自然科学版), 2013(04)
• [7]支持向量机的调节熵函数法研究[D]. 许建琼. 四川师范大学, 2013(05)
• [8]非线性l1问题的光滑近似算法[J]. 王若鹏,徐红敏. 纯粹数学与应用数学, 2013(01)
• [9]约束非线性lp问题的调节熵方法[J]. 赵建强. 徐州工程学院学报(自然科学版), 2012(03)
• [10]无约束非线性lp问题的调节熵方法[J]. 赵建强,李苏北. 运筹与管理, 2011(05)

标签：支持向量机论文;  admm论文;  熵函数论文;  回归模型论文;  非线性论文;