本来是想写“Coursera公开课笔记: 斯坦福大学机器学习第三课“线性代数回顾(Linear Algebra Review)”的,但是这一课仅仅涉及基本的线性代数知识并且是可选(optional)的,对于多数同学应该没有任何问题。所以换一种思路写写,主要是个人的一点学习体会和以及整理了一些相关的资源链接。

关于线性代数,大学时学的时候不清楚将来有啥用,学得糊涂,忘得也快。后来特别是在与机器学习打交道的过程中,发现很多地方都涉及线性代数的时候,就买了一些口碑比较不错的线性代数书籍,例如《线性代数及其应用》,《线性代数应该这样学》,但是每次都是匆匆的读上一遍,印象不深刻,重要的概念还是一知半解,于是再在机器学习里遇到相似的问题时,还是无解。

这种一知半解的状态最让人痛苦,后来读到了“牛人林达华推荐有关机器学习的数学书籍”这篇文章,关于线性代数,是这样写得:

1. 线性代数 (Linear Algebra)

我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是

Introduction to Linear Algebra (3rd Ed.)  by Gilbert Strang.

这本书是MIT的线性代数课使用的教材,也是被很多其它大学选用的经典教材。它的难度适中,讲解清晰,重要的是对许多核心的概念讨论得比较透彻。我个人觉得,学习线性代数,最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳,关键的是要深入理解几个基础而又重要的概念:子空间(Subspace),正交(Orthogonality),特征值和特征向量(Eigenvalues and eigenvectors),和线性变换(Linear transform)。从我的角度看来,一本线代教科书的质量,就在于它能否给这些根本概念以足够的重视,能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。

而且,这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06),课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像,一边对照课本学习或者复习。

http://ocw.mit.edu/OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm

于是痛定思痛,决定拜师Gilbert Strang 教授,即读他的线性代数教材,也看他的授课视频,同时做课后题,一定要将线性代数拿下。于是找来了"Introduction to Linear Algebra"的电子版(国内貌似没有影印版),下载地址见:

Introduction to linear algebra,3rd edition-Gilbert Strang.pdf

不过这个电子版扫描上去的,我找了好久,也没有找到一个更好的版本,如果您找到了更漂亮的版本,请在这里留言,非常感谢!

另外就是MIT线性代数公开课的视频了,有很多种方式,如果需要翻译版的,推荐网易公开课,除了提供在线观看的链接:

http://v.163.com/special/opencourse/daishu.html

还有下载版本的链接提供:

http://download.v.163.com/dl/open/00DL0QDR0QDS0QYE.html

不过我个人不太喜欢看中文字幕的视频,就找了verycd上的电驴ed2k链接下载了一批原始的视频,可以在这里下载:

http://www.verycd.com/topics/2841760/

目前已学习了一大半,虽然很耗时,但是很有效,推荐想攻克机器学习的同学试试,千万要记住,一定要做课后习题,这个很必要。

最后转载网易公开课上关于这个课程的介绍和嵌入第一课的视频,供有需要的同学参考:

课程介绍:

“线性代数”,同微积分一样,是高等数学中两大入门课程之一,不仅是一门非常好的数学课程,也是一门非常好的工具学科,在很多领域都有广泛的用途。它的研 究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。本课程讲述了矩阵理论及线性代数的基本知识,侧重于那些与其他学科相关的内容, 包括方程组、向量空间、行列式、特征值、相似矩阵及正定矩阵。

课程主讲人:Gilbert Strang 教授

image

吉尔伯特-斯特朗:1934年11月27日出生,是美国享有盛誉的数学家,在有限元理论、变分法、小波分析及线性代数方面均有所建树。他对教育的贡献尤为 卓著,包括所著有的七部经典数学教材及一部专著。斯特朗自1962年至今担任麻省理工学院教授,其所授课程《线性代数导论》、《计算科学与工程》均在 MIT开放课程软件(MIT OpenCourseWare)中收录,获得广泛好评。