显示标签为“网上资源”的博文。显示所有博文
显示标签为“网上资源”的博文。显示所有博文

星期六, 十一月 21, 2015

深度学习入门资源索引

深度学习(Deep Learning)属于非常前沿的学科,没有现成的的综合型教材,主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多,下面介绍的一些教程中多少都有提及,另外就是去google重要文献。代码方面推荐使用python为基础的theano框架,因为它比较偏底层,可以从细节掌握如何构建一个深度学习模块,而且方便结合python在数据领域的其它积累,例如numpy。当然到了生产环境你可以再考虑torch之类的框架。从代码角度切入学习的好处是,理解起来不会像理论切入那么枯燥,可以很快做起一个好玩的东西。当然,最后你还是得补充理论的。下面精选介绍一些本人在学习时遇到的好教程。

1、入门首选:
http://deeplearning.net/tutorial/
该站提供了一系列的theano代码示范,通过研究模仿,就可以学会包括NN/DBN/CNN/RNN在内的大部分主流技术。其中也有很多文献连接以供参考。

2、BP神经网络:
http://neuralnetworksanddeeplearning.com/
第1部分的教程中,神经网格的参数是theano自动求导的,如果想深入了解细节,还得手动推导加代码实现一遍。该教程对BP神经网络的理论细节讲的非常好。

3、理论补充:
http://goodfeli.github.io/dlbook/
该书内容比较广泛,虽未最终完成,但已初见气象。用来完善理论知识是再好不过。

4、图像处理中的卷积神经网络:
http://vision.stanford.edu/teaching/cs231n/syllabus.html
前面三部分相当于导论,比较宽泛一些,该教程则是专注于卷积神经网络在图像视觉领域的运用,CNN方面知识由此深入。

5、自然语言处理中的深度学习:
http://cs224d.stanford.edu/
本教程则偏重于深度学习在自然语言处理领域的运用,词向量等方面知识由此深入。

6、递归神经网络:
http://www.wildml.com/
该博客讲的RNN是非常棒的系列,不可不读。

7、keras框架:
http://keras.io/
keras框架是基于theano的上层框架,容易快速出原型,网站中提供的大量实例也是非常难得的研究资料。

8、深度学习和NLP
https://github.com/nreimers/deeplearning4nlp-tutorial/tree/master/2015-10_Lecture
该教程是第5部分的补充,理论讲的不多,theano和keras代码讲的很多,附带的代码笔记很有参考价值。

9、机器学习教程
https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/
牛津大学的机器学习课程,讲到了大量深度学习和强化学习的内容,适合于复习过一遍。

10、搭建硬件平台
http://xccds1977.blogspot.com/2015/10/blog-post.html
到这里,你的理论和代码功力应该差不多入门了,可以组个GPU机器来大干一场了。可以参考笔者这个博客来攒个机器。

11、去kaggle实战玩玩吧
http://www.kaggle.com/

12、最后补充一个比较新的资源,udacity上的一门深度学习公开课
https://www.udacity.com/course/deep-learning--ud730

星期六, 十月 11, 2014

python的数据科学资源

python和R是数据科学家手中两种最常用的工具,R已经介绍的太多了,后续我们来玩玩python吧。从出身来看,R是统计学家写的,python是计算机科学家写的,两者的出生背景不一样,随着数据爆发,python也慢慢发展,逐渐在数据科学中找到了一席之地。

包:
python也有非常多的扩展包,不过用于数据分析的并不象R那么品种繁多。常用的:
numpy:提供最基本的数值计算,使向量化计算成为可能。
scipy:提供了包括最优化在内的科学计算函数,不用自己写啦。
pandas:提供了类似dataframe的数据结构,处理表格数据非常方便。
matplotlib:画图必备,但用起来感觉不如ggplot2啊。
statsmodel:提供包括回归、检验等多种统计分析函数,python也能干R的活。
sklearn:数据挖掘必备,各种函数非常丰富,文档齐全,看得出CS出品就是不一样啊。

书:
python的数据方面书还不算很多,不过很有CS的味道,就是用show me the code,公式不多,这点我很喜欢。

现有可以找到的书基本上分为三类,一类是用基本语法实现统计分析和科学计算,例如下面的:
Think Stats
Think Bayes
Numerical Python
A Primer on Scientific Programming with Python

另一类是以介绍一些包为目的,带有一些案例,例如:
Introduction to Python for Econometrics, Statistics and Data Analysis
numpy begin guide
Python for Data Analysis
matplotlib cookbook
Learning scikit learn Machine Learning
python text processing with nltk 2.0 cookbook
Social Network Analysis for Startups

最后一类是专门讲数据挖掘、机器学习的书:
下面五本书都是讲如何用基本语料来实现机器学习算法的,非常有帮助
机器学习实战
集体智慧编程
Data Science from Scratch
Machine Learning in Python
Machine Learning An Algorithmic Perspective

下面三本都是应用了成熟的机器学习库
Building Machine Learning Systems with Python
mastering machine learning with scikit-learn
scikit-learn Cookbook

如果是希望对理论有更多了解:
《数据挖掘导论》 作者:pang-Ning Tan
《统计学习方法》 李航
《The Elements of Statistical Learning》
吴恩达在cousera上的公开课
林轩田在cousera上的公开课

Notebook:
python的一大妙处就是ipython notebook,它可以把代码及其结果都存在一个网页上,方便分享学习。网上有非常多的notebook,其中成体系而又精彩的有下面三个:
https://github.com/datadave/GADS9-NYC-Spring2014-Lectures
http://blog.yhathq.com/posts/data-science-in-python-tutorial.html
http://slendermeans.org/pages/will-it-python.html

更多资源,请参见github上的一个列表
https://github.com/jonathan-bower/DataScienceResources
have fun!

星期五, 七月 13, 2012

O'Reilly新书推荐:用R和Ruby来探索万物


这本书绝对是个另类,它并不以严肃的学术研究或商业项目作为主题,而是以好玩为宗旨。用R和Ruby这两种免费工具,来探索我们身边的各种数据资源。

首先作者用两章篇幅对Ruby和R作了一个介绍。之后第三章来解决办公室内的洗手间数量问题,用Ruby来模拟人们上洗手间的次数,然后用R来绘制各种可能的情况。第四章建立了一个简单的经济动态系统,其中包括了生产者、消费者、价格和市场,并对这些因素进行了模拟。第五章比较有趣,作者用Ruby中的mail库获取了安然丑闻中的电邮数据,然后用R进行了电邮的时间分布描述和文本挖掘。最有Geek味道的是第六章,作者自制声频拾取器测量自己的心跳,并用Ruby来处理音频文件,最后用R绘制出了心跳波形,还分析了自己的心率数据。最后两章同样是模拟,简单模拟分析了生物迁徙和人类社会的进化。

这本书立意非常新奇有趣,但称不上非常有Discovery的感觉,因为它并非用大量的篇幅来介绍如何挖掘真实世界的数据,很多章节内容是用Ruby来进行动态模拟,然后用R中的ggplot2包来可视化展现。不过其中的第五章和第六章还是很精彩的。下载本书电子版

此外,如果想学习用R来抓取真实数据进行分析,我建议看这个小册子Data_Mashups_in_R

星期五, 三月 04, 2011

R语言的网上资源

总结一下网上可以得到的R语言资源

http://www.ats.ucla.edu/stat/r/ ( University of California的R语言资源收集)
http://www.statmethods.net/index.html (R语言博客一枚)
http://en.wikibooks.org/wiki/R_Programming/ (wiki资料库一枚)
http://jeromyanglim.blogspot.com/2010/05/videos-on-data-analysis-with-r.html (网上的视频教学收集)
http://www.r-project.org/ (R 的官方网站)
http://cran.r-project.org/manuals.html (R 官方文档集合)
http://www.bioconductor.org/ (R 在生物学里面的应用, 主要是芯片数据)
http://www.biosino.org/R/R-doc/ (R的一些中文文档)
http://cran.r-project.org/doc/Rnews/ (R 的官方杂志. 里面有一些具体问题的 R 例子)
http://wiki.r-project.org/rwiki/doku.php (R 的官方Wiki. 目前还不够完善)
http://addictedtor.free.fr/graphiques/ (一个不错R绘图的例子网站)
http://zoonek2.free.fr/UNIX/48_R/all.html (statistics with R, 在统计学方面应用最全的一个文档)
http://www.math.csi.cuny.edu/Statistics/R/simpleR/index.html (simpleR 的官方网站)
http://statcomp.ats.ucla.edu/R/ (UCLA 的 R 资源列表)
http://www.r-bloggers.com (资料相当丰富的R语言博客)
http://sites.google.com/site/rprojectnotes/ R学习笔记