浅谈ROC曲线

机器学习中很常见的一个大类就是二元分类器。很多二元分类器会产生一个概率预测值，而非仅仅是0-1预测值。我们可以使用某个临界点（例如0.5），以划分哪些预测为1，哪些预测为0。得到二元预测值后，可以构建一个混淆矩阵来评价二元分类器的预测效果。所有的训练数据都会落入这个矩阵中，而对角线上的数字代表了预测正确的数目，即True Positive+True Nagetive。同时可以相应算出TPR（真正率或称为灵敏度）和TNR（真负率或称为特异度）。我们主观上希望这两个指标越大越好，但可惜二者是一个此消彼涨的关系。除了分类器的训练参数，临界点的选择，也会大大的影响TPR和TNR。有时可以根据具体问题和需要，来选择具体的临界点。

2012年的学习、工作和生活

在《英雄志》里面，沉毅木讷的伍定远一直到35岁才跳出公门、踏入江湖，由此获得一系列的奇遇、成长和体验，这番际遇让人感慨。既然2012的玛雅末日没有来，就将过去一年发生的事情在第200篇博文中简单梳理一下。

学习：

最初的博客只是一个粗糙的读书笔记，但仍得到了许多同好的鼓励。赞扬的力量是强大的，于是越发的用心，花了很多时间去读去写去钻研。学习的体会可以总结为四句笨办法：精选资料，反复阅读，归纳笔记，动手操练。2012年大体上钻研了四个方面：数据挖掘、R语言、Python、数据库和SQL。

数据挖掘的算法学了一些皮毛，也知道怎么使用R的一些包，但是还需练习更底层的实现。参加了Coursera的很多公开课，但只有Machine Learning算是拿到最后的成绩，其它的都没有时间跟完进度，所谓贪多嚼不烂。R方面的书已经看得不少了，代码也敲了一些，但其实还是有一些不理解的地方，还需要深入系统的总结，2013年应该会有更进一步的成果。Python断断续续玩了半年，目前还只能用它折腾点小东西，整体感觉很好玩，应该会坚持下去。SQL的话目前工作需要用到，处理速度的确很快，不过它的思维方式和R还真是很有一些不一样，不是太感冒。

五月份和十一月份分别参加了两次R会议，见到了神交已久的统计之都各位高手，也从他们那里学到了很多东西。六月份参加了Supstat办的统计夏令营，这是我第一次参加商业培训，有点小紧张，整体还算圆满顺利。这些会议中我发现很多人都是用LaTeX来做PPT，见贤思齐嘛，回头就买了本LaTeX学习大全，日夜操练。目前正式的成果就是用LaTeX帮老婆作了一份简历，应该可以震慑住一些HR吧。

工作：

写博客的收获不止是知识，还能认识很多朋友，并在职业道路上得到他们的支持和帮助。芒果的S君是最早给我博客好评的，很是鼓舞啊。三月份的时候到上海见到了他本人和同乡L君，聊了很多，也开始了解这一行业。

八月份时候便下定决心要离开所谓的“舒适生活圈”，进入数据江湖冒险。当时还在微博上发了一个贴，原文比较煽情：“早上醒来，如系统自检一样，我知道了我是谁，我从哪来，要到哪去，心情便沉了下去。我希望今后的人生历程变得不一样，所以我想换一份工作。能和数据有关，能用到R语言更好。”

通过微博和朋友们的帮助获得了一些面试机会，因为地域、经验、专业、能力等等原因，蛮多想去的地方都没能如愿。这个过程有困扰、有磨练，也有思考和提高。最后，机会大门还是给我留了一条缝，这样我最终得以从事数据挖掘和R有关的工作，也算是从一档起步了。

生活：

2012年生活中最大的变化就是结婚了，当年达尔文曾用17页纸写下了有关结婚的系统思考。因为结婚会带来收益：例如拥有终身伴侣，避免孤独。结婚也会有成本：放弃了一定程度上的自由。两个人的生活当然会比一个人来得复杂和琐碎，这样看来是否结婚也是可以定量计算的。在我计算很长时间之后，终于让我找到了最后的稳定解，没有留下白卷。

还是用2012读书收获的一句话来结束吧：“要让宿命的人生变得有趣，就尽可能地多走几条路；要让荒谬的人生变得有意义，就不妨细细地体味每一过程的悲欢痛快，结局如何也就无关紧要了。”对我来说，新一年的生活就好象鲁滨逊踏上荒岛，虽然手中只有一把板斧，心中也无所畏惧，因为我将由此获得一系列的奇遇、成长和体验。

2013我们一起进步！

新书推荐：脏数据手册

当你学完一本数据分析软件教程，在电脑上做完了所有的练习题，志得意满地准备去处理实际问题时候，你会被真实世界的“脏数据”所震惊。例如那些随处可见的缺失和格式不一的数据会让分析工作举步维艰，但脏数据的陷阱远不止这些。初入数据江湖的白板青年很需要一本江湖经验手册来帮助成长，而《Bad Data Handbook》正好满足了这种需要。

该书由十九位江湖高手合力联手写成，作者包括了数据分析领域的数据科学家和统计学、物理学、经济学的学术专家，他们分享了自己在处理非常规数据问题的经验和技巧。例如对数据进行分析前的观察测试，如何处理棘手的表格数据，应付各种编码问题，进行网页数据抓取，处理文本数据，以及一些数据质量控制的方法。这些秘诀在一般的传统教科书上是难以见到的。正所谓江湖险恶，要行走数据江湖则必看此书。

来玩玩QQ群的数据

上周COS论坛上有位老兄发布了一个关于QQ群的数据，正好拿来玩玩。这批数据并不复杂，只有两列，一列是用户名，一列是用户发言时间，不过从这批数据中仍然可以得出一些好玩的东西，且让本人一一道来。

推荐两本python书

python虽然不是专门的数据分析工具，但是它的库超多。随着数据分析相关各种库的日益完善，也可以用它来处理一些数据方面的工作，特别在数据预处理方面。这门书号称是数据分析，实际上大部分就是讲的数据处理。介绍了用numpy, pandas等库来实施数据读入、清理、转换、合并等工作。不得不说，pandas的语法真的和R好象啊。不过分析方面没有什么很出彩的地方了。

上面这本是个小册子，专门讲了numpy和scipy两个库，特别还介绍了scikit的一些机器学习用法，值得看一下吧。
连接1，连接2