[Denny] 数据分析基本知识 — 统计学及线性代数

2013年4月26日  112+ views 没有评论

Auto-updated 2013-04-26 23:29.

数据分析基本知识 — 统计学及线性代数

:P ROPERTIES:
:type: KnowledgeBase_Cloud_Language
:END:

Table Of Content

阅读全文…

分类: 默认 标签: , ,

[Denny] R: The R Project for Statistical Computing

2013年3月16日  376+ views 没有评论

Auto-updated 2013-04-26 16:41.

R: The R Project for Statistical Computing

:P ROPERTIES:
:type: KnowledgeBase_Cloud_Language
:END:

  • R常用的数据处理函数
Num Name Summary
1 mean(x) 算向量均值,即数学期望
2 median(x) 算向量最频值
3 var(x) 求方差
4 sd(x) 标准偏差
5 quantile(x) 算向量的四分位数
6 rev(x) 向量的逆
7 rank(x) 向量的秩
8 t(x) 转置向量
9 x %*% y 算两向量的乘积
10 hist(x) 绘制出数据的频率分布直方图
  • 数理统计常识
Name Summary Comment
方差的含义 即数据的收敛程度, 元素与均值的偏离程度 http://suefantasy.blog.sohu.com/94233497.html#main-content
取逆rev(x) 矩阵可逆当且仅当它是满秩矩阵 http://baike.baidu.com/view/597891.htm
求秩rank(x) 设A是一组向量,定义A的极大无关组中向量的个数为A的秩。 http://baike.baidu.com/view/346467.htm
矩阵的对角元 即矩阵其中的一条对角线 http://zhidao.baidu.com/question/274345905.html
置信区间 在样本量相同的情况下,置信水平越高,置信区间越宽。 http://baike.baidu.com/view/409226.htm
线性回归 确定两种或两种以上变量间相互依赖的定量关系 http://baike.baidu.com/view/449540.htm
相关系数 衡量两个随机变量之间线性相关程度的指标 http://baike.baidu.com/view/172091.htm

Table Of Content

阅读全文…

分类: 默认 标签: , ,

[Denny] 数据分析 — Data analysis & Big Data

2013年3月15日  390+ views 1 条评论

Auto-updated 2013-04-26 16:41.

数据分析 — Data analysis & Big Data

:P ROPERTIES:
:type: KnowledgeBase_Cloud_BI
:END:

  • 示例Scenario
Name 示意效果 Bussiness value
购物评论的满意度分析 帮助商家提高买户满意度
给定淘宝的任意一个商品标题,分析该商品的品类
给定一个商品的列出所有卖该商品的商家商品链接
提供一个电商的客服机器人 承担常规客服,并对用户反馈进行数据分析 
自动找到weibo神回复 http://weibo.com/dennyzhang001/profile?rightmod=1 帮助商家分析weibo的负面信息
自定义主题搜索 http://denny.youwen.im/ 针对用户感兴趣的主题,从互联网上抓取高质量、高相关文章,并组织成杂志
  • 基本方法和算法
Name Priority Scenario
决策树分类器(Decision Tree Classifier) P0 从数据中提取规则集,按规则的优化级,组织成一棵分支判定树
多维缩放(Multidimensional Scaling) P1 将多维数据降维,同时尽可能保证距离值与原数据集相近
遗传算法(Genetic Algorithms) P1 先随机生成一组解,然后做多轮变异. 当结果足够好或变异无改进时,结束
K-最近邻(K-Nearest Neighbors) P1 如何针对一组给定的样本来构造价格预测模型. 其中k指用于求均值的最佳匹配数
非负矩阵因式分解(Non-Negative Matrix Factorization) P1
贝叶斯分类(Bayesian Classifier) P0
线性回归 P0
神经网络(Neural Networks) P1
支持向量机(Support-Vector Machines) P1
模拟退火(Simulated Annealing) P1
欧几里德距离 P0 表示多维变量的空间距离
  • 相关资料
Name Comment
《集体智慧编程》 http://www.ppurl.com 可以下载
《数据挖掘概念与技术》 http://www.ppurl.com 可以下载
《数据挖掘:概念与技术》 http://www.ppurl.com 可以下载
《数据可视化之美》 http://download.csdn.net/detail/jynext/4950423
《社交网站数据挖掘与分析》 http://ishare.iask.sina.com.cn/f/24228387.html

阅读全文…

分类: 默认 标签: , ,

[Denny] Objective-C

2013年3月9日  342+ views 没有评论

Auto-updated 2013-04-26 16:41.

Objective-C

:P ROPERTIES:
:type: KnowledgeBase_Cloud_Language
:END:

  • 特别的机制
Name summary Sample
减号 减号表示一个函数、或者方法、或者消息的开始 -(void) hello:(BOOL)ishello…
加号 它表示其他函数可以直接调用这个类中的这个函数,而不用创建这个类的实例 instance 方法以-开头,class level方法以+开关
中括号 调用函数 [self hello:YES] [foo bar:2]
函数调用多个参数 第一个参数没有名字,其它的参数都有名字
异构数组 同一个数组可以保存不同的对象
不支持命名空间 需要开发者在定义时,自己去加前缀,才示区别
OO权限 Object-C里没有private的概念,可认为全是public. 即只有类方法和实例方法
不支持多重继承
不支持运算符重载
id 指针数据类型
BOOL 使用8位存储。而YES定义为1,NO定义为0. 注意:大于1不为YES
@
  • 常见代码
Name Summary
printf NSLog (@”%d”,myInt);
[object method:para] 相当于C++的object->method(para)
[[[MyClass alloc] init:[foo bar]] autorelease]; MyClass.alloc().init(foo.bar()).autorelease();
[obj method: param1 label1: param2 label2: param3 label3: param4] obj->method(param1, param2, param3,param4)
  • 常见函数库
Name Summary
NSLog
NSString
NSInteger
NSURL
NSImage
IBOutlet 如果要在Interface Builder中能看到这个控件对象,那么在对象前加IBOutlet
IBAction 如果要在Interface Builder中能控制某个对象招待某些动作,那么在方法前加IBAction
CFStringTokenizer 分词的东东. CF: Core Foundation
CALayer Core Animation的层. CA: Core Animation
CGPoint 这表示一个点. CG: Core Graphics
UIImage 这表示iPhone里面的图片

阅读全文…

分类: 默认 标签: , ,

[Denny] Fighting with mac

2013年2月26日  446+ views 没有评论

Auto-updated 2013-05-20 10:37.

[#A] mac

:P ROPERTIES:
:type: KnowledgeBase_OS
:END:

  • 快捷键
Name Comment
terminal 分屏 command + d
恢复terminal分屏的效果 command + shift+ d
锁屏幕 control + shift + power/eject
mac通过快捷键最大化 control + command + f
类似“右键”的效果 触摸板是同时两个手指按下
快捷键回到桌面 在非全屏下,按F11
打开文件管理器 command + o
打开文件 command + o
快捷键打开一个finder界面 option + command + space
在finder界面中输入路径名 command + shift + g
截屏, 截全屏, 截后生成图片放在硬盘中 command+shift+ 3
截屏,截区域, 截后生成图片放在硬盘中 command+shift+ 4
截屏,截全屏, 截后生成图片放在内存中 control+command+shift+ 3
截屏,截区域, 截后生成图片放在内存中 control+command+shift+ 4
对于当前程序打开一个新的实例 command + n
Turn off/on Dock Hiding command + option + d
强制退出应用程序 command+option+esc
在相同应用程序的不同窗口间切换 Command + ~
查看多张图片 Command + a全选, Command +o 打开
mac finder跳到上一层目录 点击右下方的路径
  • 软件推荐
Name Comment
画图工具OmniGraffle 画图神器
QuickTime player 屏幕录制,视频录制, etc
CleanMyMac 系统清理工具
  • application/command
Name Comment
Safari Reopen Closed Tabs Command + z
强制清空磁盘和内存的缓存 purge
禁用或启用Time machine sudo tmutil disablelocal/enablelocal
数据库的GUI连接工具 navicat preimum
e-books tool calibre
  • 包管理
Name Comment
brew安装指定版本的package brew install msmtp1.4.10

Table Of Content

阅读全文…

分类: 默认 标签: ,

[Denny] Google Go

2013年2月6日  1,739+ views 2 条评论

Auto-updated 2013-03-03 10:06.

[#B] Google Go

:P ROPERTIES:
:type: KnowledgeBase_Cloud_Language
:END:

  • 常用命令
Name Comment
编译运行 go run ./test.go
编译 go build ./test.go
编译、链接和运行 6g hello.go && 6l hello.6 && ./6.out
  • 常用函数
Name Comment
输出 fmt.Print(pos_start)
数据类型转换 strconv.Itoa(rand.Intn(1000))
string转成int int: i, _ := strconv.Atoi(“39038″)
string转成16进制int strconv.ParseUint(“987e”, 16, 0)
  • 常用的包
Name Comment
strconv 字符串和基本数据类型间的转换
fmt 格式化的IO输出
io 原始的IO操作
bufio 实现缓冲的IO操作
sort 对数组和集合的排序
os 操作系统接口包
sync 同步包
flag 命令行解析
templete 数据模板
http HTTP服务实现包
reflect 反射包
exec 执行外部命令包

Table Of Content

阅读全文…

分类: 默认 标签: , ,

[Denny] linux systemtap

2012年12月3日  1,058+ views 没有评论

Auto-updated 2013-04-18 21:50.

[#A] linux systemtap

:P ROPERTIES:
:type: KnowledgeBase_Linux_Question_Systemtap
:END:

http://blog-images.s3.ec-ae.com/blog_systemtap.png

  • SystemTap allows users to trace/probe system’s activities easily, especially kernel operations
  • compile .stap to .c, then load as a kernel module
Item Summary
Check whether current kernel supports systemtap sudo stap -ve ‘probe begin { log(“hello world”) exit() }’
man stapfuncs documentation of systemtap built-in functions
stap -l ‘kernel.function(“*”)’ list all available probe points matching given pattern
man probe::socket.send
man stapprobes
man stap
/usr/share/doc/systemtap-doc/examples systemtap examples
probe kernel.function(“sys_mkdir”).call { log (“enter”) }
probe kernel.function(“sys_mkdir”).return { log (“exit”) }
stap –help
ls -lt /usr/man/man3/probe::*
  • useful functions or data
Function Summary
pid() which process is this?
uid() which user is running this?
execname() what is the name of this process?
tid() which thread is this?
gettimeofday_s() epoch time in seconds
probefunc() what function are we in?
print_backtrace() figure out how we ended up here
argst argument for syscall

阅读全文…

[Top-allocated] Multimedia to show ideas and thoughts

2012年11月27日  551+ views 没有评论

 

I'm DennyZhangmy daily journalTechnical difficulties in my daily workWhat I do everydayledger personal accountingSophia, will you marry meExcel plug-in: automatically add tickmarkExcel plug-in: setfont of Chinese and English
分类: 默认 标签: