12月和1月小记

学而不思则罔,思而不学则殆

12月和1月发生了不少事情, 按流水账方式简单记录总结下~

Read on →

Go语言json科学计数法问题

使用go写了一个很简单的http服务, 大体就是从后端服务取json数据, 程序中判断一下数据中的返回码, 如果ok的话就封装下数据以json格式返回给前端, 如果不ok的话就返回错误. 这里碰到个问题: 返回的json中的数值类型经过我的go应用处理后可能以科学计数法形式传给前端, 数据大概是这样的:

1
2
3
4
5
# 后端返回数据, 1
{"retval": 0, "message": "success", "data": 5678000}

# 经过go程序后, 2
{"retval": 0, "message": "success", "data": 5.678E7}
Read on →
go

Spark Python的一些问题2

继续总结下使用spark的一些问题.

dataframe的一些使用

问题: 如何查看dataframe中的内容?

直接调用df.show()方法

问题: dataframe如何转成rdd?

直接使用row = df.rdd. 注意, 这里的rdd是pyspark.sql.Row类型, 属性访问使用row.xxx.

另外rdd转成dataframe可以用pyspark.sql.SQLContext.createDataFrame方法: df = sqlContext.createDataFrame(rdd)

Read on →

Spark Python的一些问题

再再再一次接触数据分析, 之前的每一次都是无疾而终, 希望这次可以有点产出…

用python来写spark分析程序时最大的两个感受:

  • 蛮方便的
  • python相关的资源相对较少

这里总结一下自己遇到的一些问题和解决办法.

Read on →

Supervisor配合uwsgi部署flask应用

这已经是第N次来部署flask应用了, 但是每次都花了不少时间在配置上面, 这里一次性记录下, 备个忘~

写在前面

其实使用uwsgi来部署flask应用在官网上已经有较为详细的文档了, 推荐先读一下.

Read on →

Mac下的一些小问题

最近遇到了一些mac下经常会碰到的问题, 这里简单记录下解决办法.

问题一: ssh提示

使用ssh登陆一般我们都会在~/.ssh/config配置一些别名, 诸如secret_garden, 方便登陆. mac下有个不爽的地方是无法自动提示我的别名. 一个简单的办法是安装bash-completion. 贴一个详细的帖子. 简单来说需要做两步:

1
2
3
4
5
6
7
# 安装
brew install bash-completion

# 配置, 修改~/.bash_profile文件
if [ -f $(brew --prefix)/etc/bash_completion ]; then
  . $(brew --prefix)/etc/bash_completion
fi
Read on →