记一次云南之旅

今年春节和爸妈一起回了云南, 过了一次特别有意思的年. 发生了不少出乎意料的事情, 简单记录一下, 图一乐;)

这是我第三还是第四次去云南了. 每次春节期间去云南最纠结的是交通: 一来需要考虑假期与时间, 二来需要考虑成本. 我现在可以真切感受到家在旅游城市的同学过年回家的苦恼: 票真的难买, 旅途真的漫长, 价格真的很高. 不过每次到了昆明心情都会变得很愉快(或许是天气和空气的原因).

Read on →

12月和1月小记

学而不思则罔,思而不学则殆

12月和1月发生了不少事情, 按流水账方式简单记录总结下~

Read on →

Go语言json科学计数法问题

使用go写了一个很简单的http服务, 大体就是从后端服务取json数据, 程序中判断一下数据中的返回码, 如果ok的话就封装下数据以json格式返回给前端, 如果不ok的话就返回错误. 这里碰到个问题: 返回的json中的数值类型经过我的go应用处理后可能以科学计数法形式传给前端, 数据大概是这样的:

1
2
3
4
5
# 后端返回数据, 1
{"retval": 0, "message": "success", "data": 5678000}

# 经过go程序后, 2
{"retval": 0, "message": "success", "data": 5.678E7}
Read on →
go

Spark Python的一些问题2

继续总结下使用spark的一些问题.

dataframe的一些使用

问题: 如何查看dataframe中的内容?

直接调用df.show()方法

问题: dataframe如何转成rdd?

直接使用row = df.rdd. 注意, 这里的rdd是pyspark.sql.Row类型, 属性访问使用row.xxx.

另外rdd转成dataframe可以用pyspark.sql.SQLContext.createDataFrame方法: df = sqlContext.createDataFrame(rdd)

Read on →

Spark Python的一些问题

再再再一次接触数据分析, 之前的每一次都是无疾而终, 希望这次可以有点产出…

用python来写spark分析程序时最大的两个感受:

  • 蛮方便的
  • python相关的资源相对较少

这里总结一下自己遇到的一些问题和解决办法.

Read on →

Supervisor配合uwsgi部署flask应用

这已经是第N次来部署flask应用了, 但是每次都花了不少时间在配置上面, 这里一次性记录下, 备个忘~

写在前面

其实使用uwsgi来部署flask应用在官网上已经有较为详细的文档了, 推荐先读一下.

Read on →