这个随笔, 也就是随笔, 写到哪, 算哪。
今天要处理一批数据 2015年, 2016年的股票数据, 总共有150万个文件,文件需要做加工处理。
从记录数上 15亿条 上应该有的, 比我以前服务的公司生产的数据还要略大。
现在是 9:00 , 开启程序, 预计要处理 24 小时。 晚上来收,也许要到明天了。
昨天用深度神经网络训练一个模型, 训练100轮, 每轮 240秒左右, 共 400分钟, 7 个小时左右, 昨天下午开始训练, 昨天晚上看到结果。 这种训练 GPU比 CPU效率更高。
工业时代, 机器呼呼呼生产产品
信息时代, 计算器呼呼呼生产信息产品 数据做为基础原料,生成 有用的业务信息。 我自购的 近万的台式电脑, I5 +32G + 1060显卡(6G显存) , 对于企业来说简直是9牛1毛。对于我来说 这个机器能做很多事。 是我的生产工具,得力助手。 硬件越来越便宜, 能够指挥机器集群做事的人 越来越重要, 也会越来越便宜, 或许 他们都会成为新一代的 蓝领 。 我想表达什么呢? 1. 有了机器的协助, 个体可以处理亿级的 数据。 2. 人的脑袋 是指挥 集群海量机器的宝贵财富。