数据分析团队培养是数字化转型关键一环
数字化转型不是上一堆系统！不少企业都嚷嚷着要数字转型，还有一些挂牌已经转型成功，毕竟人家有一面电视墙的dashboard，还新上了标签还热乎乎的各类IT系统，这些新瓶装旧酒的做法本质还是皇帝新衣。 关于数字化转型不想多说，说多会被扔砖头。（白菜，西红柿，鸡蛋疫情期间不会有人扔的）。今天只谈谈数字化转型中很重要一个环节，也是决定做数字化转型初期就要考虑的事情—组建专业的数据分析团队。 这个队伍很难建，人不好找，还挺贵， 一问薪资基本都会疑惑：现在工资这么高了吗？ 同时人员也良莠不齐， 有些玩Excel玩得好的这时候也转行了，有些代码写的不太好的，测试做烦的也纷纷想转， 网上各路的Python培训也来了，大标签（学会Python就如何如何）， 连潘石屹都开始学python，老潘，你学这个到底想干啥！ 难，贵， ..
更多
数据的一些观点
Data integrity at the origin先引一段文字表述一下核心观点： 今天，许多组织对如何解锁用于分析的数据的解决方案是建立迷宫般的数据管道。管道从一个或多个数据源检索，清理，然后转换数据并将其移动到另一个位置以供使用。这种数据管理方法通常会让使用数据的管道承担一项困难的任务，即验证入站数据的完整性，并构建复杂的逻辑来清理数据，以满足所需的质量级别。根本的问题是，数据源没有为其消费Data integrity at the origin者提供高质量数据的动机和责任。出于这个原因，我们强烈主张从源头保证数据完整性，我们的意思是，任何提供可消费数据的源都，必须明确地描述其数据质量的标准，并确保这些标准。这背后的主要原因是，原始系统和团队最熟悉他们的数据，并且最适合在源头修复它。数据网格架构..
更多
给大家介绍一个数据What-If Tool
机器学习世界的研究重点稍微从探索“模型 能够理解什么”，转向了研究“模型是如何理解的”。由于人们担心引入偏差，或者过度泛化模型的适用性，因此开发出了What-If Tool（WIT）这样的工具。这个工具可帮助数据科学家深入研究模型的行为，并将各种功能和数据集对输出的影响进行可视化。WIT由Google引入，简化了比较模型、切片数据集、可视化构面和编辑单个数据点等任务，并可以在Tensorboard 或Jupyter notebooks中使用。尽管WIT可以帮助执行分析，但研究者仍然需要对模型背后的数学 和理论有深刻的理解。WIT只是数据科学家 用来深入了解模型行为的工具，对于使用不当或缺乏训练不佳的算法，初级用户不应奢望有任何工具可以消除或减轻其风险或造成的损害。 在数据中我们对What-If充满了好奇，总..
更多
SQLAlchemy给做传统数据库数据持久化
有的时候简单就是美，For the work I do, where Jupyter running Python 3 notebooks with Pandas and SqlAlchemy is enough, I prefer to use the “pure Python” method, because the tools are well understood and well supported, and a tremendous amount of work has been done by the Python community to make the tools work well on Windows. And if I ever am working on a large eno..
更多