太阁x项目-“残酷六月” 小组进度总汇


  • cid:21:privileges:topics:read

    哈咯! 欢迎大家关注我们这一期-“残酷六月” 的进展情况! 我们会在这里每周更新我们各个小组的进度的。

    本期“残酷六月”, 共有73位小伙伴们结成了23个团队,将要完成15个不同项目。到写下这段花的时候我们已经快要结束第二周了。

    我们这一期的时间表如下:
    第一周(5月28日-6月6日)组建团队
    第二周(6月7日-6月13日)第一次团队会议,以及前期准备
    第三周(6月14日-6月20日)项目第一周
    第四周(6月21日-6月27日)项目第二周
    第五周(6月28日-7月4日)项目第三周
    第六周(7月5日-7月11日)项目第四周
    第七周(7月12日-7月18日)完成项目报告及Demo视频录制

    所有小组的情况,以及进度更新如下:

    第1组-Mini App Store
    项目简介:A movie collection web application used Spring MVC, MongoDB,Tomcat, Hibernate and AngularJS
    Github: https://github.com/begdor/Racoon
    第一二周进度:

    • 列表选出组长
    • 列表组员进入BitTigerInst Github Organization
    • 确定队名:Racoon
    • 确定统一的编程语言:JAVA
    • 了解项目框架
    • 创建项目repository,完成项目proposal
    • 完成Scrapy Crawler, 抓取项目所需数据库数据
    • 布置后续任务

    第三周进度:

    • 学习Spring Framework,掌握项目核心模块的整体框架
    • 在IDE下配置Tomcat,并尝试在Tomcat上部署Spring web project

    第4周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第2组-Ads Searching System
    项目简介:用Java实现广告搜索系统
    Github: https://github.com/lijljacklee/ads-searching-system
    第一二周进度:

    • 选出组长
    • 组员进入BitTigerInst Github Organization
    • 确定队名:猴年马月
    • 确定每周会议时间:每周三、周日各开一次会
    • 确定统一的编程语言:Java
    • 确定本次项目的难点,分配论文重点阅读
    • 每位组员提交第一次idea报告
    • 第一次会议:项目管理介绍和整个项目流程梳理
    • 第二次会议:
      • 熟悉workflow,分配模块
      • 分配三天任务阅读内容
      • 配置项目Github
      • 明晰框架:Memcached, Lucence Core

    第三周进度:

    • 向上一期该项目的组员提问相关问题,理清workflow的整体思路
    • 讨论上周每人分配的任务,达成统一意见后把各个模块merge入Repo中
    • 分配了NLP的科研任务,同时寻找可适当添加的项目功能

    第四周进度:

    • 实现了整个workflow
    • 初步设计出少量的输入数据
    • 讨论了添加前端的可能性,给出了Angular JS和Node.JS两个方案
    • 讨论了数据持久层的选择,在本地先选用MongoDB作为本项目的数据库

    第五周进度:

    • 选用了少量有意义的数据,整个项目显示出我们想要的结果
    • 选用Angular JS作为本项目的前端框架,并成功与后台整合

    第六周进度:

    • 与嘉彦老师讨论了本项目中几个不明确的地方,并作改进
    • 清理项目中冗余的代码,使项目更明确美观

    第七周进度:

    第3组-Movie Rating with Collaborative Filtering
    项目简介:通过Apache Spark建立一个Movie Rating的推荐系统
    Github: https://github.com/BitTigerInst/Team-3-Movie-Rating-with-Collaborative-Filtering.git
    第一二周进度:

    • 选出组长
    • 组员进入BitTigerInst Github Organization
    • 确定每周会议时间,每周五晚开一次会议。
    • 确定统一的编程语言: Scala
    • 对Spark和推荐系统做了整体的了解
    • 第一次会议:
      • 项目管理介绍和整个项目流程梳理
      • 布置任务熟悉编程语言Scala
    • 第二次会议:
      • 一起完成团队的proposal
      • 安装配置好Spark环境
      • 布置下周任务,阅读文献和资料,对Collaborative Filtering及常见算法有更深入的了解。

    第三周进度:

    • 安装配置好Spark环境,熟悉并了解Collaborative Filtering中的各种算法与模型
    • 进行了第三次会议:
      • 总结上周工作,对Collaborative Filtering的算法和模型做了大致的总结和归纳
      • 安排下周工作,要求团队每一个人独自建立一套模型,在下周组会之前提交并进行汇总;
      • 模型好坏不重要,任务目的在于了解API并且更深入地了解CF的核心思想,为再下周共同建模分工合作作准备。

    第四周进度:

    • 通过Spark Mllib完成了基本的模型建立,从而熟悉Spark框架和Scala语言环境。
    • 下周目标:建立不同的模型从而获得best model。

    第5周进度:
    第6周进度:
    第7周进度:

    第4组-Movie Rating with Collaborative Filtering
    项目简介:
    Github: https://github.com/BitTigerInst/MovieRating
    第一二周进度:

    • 选出组长
    • 组长新建github repo,并将组员加入
    • 确定每天晚上同步一下信息
    • 了解项目整体背景
    • 了解推荐系统(书籍《推荐系统实战》)
    • 了解Spark(数据《Spark机器学习》

    第三周进度:
    第四周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第5组-Movie Rating with Collaborative Filtering
    项目简介:
    Github: https://github.com/honeybadgerdoesntcare/bt-hollywood.git
    第一二周进度:

    • 同第3组, 区别在:语言python,会议周一三晚,采用docker和kanban.

    第三周进度:

    • 完成了item based movie similarity rating model training and comparison

    第四周进度:

    • Started working on using model to recommend movie to new user, and discussed possible project extension beyond scope (frontend etc)

    第5周进度:
    第6周进度:
    第7周进度:

    第6组-VIP Service Prediction (CloudBrain Challenge)
    项目简介:通过app使用者的历史数据来预测哪些用户有可能购买VIP服务
    Github:
    第一二周进度:

    • 选出组长
    • 组员进入BittigeInstr Github Organization
    • 确定每周会议时间
    • 确定统一的编程语言:Python
    • 确定“独立进行,齐头并进”的项目进行方针
    • 每位组员提交第一次idea报告
    • 第一次会议:项目管理介绍和整个项目流程梳理
    • 第二次会议:
      • 点评每个人的idea报告,并做出总结
      • 进一步讨论idea想法
      • 介绍data science的pipeline
      • 确定github作为唯一的项目管理、会议记录、资料分享的工具
      • 结合data science的pipeline和idea报告确定下周第一个任务:每个人写出自己的项目分析plan
        *确定python notebook作为分析结果和代码分享的主要载体

    第7组-Mini Uber Backend
    项目简介:In this project we will implement a basic solution that addresses the issues of scalability and fault-tolerance by using Uber’s current architecture as an example.
    Github: https://github.com/BitTigerInst/miniUber7
    第一二周进度:
    小组成立,第一次组会,确定方向,下周继续学习,确定系统设计

    第8组-Mini Flickr Android
    项目简介:开发一款安卓应用,用于实时抓取Flickr上的图片在手机上显示,并且可以在搜索栏中利用关键词筛选相关图片,同时也可以实现点击单张照片下载照片和了解照片详情等功能。
    Github: http://github.com/BitTigerInst/BitTiger-MiniFlickr
    第一二周进度:

    • 确定组长和每周会议时间;
    • 组员全部进入BitTigerInst Github Organization,并且建立repositories和team;
    • 确定使用slack项目协助工具;
    • 共同学习kailiang老师教学视频和之前该项目的完成视频,讨论项目大致需求和项目需要用到的各类第三方库;
    • 组员各自搭建安卓开发环境,学习安卓开发基本知识;
    • 第二次开会讨论第三周(项目开发第一周)具体工作:
      • 本周旨在实现一款简洁版的应用,先把大体框架搭起来,后面再逐步完善各项功能;
      • 理清应用各项功能的逻辑,考虑并设计各部分功能的完善工作。

    第三周进度:

    • 完成一个简易版的应用:
      • main activity过后两秒跳转到第二个页面;
      • 在第二个页面中实现一个搜索栏(暂时先不实现具体搜索功能),然后实现利用本地的一张图片每次填充100个grid view,保证在往下滑动的时候可以继续 加载后面100张图片(还是用之前本地的那张图片来填充);
      • 点击每张图片后可以跳转到另外单独的一张详情介绍页面(可以先不实现功能该页面中的功能);
    • 理清应用具体实现细节的逻辑,考虑以下问题,为后面进一步完善应用做准备:
      • 如何创建线程,实现从Flickr网站获取图片,然后将图片填充进grid view,并且实现 连续滑动时可以不断下载图片进行填充的功能;
      • 实现搜索的功能,如何利用关键词筛选出符合要求的图片,并且填充grid view;
      • 在点击单张照片后,要实现哪些功能,例如下载等。
        第四周进度:
    • 第三周目标基本完成,已经实现了应用程序的基本结构,包括:1. 开机页面的显示,并且可以跳转到图片显示页面;2. 在图片显示页面中利用本地的一张图片可以不断填充gridview,并且滑动时可以不断加载。接下来一周将对应用程序的功能进行进一步完善,主要包括:
      • 利用volley第三方库建立网络请求,实现从Flickr网站获取图片,然后将获取的图片填充进grid view,并且可以保证在连续滑动时可以不断获取图片进行填充;
      • 实现搜索功能,利用关键词筛选出符合要求的图片,并且填充grid view;
      • 在点击单张照片后,可以跳转到新的页面单独显示该图片,并且具有下载等功能。

    第五周进度:

    • 完成上周制定的几项任务:
      • 利用volley第三方库建立网络请求,实现从Flickr网站获取图片,然后将获取的图片填充进grid view,并且可以保证在连续滑动时可以不断获取图片进行填充;
      • 实现搜索功能,利用关键词筛选出符合要求的图片,并且填充grid view;
    • 接下来继续完成上周遗留任务,即点击单张照片后,可以跳转到新的页面单独显示该图片,并且具有下载等功能。并且完成整个项目介绍视频的录制。

    第6周进度:
    第7周进度:

    第9组- Mini AppStore with JAVA
    项目简介:用Java和AngularJS开发一个web应用,展示App的排名和详细信息
    Github: https://github.com/BitTigerInst/Tiger-AppStore
    第一二周进度:

    • 确定组长,使用Skype召开了第一次团队会议,并确定每周会议时间。
    • 在Github上更新了proposal,对整个项目做了明确规划。
    • 在Trello上建立board,团队成员在Trello上更新自己的进度。
    • 确定平时沟通交流渠道: 微信和google hangout(chat).
    • 组员学习了Wu Qun老师的demo视频。
    • Debug source codes, appstore成功运行在spring boot embedded tomcat localhost.

    第三周进度:

    • 确定分工合作学习spring framework, spring boot等项目相关知识点.
    • 完成部分spring boot style back end java codes.
    • 讨论项目扩展思路,头脑风暴。
    • 学习了JDBC,Hibernate, EJB的基本概念与用法

    第四周进度:

    • 部分代码实现spring boot and JPA style
    • 头脑风暴项目扩展,决定尝试爬虫爬取新的数据,用mongodb取代mySQL

    第5周进度:
    第6周进度:
    第7周进度:

    第10组-Mini AppStore with JAVA
    项目简介:用java实现一个mini app store
    Github: https://github.com/BitTigerInst/AppStore
    第一二周进度:
    选出组长
    组员进入BittigeInstr Github Organization
    确定每周会议时间
    讲项目分工明细,分成前端后台两个部分
    后台分工3块,大家开始编写代码。
    制定了更短的时间规划表
    第一二周进度:

    • 选出组长
    • 组员进入BittigeInstr Github Organization
    • 确定每周会议时间
    • 讲项目分工明细,分成前端后台两个部分
    • 后台分工3块,大家开始编写代码。
    • 制定了更短的时间规划表

    第三周进度:

    • 实现后台部分代码
    • 开始编写前端代码

    第四周进度:

    • 完成后台部分代码,加入login 功能
    • 前端实现login网页
    • 开始实现网页验证环节
      第5周进度:
      第6周进度:
      第7周进度:

    第11组-Web Crawler Scrapy
    项目简介:学习并使用Scrapy实现一些爬虫projects
    Github: https://github.com/BitTigerInst/-11-WebCrawler-Group
    第一二周进度:

    • 确认小组组长以及日后会议时间
    • 已经加入GitHub Group
    • 制定了日常讨论议题
    • 大致已确定接下来的目标方向及项目 (从易到难)
    • 组内成员为平行结构进行项目实现,如果项目较难会采取分工合作
    • 每周一或周二会收集各类问题并统一进行讨论和询问(小问题时间随意)
    • 本周任务:理解视频内容并跟做一遍,尝试理解每行代码所实现的功能

    第三周进度:

    • 仍在进行华为App的学习,这个过程当中对code有很多的疑问并进行的相关讨论,可以爬出各类信息但并不完全且有排序的问题。对code的整体框架进行了讨论,由于大家都不是主学scrapy的,所以对每行代码仍然还处于摸索阶段

    第四周进度:

    • 通过会议又了解了一下组员的情况,大家对于scrapyjs比较陌生,所以目前的主要任务是学习并完成scrapyjs里面的内容,如更改IP地址。如果一切顺利,将开始抓取类似于“小米app”网站的信息。
      第5周进度:
      第6周进度:
      第7周进度:

    第12组- Web Crawler Scrapy
    项目简介:用Scrapy爬取app商店页面信息
    Github: https://github.com/BitTigerInst/-12WebCralwer
    第一二周进度:

    • 已完成本周的会议。
    • 学习如何利用github来团队工作。
    • 分享对项目内容的理解,共享有价值的资料。
    • 组员们工作环境搭建和背景知识(python)补充完成。
    • 已确定下一周的工作目标(实现项目的first stage,完成单个页面的爬取工作)。
    • 分析讨论下一步会遇到的挑战及可能的解决方案(去重、动态网页)。

    第三周进度:

    • 已完成预订本周计划并交流讨论各自遇到的问题和收获。(爬取主页的信息并保存到mongoDB上)
    • 制定了下一周的任务目标,即完成项目目标(爬取小米APPstore内所有应用的信息)

    第四周进度:

    • 部分同学已完成项目目标,交流并分享经验和收获。
    • 下周任务:完成的项目任务的同学开始写readme,未完成的同学继续完成。
    • 探讨了下一步可以更深一步学习的方向,有兴趣的组员各自完成。

    第五周进度:

    • 已经完成任务,并写好readme,汇总好各同学的结果即可。
      第6周进度:
      第7周进度:

    第13组-Web Crawler Scrapy
    项目简介:
    Github:
    第一二周进度:
    第三周进度:
    第四周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第14组-Web Crawler Scrapy
    项目简介:用Scrapy爬取app商店页面信息
    Github: https://github.com/BitTigerInst/HealthyWebCrawler-T14
    第一二周进度:

    • 确定组长
    • 建立BittigerInst repo 并 fork 到组长site, 组员work on different branch
    • 建立Slack和Taiga Kanban board 等项目协助工具
    • 商量讨论完成proposal
    • 开始用xpath和beautifulsoup 进行任务第一项 爬 app store list page
    • 确立下一次开会时间

    第三周进度:

    • Crawler spider script 完成 (增添了许多detail page 的内容)
    • 写入MongoDB成功
    • 下周用ElasticSearch建立 Index
    • 下周用Javascript框架 建立前端 实现rank list display 和search 功能

    第四周进度:

    • 有组员完成了MongoDB和ES 连接
    • 有组员完成了node.js 后端(express 框架)与ES 连接
    • 下周互相借鉴 全部完成 mongo-DB <->ES <-> node.js 连接
    • 下周用react.js实现前端 ranking display和search 功能
      第5周进度:
      第6周进度:
      第7周进度:

    第15组- App Reccomender
    项目简介:App 推荐是 app store 的一个很重要的功能,一个app推荐系统能够根据用户以往的使用历史来帮助用户,推荐给用户相似或者相关的app。在这个项目里我们使用 Python 和 MongoDB 来实现推荐系统。
    Github: https://github.com/zhongdongqi/AppRecommender.git
    第一二周进度:

    • 确定组长
    • 讲组员的 github 拉进 BitTigerInst
    • 开展组会,讨论项目的内容、实现的架构和算法、目前的分工
    • 撰写了项目 proposal 初稿

    第三周进度:

    • 学习MongoDB和PyMongo的使用和配置
    • 讨论推荐算法的使用,选择较简单实用的算法
    • 初步实现相似度计算的代码第四周进度:

    第四周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第16组-Parking Prediction (Smarking Challenge)
    项目简介: 全栈的数据科学项目。通过数据分析和机器学习方法对车辆进出的历史数据来预测将来每个小时车库里的停车数量,并对预测的结果以及对应的数据进行可视化和网页展示
    Github:
    第一二周进度:

    • 确定组长
    • 确定每周会议时间
    • 拉进组员到BittigerInst Github Organization
    • 确定统一的编程语言:Python
    • 确定“独立进行,齐头并进”的项目进行方针
    • 对Bittiger里“Data Science全栈开发”项目进行学习,进一步了解整个项目细节上的流程以* 及需要学习的知识和工具
    • 第一次会议:项目管理介绍和整个项目流程梳理
    • 第二次会议:
      • 共同梳理项目视频里的data science pipeline,并用引导性方式去思考数据科学基本流程需要关注的点(预处理、feature engineering、cross validation等等)
      • 大家共同对数据本身提出假设和问题,并且思考有可能有用的feature
      • 确定github作为代码存放工具、trello作为项目管理工具、google drive作为资料存放工具
      • 结合data science的pipeline和idea报告确定下周第一个任务:每个人写出自己的项目分析plan
      • 确定python notebook作为分析结果和代码分享的主要载体
    • 第一、二次会议结束后都有笔记总结

    第三周进度:

    • 着手分析过程
      • 学习源码
      • 数据清洗,预处理,构造所需数据形式
      • 探索式可视化分析,初步得到4个结论
      • 针对 Feature Selection,Cross Validation,模型选择,模型评价 提出7个问题
      • push了两部分的代码
    • 第三次会议:
      • 提出目前协作方式存在的问题:现在的独立进行的方式没有达到齐头并进的预期
      • 商定解决方案:有问题直接在群里提问,大家共同解决;任务分工更具体明确细化;创建公共资源文档,记录常用知识技术
      • 针对分析过程中遇到的问题,cc给予解答,并指出其他需要注意的部分
      • 会议笔记更新到Github

    第四周进度:

    • 边做项目边学习ML课程
    • 训练模型初步得到score=0.9
    • 第四次会议:
      • 下周任务:可视化&提高精度,应用时间序列分析等方法
      • 学习 ensembling,parameter tuning,和D3等可视化方法

    第五周进度:

    • 对周别数据进行多项式拟合,采用RANSAC,inlier的分数达到0.91
    • 对日别数据进行时间序列预测中
    • 用D3进行网页可视化开发中
    • 下周任务:
      • 可视化网页开发完成
      • 最终预测模型完成,尽量把精度提高到目标值
        第6周进度:
        第7周进度:

    第17组-Ads Searching System
    项目简介:In this project, we will implement a simplified search ads stack which selects ads for a given query and returns sorted ads based on some ranking criteria.
    Github: https://github.com/BitTigerInst/SV17—Ads-Search-System.git
    第一二周进度:

    • 搜索资料学习, 建立Git,开展第一次会议;

    第3周进度:
    第4周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第18组-Language Processing (CloudBrain Challenge)
    项目简介:通过阅读“Modeling Order in Neural Word Embeddings at Scale”来对词序在传统的word2vec模型进行建模,来重新实现里面的算法,并与benchmark进行对比。
    Github:
    第一二周进度:

    • 每个人递交对于论文的了解

    第3周进度:
    第4周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第19组-TODO Page with AngularJS
    项目简介:Implement a TODO list web application
    Github: https://github.com/BitTigerInst/todolist-group19.git
    第一二周进度:

    • 确定组长
    • 拉组员进Github Repositories
    • 确定第二周的任务是每人按照项目的instructions实现一遍应用。

    第三周进度:

    • 入门angularjs
    • 完成项目要求的基本功能
    • 讨论添加三项新功能:任务分离、子任务、简易markdown编辑器
    • 讨论应用的基本呈现样式为三栏式布局

    第4周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第20组-App Store with MeteorJS
    项目简介:
    Github: https://github.com/z502185331/BitTiger-AppStore
    第一二周进度:

    • 了解学习meteojs架构
    • 理解demo的代码
    • 修改并且实现了 app 根据被推荐次数排序(完成了项目给出的任务)
    • 重新设计主页和应用细节页面
    • 讨论爬虫爬取的数据内容
    • 学习并讨论blaze和react两种设计模式的优劣,并选择react

    第三周进度:

    • 完成爬虫程序,爬取华为应用商店 应用信息
    • 设计并完成部分网页界面
    • 设计并完成部分后台服务器

    第四周进度:

    • 爬取真实app信息900条, 并储存与MongoDB
    • 设计app 页面,展示app 名称, 评分, 下载量, 截图,简介,推荐应用
    • 设计app 首页,展示app列表, 名称, 简介, 以及下载按钮

    第五周进度:

    • 链接首页及app细节页面
    • 设计导航栏
    • 处理后台publish 和subscribe的链接

    第6周进度:
    第7周进度:

    第21组- IOS Mini Flickr (MeeLink Challenge)
    项目简介:
    Github: https://github.com/dfchen6/iOS-Mini-Flickr
    第一二周进度:

    • 确定需要实现的基本功能
    • 添加Search bar
    • 学习Flickr API

    第3周进度:
    第4周进度:
    第5周进度:
    第6周进度:
    第7周进度:

    第22组-朋友圈
    项目简介:全栈的朋友圈应用。用图结构存储所有用户的关系网络,再用超炫的force graph实现数据可视化。谁是谁的谁,一目了然。

    Github:
    第一二周进度:

    • 制定了计划表,完成了数据可视化的research. 下周开始写code。
      第三周进度:
    • 建立node服务器,完成mongoDB数据库schema设计。
      第四周进度:
    • 完成并测试完成后端CRUD controller所有功能。
      第5周进度:
    • 完成d3.js 绘图函数设计,实现node-edge的实时可视化。
      第6周进度:
    • 完成项目在linux服务器上的部署。为新建用户随机产生头像。新增最受欢迎用户的实时排名。
      第7周进度:

    第23组- 太阁GitHub项目榜
    项目简介:针对太阁GitHub项目做一个活跃度排名
    Github: https://github.com/hackjustu/Github-RepoRanking-Crawler
    第一二周进度:建立Repository,找队友一起学习GitHub v3 API并讲解基本爬虫原理


登录后回复
 

与 BitTiger Community 的连接断开,我们正在尝试重连,请耐心等待