??? ????? data science ? ??? ???????? ????????? ??????

Data science ???????????? ????? ????????????????? ????? ??????, ??????? ??????????? ??????????, ??????????, ???????????????? ? ?????????? ????????????. ????????????? ???????? ?????? ??????? ?? ???????????? ????????? ????????, ????????? ??????? ?????? ? ?????????. ???????? ????????? ????? ??????? ??? ????????? ???????????? ??????? ? ??????????? ?????????.

????????? ?????? ????????????? ? ?????????? ???????? ??????????: ?????? ??????, ?????? ????????, ??????? ???????. ????????????? ???????? ???????? ??????, ????????? ?? ?? ???????????, ????? ?????????? ?????????????? ??????? ??? ??????????? ???????????????. ??????? ???????????? ???????????? ???????, ???????? ????????????? ? ????????? ??????.

???????? pin up ????????? ?? ???????????? ???????? ??????? ???????????????? Python ??? R, ?????? SQL ??? ?????? ? ?????? ??????. ??????????? ??????? ?????????? ??????, ????? ?????????, ?????????? ?????????? ? ????????? ?????????????. ?????????? ???????? ???????????? ????????? ???????? ????? ? ???????????????? ???????? ???????.

??? ?? ?????? ????? ? ?????????????? ????? ??? ????????. ????? ?????????? ????????? ??? ??????????? ??????, ????????? ????????????? ???????????, ??????????? ??????????? ????????? ???????????? ????????? ???????.

????? data science ? ??? ??????

??????????? ????? ? ?????? ????????? ??? ??????????: ?????????????? ??????????, ?????????????? ?????????? ? ????????? ?????????? ???????. ?????????? ???????????? ???????????? ???????? ? ??????? ????????. ???????????????? ??????????? ????????????? ????????? ??????? ?????????. ?????????? ? ???????????? ??????? ???????? ????? ???????????????? ??????.

???????? ?????? ????????? ??????????? ? ????????????? ?????????????? ?????? ? ?????????? ???????????. ???????? ?????????? ??????? ??? ?????? ????????????? ?????????, ??????? ?????????? ??????, ??????????????? ??????? ?? ?????????. ??????????? ????????? ???????????? ?????? ??? ????????? ????? ?? ???????? ????????????????.

???????????? ?????? ??? ?? ???????? ??????? ?????? ????. ???????????????? ????????? ?????????? ??????? ?? ?????????? ??????????? ????????. ??????? ????????? ????? ??????????? ???????? ??? ??????????? ???????????? ????????????. ????????? ????????? ???????????? ????? ???????? ???????? ?? ????????? ??????.

????????????? ?????? ???????? ????????????????? ???????. ????????????? ??????????? ??????????? ??? ?? ?????? ??? ?????????? ?????????????? ????????? ?????????. ???????????? ?????? ????????????? ????? ? ?????. ??????????? ???????? ????????? ??????? ??????????? ???????? ? ????????? ??????? ????????.

???? ????????? ?????? ? ????????

???????? ?????? ????????? ??????? ?????????? ???????? ????? ???????????????? ?????????? ? ??????-???????????????. ???????????? ?????????? ??????? ?????????? ?? ???? ??????? ??? ?????????????. ??????? ?????????? ??????? ? ????????? ??????, ???????? ????????? ?????? ? ????????? ????????.

?? ????? ???????????? ??????? ????????? ??????????? ? ??????? ?????? ??? ??????? ???????????????? ??????. ???????????? ????????? ???????? ????????, ???????? ??????????? ?????????????? ???????. ??????? ????????? ? ?????????? ????????? ????????????? ?????????? ? ?????????? ??? ??????????? ???????????.

? ???????? ????????? ???????? ???????????? ?????? ??????????, ?????????? ????????????? ?????? ? ?????????????? ?? ??????????????? ????????. ?????????? ????????? ??????? ????????? ??????????, ???????????? ???????? ?????????? ???????. ??????? ? ????? pin up ????????? ???????? ? ???????????? ?????????? ?????????? ?? ????????? ???????.

???????? ???? ???????? ????????? ??????? ??? ???????????????? ??????. ???????? ??????? ??????? ? ?????????, ??????????? ??????????????? ?????? ??? ??????? ?????????. ?????????? ????????? ?????????? ??????????? ?? ????????? ????????. ??????? ???????? ? ?????????? ?????????????? ????????????? ???????????.

????????? ? ???? ??????

??????????? ???????? ??????????? ?????? ?? ???????????? ??????????. ?????????? ??????? ?????????? ?????????????? ?????? ? ???????????, ?????????????? ????????, ???????? ???????????. ???-????????? ???????????? ???????? ????????????? ????????: ???????? ???????, ?????, ????? ???????. ????????? ??????? ????????? ???????? ???????? ? ??????????????.

????????? ????????? ???????????? ?????????? ????????? ??? ????????????. ?????????? ????????? ?????? ???????? ???????? ? ???????. ????????? ????????????????? ???? ??????????? ???????? ?? ????????? ? ???????????????. ??????????? ???????? ???????? ??????????? ? ?????? ???????????? ????????.

?? ??????????? ???????? ??????????????, ????????????????????? ? ??????????????????? ????????. ?????????????? ?????? ???????? ? ??????????? ?????????? ? ?????? ???????????? ??????. ????????????????????? ????????? ???????? JSON ? XML ?????. ??????????????????? ?????????? ?????????? ???????????, ?????????????, ?????, ?????????????.

??????????? ??????????????? ? ????????? ? ????????????? ?????? ??????????. ???????? ?????????? ???????????? ???????: ??????? ????????????, ???????? ??????????, ????????????? ????????. ???????????? ?????????????? ?????????? ??????: ??? ???????, ???? ????????. ????????? ?????????????????? ???????????? ???????? ??????????? ? ????? ??? ?? ?? ?????????? ??????????? ??????????.

?????? ????????? ? ?????????? ????????

????????? ?????? ???????? ???????? ? ????????? ? ?????????? ?????????? ?????????. ????????????? ????????? ????????? ????????????? ??? ??????????? ????????????? ????? ? ????????. ???????? ??????? ?????????? ????????? ? ????????? ???????? ?????????????? ?????? ? ??????????? ???????? ??????.

?????? ????????????? ?????????? ????????? ??????????? ???????????? ???????? ?? ???????????. ??????????? ??????????? ??????? ????????? ??? ??????????? ?????: ??????????? ????????, ??????? ??? ???????? ??????? ?????????. ???????? ?????????? ????????????? ?????? ??? ???????????? ????????????? ?????? ?? ?????? ?????? ???????. ? ????????? ????????? ?????? ? ???????? ????????????? ???????.

????????? ???????? ? ???????? ???????? ?????? ?? ?????????? ??????. ???????? ?????????? ?????????????? ???????: ?????????????? ????????, Z-??????, ???????? ???????????? ????. ???????? ? ??????? ??? ?? ?????? ?????????????, ???????? ?? ??????? ???????????? ????????? ??? ????????? ?????????????? ???????????, ?????????? ?????????? ????????.

???????????? ? ?????????????? ???????? ?????????? ? ?????? ?????????. ????????? ?????????????? ????????? ???? ? ??????? ????????, ??????????????? ???? ??? ? ??????????????. ?????????????? ???????? ?????????????? ? ????????????? ?????????? ??? ?????????? ???????????????? ?????????? ????????? ????????. ?????????????? ?????????? ?????????? ????????? ??????????? ????? one-hot encoding ??? label encoding.

?????? ?????????? ? ?????????? ???????

??????????? ?????? ???????? ?????????? ????? ???????? ???? ??????? ??????. ????????? ????????? ????????????? ??????????: ???????, ???????, ??????????? ??????????. ??????????? ????????????? ??????????? ????????????? ??????????, ??????? ????????? ??? ??????????? ????????????. ????????????? ????????? ?????????????? ??????? ??? ?????????? ????????????.

?????????? ???????????? ??????? ?????????? ? ?????? ??????????? ??????. ??? ??????? ????????? ????????????? ???????? ?????????, ??????? ???????, ??????????? ???????. ???????? ????????????? ???????? ? ??????? ????????????? ?????????, ?????????? ????, ????????? ?????. ??????????? ????????? ?????????? ?? ????????????? ? ???????? ???????.

?????????? ?????? ???????????? ????????? ????????? ????????????? ?????????. ??????????? ??????????? ?????-????????? ??? ???????? ???????????? ???????. ????????????? ????????? ?????????????? ????? grid search. ???????? ?????????? ??????? pin up ??? ????????? ????????????: ?????????????, dropout, early stopping.

??????????? ???????? ?????? ?????????????? ? ??????? ???????????, ??????????????? ???? ??????. ??? ????????? ??????????? ??????? ?????????? ??????????? ? ??????????? ????????????. ????????????????? ?????? ??????????? ????? ????????, ???????, F1-????. ??????????? ??????????? ?????????? ????????? ??? ????????? ?????????, ?????????????? ?? ????????.

???????? ? ?????????? data science

Python ?????????? ???????? ???????????????? ?????? ???????????????? ??? ???????????? ????????. ?????????? Pandas ????????????? ?????????? ?????????????? ? ?????????? ????????????? ? ?????????? ??????. NumPy ???? ???????? ??? ?????????????? ???????? ? ???????????? ????????. Scikit-learn ???????? ??????? ????????????? ?????????? ??????????????? ???????? ??? ?????????????, ?????????, ???????????.

???? R ?????? ????????????? ? ?????????????? ??????? ? ????????????? ?????????????. ???????? ?????????? ?????????? dplyr ??? ??????????? ? ???????, ggplot2 ??? ???????????? ????????. ???????? ???????? R ??? ??????????? ?????????????? ????????? ? ?????????????????? ????????.

SQL ?????? ???????? ??? ?????????????? ? ???????????? ??????????? ??????????. ????????? ???????? ?????? ?? ????????, ???????????? ???????????? ? ??????? ??????. ????????????? ????????? ??????? ??? ?????????? ????????? ? ??????????? ??????????. ??????????? ??????? ???????????? ??????? ???????? ? ??????? ??? ?? ??? ?????????? ??????? ???????.

??????? ??? ?????????????? ? ???????? ??????? ?????????? Apache Spark, Hadoop, Apache Flink. ???????? ?????????????? ???????? ???????????? ????????? ?????????? ?? ??????? ????????. ???????? ????????? AWS, Google Cloud, Azure ???????????? ??????? ??????????????. Jupyter Notebook ???????????? ????????????? ????????? ??? ?????? ? ????? ? ???????????????? ????????????.

???????????? ?????? ? ?????????

????????????? ?????????? ?????????? ??????? ???????? ?????? ? ???????? ?????????? ?????. ???????? ?????????? ??? ????????? ? ??????????? ?? ???? ?????????? ? ????? ?????????????. ?????????? ??????? ?????????? ?????????, ???????? ????????? ???????????? ???????? ?????????. ???????? ??????? ????????????? ????????? ??????, ???????? ????? ????????????? ????????? ?????????????.

????????????? ?????? ????????????? ?????????? ?????? ? ??????? ??????????? ????????. ??????????? ??????? ?????? ? ????????? ??? ?????????? ???????? ????????. ????????????? ????????? ???????? Tableau, Power BI, Plotly ??? ???????????? ????????????? ??????????. ????????? ??????????? ?????? ?????????? ? ???????? ?????????????? ? ?????? ????????? ???????.

???????????? ????????????? ??????? ???????????? ???????????????????? ????????????? ??????????? ????????????. ???????? ???????? ???????? ??????-??????, ??????????? ???????, ?????? ? ???????. ????????????? ?????????? ??????? ??????????? ??? ??????? ???????. ??????????????? ????????? ???????? ????????????? ???????? ?????????? ? ?????? ???????? ? ????? ??? ?? ?????? ??? ??????? ????????.

??????????? ??????????? ???????????????? ?????????? ??????????? ????????????? ??????. ???????? ??????? ??????????? ????????? ? ??????? ?? ???????????? ?????????? ???????. ???????? ??????????? ?????????? ???????? ??? ????????? ??????????? ? ??????-????????.