• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • 服务器被挖矿程序抓成肉鸡了，大神们，求支招
    Experiences and Insight 1w views · 45 replies ·
    Tofloor
    poster avatar
    pow
    deepin
    2018-01-03 18:18
    Author
    公司的几台linux服务器最近发现cpu进程占用非常高，经过查询，发现是一个名叫java的进程。实际本机并未安装java的相关程序。可能是别的东西伪装成了java的相关文件。在防火墙上查看，发现服务器一直持续的向外发送数据包，统一特点是均链接对方的80端口。本地文件搜索查找，定位出了risktool.linux.lv这样的文件。google查询得知，是一种挖矿软件植入的病毒。换句话说，我们的服务器已经成了肉鸡了。
    大神们，有没有人遇到过类似的情况，或者解决过，请给支个招，怎么才能彻底查杀清楚掉类似的程序文件。或者有比较好的工具，欢迎推荐。

    Reply Favorite View the author
    All Replies
    1 / 3
    To page
    avatar
    卷毛龙
    deepin
    2018-01-03 18:35
    #1
    想知道楼主您是怎么分析出来的？我也想检查下我的服务器，感觉也不太对劲，但说不出来。。。
    Reply View the author
    avatar
    duanyao
    deepin
    2018-01-03 19:06
    #2
    通过 ls -l /proc//map_files/ 可以看到该进程实际加载的可执行文件和动态库。不过如果有意伪装的话这招也可能没什么用。

    然后就是排查开机自动运行的脚本以及可能启动其它程序的脚本、配置文件了，具体是哪些则取决于你们的系统。这个可能比较繁琐，如果你们有备份，可以直接diff。

    然后校验所有安装的软件包没有被修改，如果是rpm：
    http://ftp.rpm.org/max-rpm/s1-rp ... RPM-VERIFY-A-OPTION

    当然，最简单的清除方法其实是重装系统。如果你们用的是虚拟机且有以前正常的备份/快照，那就很简单了。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 19:09
    #3
    https://bbs.deepin.org/post/151059
    通过 ls -l /proc//map_files/ 可以看到该进程实际加载的可执行文件和动态库。不过如果有意伪装的话这招也 ...

    不可能重装的。上面跑的有业务。而且月初正是企业上报的关口。就连java那个文件的真伪，现在我们都保持谨慎态度，不敢擅自删除。自动任务里面能看到它是不是会起来。
    详见下文：
    [roothttps://bbs.deepin.org/user/72751 ~]# /etc/rc.local
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100  1557  100  1557    0     0   2495      0 --:--:-- --:--:-- --:--:--     0
    --2018-01-03 10:10:03--  http://45.77.106.29/rootv2.sh
    Connecting to 45.77.106.29:80... ӑl½ӡ£
    ӑ·¢³
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 19:11
    #4
    本帖最后由 pow 于 2018-1-3 11:14 编辑

    ³¤¶ȣº1557 (1.5K) [application/octet-stream]
    Saving to: `/etc/rootv2.sh.2'

    100%[====================================================>] 1,557       --.-K/s   in 0s      

    2018-01-03 10:10:04 (135 MB/s) - `/etc/rootv2.sh.2' saved [1557/1557]

    /usr/local/jiangmin/monitor.sh: line 6: 15018 ӑɱ̀                  ./supports/jre1.6.0/bin/java -jar ./Cncert.jar
    vm.nr_hugepages = 128

    Reply View the author
    avatar
    duanyao
    deepin
    2018-01-03 19:16
    #5
    本帖最后由 duanyao 于 2018-1-3 11:21 编辑
    https://bbs.deepin.org/post/151059
    不可能重装的。上面跑的有业务。而且月初正是企业上报的关口。就连java那个文件的真伪，现在我们都保持谨 ...

    你这是什么的输出？

    所以你们的应急预案似乎不够啊。
    最好是用虚拟机跑实际业务，做好备份。需要重装或升级系统时，可以开另一台虚拟机做，完成以后重启替换。重启可以安排在不繁忙的时段，比如深夜。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 19:25
    #6
    https://bbs.deepin.org/post/151059
    想知道楼主您是怎么分析出来的？我也想检查下我的服务器，感觉也不太对劲，但说不出来。。。 ...

    1、在防火墙上查看该服务器IP上的链接数和链接详情；（一般为指向某个外网IP的80端口）
    2、查cpu进程（top命令）。针对高占用资源的进程，查找对应的资源文件（ps -ef | grep 进程ID或者进程路径）。
    cd 开该路径下的文件，查看修改日期，权限是否跟原始版本一致。
    3、通过排查/etc/rc.local 内容是否有开机自启。（自启内容跟我回复楼下的内容差不多）
    4、步骤2中查到的文件，如果确认本机安装的应用未调用，可以删除。再过10--15分钟查看开启自启任务是否有额外的任务。
    5、google搜索相关，吧啦吧啦。。。。。
    就这么做的。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 19:36
    #7
    https://bbs.deepin.org/post/151059
    你这是什么的输出？

    所以你们的应急预案似乎不够啊。

    本来就是虚机啊。4台并列工作的。现在3台带病。日了吉娃娃了。
    我这个是查询开机自启动的输出。显示一直有一个链接持续Connecting to 45.77.106.29:80。就这个东西在作怪。结合网上搜的资料，才判定是挖矿程序。
    Reply View the author
    avatar
    comzhong
    deepin
    2018-01-03 19:39
    #8
    pow 发表于 2018-1-3 11:36
    本来就是虚机啊。4台并列工作的。现在3台带病。日了吉娃娃了。
    我这个是查询开机自启动的输出。显示一直 ...

    先把ip封了再慢慢搞吧
    Reply View the author
    avatar
    152******45
    deepin
    2018-01-03 19:43
    #9
    看起来好危险的样子……小白不懂，祝你好运。
    Reply View the author
    avatar
    fiercerich
    deepin
    2018-01-03 19:45
    #10
    没有部署ngfw？？
    Reply View the author
    avatar
    司南
    deepin
    2018-01-03 19:59
    #11
    http://m.blog.chinaunix.net/uid-20638738-id-1909123.html
    Reply View the author
    avatar
    司南
    deepin
    2018-01-03 20:00
    #12
    sinan 发表于 2018-1-3 11:59
    http://m.blog.chinaunix.net/uid-20638738-id-1909123.html

    参考这个，调整进程运行优先级试试
    Reply View the author
    avatar
    duanyao
    deepin
    2018-01-03 20:05
    #13
    本帖最后由 duanyao 于 2018-1-3 12:10 编辑
    https://bbs.deepin.org/post/151059
    本来就是虚机啊。4台并列工作的。现在3台带病。日了吉娃娃了。
    我这个是查询开机自启动的输出。显示一直 ...

    是虚拟机就可以恢复快照/备份啊。

    不，你这是又执行了一遍 /etc/rc.local 吧。 /etc/rc.local 已经被病毒修改了，你这等于是又运行了一遍病毒。
    病毒代码就是 45.77.106.29/rootv2.sh ，你读一遍就知道它干了什么了。它感染了 /etc/rc.local 和 /etc/crontab ，然后真正的可执行文件是 45.77.106.29/sourplum 。

    如果要手动清除，你需要杀掉病毒进程，恢复 /etc/crontab 和  /etc/rc.local 。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 21:23
    #14
    https://bbs.deepin.org/post/151059
    参考这个，调整进程运行优先级试试

    多谢。我参考一下。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 21:24
    #15
    https://bbs.deepin.org/post/151059
    没有部署ngfw？？

    有的。怀疑是有内部人挂挖矿程序感染了，正常状态下是没问题的。
    Reply View the author
    avatar
    dameng
    deepin
    2018-01-03 21:46
    #16
    服务器装redis了吗
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 22:55
    #17
    https://bbs.deepin.org/post/151059
    服务器装redis了吗

    没有。这个工具跟我们目前遇到的问题关联度不大呀。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 23:01
    #18
    https://bbs.deepin.org/post/151059
    是虚拟机就可以恢复快照/备份啊。

    不，你这是又执行了一遍 /etc/rc.local 吧。 /etc/rc.local 已经被病毒 ...

    水平不够，字数来凑。
    经过你的提醒，我找到了根源。在防火墙上封锁了45.77.106.29的双向访问。并删除了rootv2.sh和sourplum文件。同时干掉了相关进程。rc.local文件内容已修改。crontab内容无变化。同时，经过对rootv2.sh脚本文件的解读分析，发现这个鸡贼软件还特么调用了大内存。把我的128G内存全吃了。还得修改nr_hun****文件配置内容。
    种种，以上。
    但是现在还遇到一个问题。就是sourplum这个文件，阴魂不散。删了还出现，而且在进程中还能发现sys_sent的tcp链接，指向地址还是45.77.106.29。这就奇了怪了。病毒的根本文件应该还在某个地方存着，并没有斩草除根。
    你这边有更好的思路或者解决方法吗？
    Reply View the author
    avatar
    duanyao
    deepin
    2018-01-03 23:05
    #19
    https://bbs.deepin.org/post/151059
    水平不够，字数来凑。
    经过你的提醒，我找到了根源。在防火墙上封锁了45.77.106.29的双向访问。并 ...

    关机，把硬盘挂在另一个干净的机器上再清除啊，病毒还在运行的话，自然是有防删除措施的。
    Reply View the author
    avatar
    pow
    deepin
    2018-01-03 23:07
    #20
    https://bbs.deepin.org/post/151059
    是虚拟机就可以恢复快照/备份啊。

    不，你这是又执行了一遍 /etc/rc.local 吧。 /etc/rc.local 已经被病毒 ...

    再补充一点。
    rootv2.sh及其他相关文件删除后，rc.local文件也去掉了其中远程下载的计划。但刚刚重启服务器。进不去啦。卧槽卧槽我屮艸芔茻！我给你截个图你看看。
    Reply View the author
    1 / 3
    To page